典型文献
一种用于大数据内容安全监测的快速相似匹配并行算法
文献摘要:
为了提高大数据集基于内容的相似匹配速度,本文采用MapReduce框架实现了一种并行的相似匹配算法,解决了大数据信息安全监测中的快速相似匹配问题.算法基于先过滤、再验证的方式设计了三个阶段.在配对阶段,通过对索引子串和匹配子串进行配对去除了不包含共享q-gram的无关对;在过滤阶段,通过q-gram命中特征过滤掉了一定不是真实匹配的候选对;在验证阶段,通过计算候选对的真实匹配度找出了满足要求的真实匹配.实验结果证明,本文提出的字符串分割过滤方法有效地提高了相似匹配的速度.实验结果也显示新算法较适合匹配度变化范围较大的应用场景.
文献关键词:
大数据;安全监测;相似连接;相似匹配;MapReduce
中图分类号:
作者姓名:
王晓霞;孙德才
作者机构:
渤海大学信息科学与技术学院,锦州 121013
文献出处:
引用格式:
[1]王晓霞;孙德才-.一种用于大数据内容安全监测的快速相似匹配并行算法)[J].现代计算机,2022(17):30-35
A类:
相似连接
B类:
数据内容,内容安全,安全监测,相似匹配,并行算法,配速,MapReduce,匹配算法,大数据信息安全,匹配问题,再验证,索引,引子,子串,配子,gram,命中,特征过滤,滤掉,选对,匹配度,满足要求,字符串,割过,过滤方法,新算法,变化范围
AB值:
0.433797
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。