首站-论文投稿智能助手
典型文献
联合注意力机制与MatchPyramid的文本相似度分析算法
文献摘要:
文本相似度分析是自然语言处理领域的核心任务,基于深度文本匹配模型进行文本相似度分析是当前研究该任务的主流思路.针对传统的MatchPyramid模型对文本特征提取的不足之处进行改进,提出了基于增强Match-Pyramid模型进行文本相似度分析的方法.该方法在输入编码层加入多头自注意力机制和互注意力机制,同时对双注意力机制的输入词向量使用自编码器做降维处理,以降低模型的计算量.接着将双注意力机制的输出与原始词向量相连接,提升了词向量对文本关键信息的表征能力.最后将两个文本的词向量矩阵点积形成的单通道图映射到多个特征子空间形成了多通道图,使用密集连接的卷积神经网络对多通道图进行特征提取.实验结果表明,相比于传统的MatchPyramid模型,所提出的模型准确率提升了1.59个百分点,F1值提升了2.49个百分点.
文献关键词:
文本相似度;注意力机制;MatchPyramid;卷积神经网络
作者姓名:
代翔;孙海春;朱容辰;孙天杨
作者机构:
中国人民公安大学 信息网络安全学院,北京 100038
引用格式:
[1]代翔;孙海春;朱容辰;孙天杨-.联合注意力机制与MatchPyramid的文本相似度分析算法)[J].计算机工程与应用,2022(19):158-165
A类:
MatchPyramid
B类:
联合注意力,文本相似度,相似度分析,自然语言处理,核心任务,文本匹配模型,文本特征提取,入编,编码层,多头自注意力机制,双注意力机制,词向量,自编码器,降维处理,计算量,相连接,关键信息,表征能力,向量矩阵,单通道,射到,特征子空间,多通道,密集连接,模型准确率,准确率提升,百分点
AB值:
0.253326
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。