典型文献
融合交叉自注意力和预训练模型的文本语义相似性评估方法
文献摘要：
评估两个句子的语义相似性是文本检索和文本摘要等自然语言处理任务的重要组成部分.学者利用深度神经网络执行该任务,然而它们依赖于上下文独立词向量,从而导致性能不佳.为了缓解该问题,采用预训练模型BERT替换传统的词向量,并提出交叉自注意力以增强两个句子的语义,然后与BERT结合.在提出的模型中,为了实现交叉自注意力操作,设计了向量的对齐方法.最后,将BERT输出输入一个双向循环神经网络,以稳定性能,克服BERT自身带来的波动性.实验中,采用3个公开数据集DBMI2019、CDD-ref和CDD-ful对提出的混合模型进行评价.实验结果表明,由于使用了 BERT生成的语境词向量,提出模型的性能始终优于现存方法;交叉自注意力实现了彼此的语义交互而增强了句对的语义,使得相似句对的语义差异更小,而不相似句对的语义差异更大,提高了相似性评估的性能.最终,提出模型在 DBMI2019、CDD-ref 和 CDD-ful 上分别取得了0.846,0.849和0.845的皮尔逊相关系数,超越了直接以[CLS]输出向量作为评估的方法.
文献关键词：
语义相似性;交叉自注意力;预训练模型;语义交互
中图分类号：
作者姓名：
李正光;陈恒;李远刚
作者机构：
大连外国语大学语言智能研究中心,辽宁 大连116044;大连外国语大学一带一路城市与区域发展研究院,辽宁 大连116044;上海商学院商务信息学院,上海200235
文献出处：
引用格式：
[1]李正光;陈恒;李远刚-.融合交叉自注意力和预训练模型的文本语义相似性评估方法)[J].数学的实践与认识,2022(07):165-175
A类：
交叉自注意力,DBMI2019
B类：
预训练模型,文本语义,语义相似性,相似性评估,句子,文本检索,文本摘要,自然语言处理,深度神经网络,上下文,独立词,词向量,BERT,对齐方法,一个双,双向循环神经网络,稳定性能,波动性,公开数据集,CDD,ref,ful,混合模型,出模,语义交互,语义差异,皮尔逊相关系数,CLS
AB值：
0.267391
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
