典型文献
基于混合注意力机制的中文机器阅读理解
文献摘要：
预训练语言模型在机器阅读理解领域具有较好表现,但相比于英文机器阅读理解,基于预训练语言模型的阅读理解模型在处理中文文本时表现较差,只能学习文本的浅层语义匹配信息.为了提高模型对中文文本的理解能力,提出一种基于混合注意力机制的阅读理解模型.该模型在编码层使用预训练模型得到序列表示,并经过BiLSTM处理进一步加深上下文交互,再通过由两种变体自注意力组成的混合注意力层处理,旨在学习深层语义表示,以加深对文本语义信息的理解,而融合层结合多重融合机制获取多层次的表示,使得输出的序列携带更加丰富的信息,最终使用双层BiLSTM处理输入输出层得到答案位置.在CMRC2018数据集上的实验结果表明,与复现的基线模型相比,该模型的EM值和F1值分别提升了2.05和0.465个百分点,能够学习到文本的深层语义信息,有效改进预训练语言模型.
文献关键词：
中文机器阅读理解;注意力机制;融合机制;预训练模型;RoBERTa模型
中图分类号：
作者姓名：
刘高军;李亚欣;段建勇
作者机构：
北方工业大学 信息学院,北京 100144;北方工业大学CNONIX国家标准应用与推广实验室,北京 100144
文献出处：
引用格式：
[1]刘高军;李亚欣;段建勇-.基于混合注意力机制的中文机器阅读理解)[J].计算机工程,2022(10):67-72,80
A类：
中文机,中文机器阅读理解,CMRC2018
B类：
混合注意力机制,预训练语言模型,阅读理解模型,中文文本,学习文本,语义匹配,理解能力,在编,编码层,预训练模型,序列表示,BiLSTM,上下文交互,变体,自注意力,注意力层,文本语义,多重融合,融合机制,终使,输入输出,出层,复现,基线模型,EM,百分点,够学,深层语义信息,RoBERTa
AB值：
0.270171
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
