典型文献
基于BERT的三阶段式问答模型
文献摘要：
预训练语言模型的发展极大地推动了机器阅读理解任务的进步.为了充分利用预训练语言模型中的浅层特征,并进一步提升问答模型预测答案的准确性,提出了一种基于BERT的三阶段式问答模型.首先,基于BERT设计了预回答、再回答及答案调整三个阶段;然后,在预回答阶段将BERT嵌入层的输入视作浅层特征来进行答案预生成;接着,在再回答阶段使用经BERT充分编码后的深层特征进行答案再生成;最后,在答案调整阶段结合前两个答案产生最终的预测结果.在抽取式问答任务的英文数据集SQuAD2.0和中文数据集CMRC2018上的实验结果显示,该模型在精准匹配度(EM)和F1分数(F1)两个指标上相较于同类基准模型平均提升了1～3个百分点,抽取出的答案片段更加准确.通过融合BERT中的浅层特征与深层特征,该三阶段模型拓展了BERT的抽象表示能力,探索了BERT中的浅层特征在问答模型中的应用,具有结构简单、预测准确、训练和推断速度快等特点.
文献关键词：
自然语言处理;机器阅读理解;抽取式问答;BERT;深度学习
中图分类号：
作者姓名：
彭宇;李晓瑜;胡世杰;刘晓磊;钱伟中
作者机构：
电子科技大学信息与软件工程学院,成都610054
文献出处：
引用格式：
[1]彭宇;李晓瑜;胡世杰;刘晓磊;钱伟中-.基于BERT的三阶段式问答模型)[J].计算机应用,2022(01):64-70
A类：
抽取式问答,SQuAD2,CMRC2018
B类：
BERT,阶段式,预训练语言模型,发展极,机器阅读理解,解任,嵌入层,分编,深层特征,调整阶段,两个答案,中文数据集,精准匹配,匹配度,EM,模型平均,百分点,三阶段模型,模型拓展,示能,结构简单,自然语言处理
AB值：
0.250563
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
