典型文献
无监督的领域自适应机器阅读理解方法
文献摘要：
受益于面向大规模语言学资源的深度学习,预训练语言模型有着较强的语义表示学习能力.其能够借助特定任务场景下的迁移学习,在优化模型性能方面提供重要的支持.目前,预训练语言模型已被引入机器阅读理解研究领域,并展现了较好的优化能力.然而,针对特定领域的数据,微调后的预训练模型仍存在领域适应性问题,即无法解决未知领域中新颖的语言现象.为此,本文提出了一种融合迁移自训练和多任务学习机制的无监督领域自适应模型.具体而言,本文结合生成式阅读理解网络和掩码预测机制形成了多任务学习框架,并利用该框架实现跨领域(源领域至目标领域)的无监督模型迁移技术.此外,本文设计了文本规范化和迁移自训练模式,以此促进目标领域的数据分布适应源领域的数据分布,从而提高模型迁移学习的质量.本文将TweetQA作为目标领域数据集,将SQuAD、CoQA和NarrativeQA作为源领域数据集进行实验.实验证明,本文所提方法相较于基线模型有显著提升,在BLEU-1、METEOR和ROUGE-L指标上分别提升了至少2.5、2.7和2.0个百分点,验证了其优化领域适应性的能力.
文献关键词：
无监督领域自适应;迁移自训练;多任务学习;生成式阅读理解;掩码预测
中图分类号：
作者姓名：
刘皓;洪宇;朱巧明
作者机构：
苏州大学计算机科学与技术学院 江苏苏州 215006;江苏省大数据智能工程实验室 江苏苏州 215006
文献出处：
引用格式：
[1]刘皓;洪宇;朱巧明-.无监督的领域自适应机器阅读理解方法)[J].计算机学报,2022(10):2133-2150
A类：
迁移自训练,生成式阅读理解,掩码预测,TweetQA,NarrativeQA
B类：
机器阅读理解,预训练语言模型,表示学习,任务场景,迁移学习,模型性能,特定领域,微调,预训练模型,领域适应,适应性问题,未知领域,语言现象,多任务学习,学习机制,无监督领域自适应,适应模型,预测机制,跨领域,源领域,模型迁移,迁移技术,训练模式,数据分布,SQuAD,CoQA,基线模型,BLEU,METEOR,ROUGE,百分点
AB值：
0.277808
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
