典型文献
关于短文本匹配的泛化性和迁移性的研究分析
文献摘要：
自然语言理解中的许多任务,比如自然语言推断任务、机器问答和复述问题,都可以看作是短文本匹配问题.近年来,大量的数据集和深度学习模型的涌现使得短文本匹配任务取得了长足的进步,然而,很少有工作去分析模型在不同数据集之间的泛化能力,以及如何在新领域中有效地利用现有不同领域中的大量带标注的数据,达到减少新领域的数据标注量和提升性能的目标.为此,重点分析了不同数据集之间的泛化性和迁移性,并且通过可视化的方式展示了影响数据集之间泛化性的因素.具体地,使用深度学习模型ESIM(enhanced sequential inference model)和预训练语言模型BERT(bidirectional encoder representations from transformers)在10个通用的短文本匹配数据集上进行了详尽的实验.通过实验,发现即使是在大规模语料预训练过的BERT,合适的迁移仍能带来性能提升.基于以上的分析,也发现通过在混合数据集预训练过的模型,在新的领域和少量样本情况下,具有较好的泛化能力和迁移能力.
文献关键词：
短文本匹配;泛化性;迁移性;少样本;预训练语言模型
中图分类号：
作者姓名：
马新宇;范意兴;郭嘉丰;张儒清;苏立新;程学旗
作者机构：
中国科学院网络数据科学与技术重点实验室(中国科学院计算技术研究所) 北京100190;中国科学院大学 北京 100049
文献出处：
引用格式：
[1]马新宇;范意兴;郭嘉丰;张儒清;苏立新;程学旗-.关于短文本匹配的泛化性和迁移性的研究分析)[J].计算机研究与发展,2022(01):118-126
A类：
B类：
短文本匹配,泛化性,迁移性,自然语言理解,多任务,机器问答,复述,匹配问题,深度学习模型,泛化能力,新领域,数据标注,提升性能,使用深度,ESIM,enhanced,sequential,inference,model,预训练语言模型,BERT,bidirectional,encoder,representations,from,transformers,匹配数,详尽,语料,性能提升,混合数据,少量样本,迁移能力,少样本
AB值：
0.337063
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
