典型文献
融合预训练语言模型的成语完形填空算法
文献摘要：
根据上下文语境选择恰当的成语,是自然语言处理领域的重要任务之一.现有的研究将成语完型填空任务看成是文本匹配问题,虽然预训练语言模型能够在文本匹配研究上取得较高的准确率,但也存在明显的缺陷:一方面,预训练语言模型作为特征提取器时,会丢失句子间相互信息;另一方面,预训练语言模型作为文本匹配器时,计算开销大,训练时间和推理时间较长.另外,上下文与候选成语之间的匹配是不对称的,会影响预训练语言模型发挥匹配器的效果.为了解决上述两个问题,利用参数共享的思想,提出了 TALBERT-blank.TALBERT-blank是将成语选择从基于上下文的不对称匹配过程转换为填空与候选答案之间的对称匹配过程,将预训练语言模型同时作为特征提取器和文本匹配器,并对句向量作潜在语义匹配.这样可以减少参数量和内存的消耗,在保持准确度的情况下,提高了训练和推理速度,达到了轻量高效的效果.在CHID数据集上的实验结果表明:作为匹配器,TALBERT-blank相较于ALBERT,在保证准确率的情况下,更大限度地精简了模型的结构,计算时间进一步缩短 54.35％.
文献关键词：
成语完形填空;文本匹配;深度学习;预训练语言模型
中图分类号：
作者姓名：
琚生根;黄方怡;孙界平
作者机构：
四川大学计算机学院,四川成都610065
文献出处：
引用格式：
[1]琚生根;黄方怡;孙界平-.融合预训练语言模型的成语完形填空算法)[J].软件学报,2022(10):3793-3805
A类：
成语完形填空,TALBERT,CHID
B类：
预训练语言模型,上下文语境,自然语言处理,完型填空,看成,文本匹配,匹配问题,句子,相互信息,配器,计算开销,训练时间,推理时间,选成,参数共享,blank,对句,句向量,语义匹配,参数量,推理速度,地精,精简,计算时间
AB值：
0.231873
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
