典型文献
基于语料关联生成的知识增强型BERT
文献摘要：
以BERT为代表的自然语言预训练模型由于缺少专业领域知识支持导致准确度受到限制,知识增强型BERT模型通过引入外部专业知识有效改善了模型在不同领域下游任务中的知识缺失问题,取得了比BERT模型更高的准确率.但是,知识增强型BERT由于引入大规模外部知识,导致计算资源需求和训练时间急剧攀升.针对此问题,提出一种基于语料关联生成(corpus association generation,CAG)的知识增强方法,通过实体名词识别将输入文本语料拆解为顺序序列的字词集合与实体名词集合,字词集合通过实体名词与外部知识三元组进行语义关联;然后,基于语义关联进一步拼接生成蕴含外部知识的强相关性语料;最后,利用BERT模型结构将蕴含外部知识的强关联语料注入至下游任务进行知识增强.该方法可有效避免引入额外模型结构而导致的模型复杂度提升,从而有效降低模型训练计算量.以LCQMC、XNLI等6个公开数据集进行实验分析,结果表明在下游任务中知识引入阶段与训练计算阶段的平均耗时比K-BERT分别降低53.5％与37.4％.
文献关键词：
自然语言处理;预训练模型;知识增强;语料生成;训练加速
中图分类号：
作者姓名：
卢嘉荣;肖红;姜文超;杨建仁;王涛
作者机构：
广东工业大学计算机学院,广东广州510006;广州云硕科技发展有限公司,广东广州511458
文献出处：
引用格式：
[1]卢嘉荣;肖红;姜文超;杨建仁;王涛-.基于语料关联生成的知识增强型BERT)[J].湖北大学学报（自然科学版）,2022(06):732-741
A类：
XNLI,语料生成
B类：
知识增强,增强型,BERT,预训练模型,领域知识,受到限制,外部知识,计算资源,资源需求,训练时间,corpus,association,generation,CAG,增强方法,名词,拆解,字词,词集,合通,三元组,语义关联,拼接,接生,强相关性,模型结构,行知,模型复杂度,模型训练,计算量,LCQMC,公开数据集,自然语言处理,训练加速
AB值：
0.351784
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
