典型文献
知识增强型预训练语言模型综述
文献摘要：
知识增强型预训练语言模型旨在利用知识图谱中的结构化知识来强化预训练语言模型,使之既能学习到自由文本中的通用语义知识,又能够学习到文本背后的现实实体知识,从而有效应对下游知识驱动型任务.虽然该方向研究潜力巨大,但相关工作目前尚处初期探索阶段,并未出现全面的总结和系统的梳理.为填补该方向综述性文章的空白,在归纳整理大量相关文献的基础上,首先从引入知识的原因、引入知识的优势、引入知识的难点三方面说明了知识增强型预训练语言模型产生的背景信息,总结了其中涉及的基本概念;随后列举了利用知识扩充输入特征、利用知识改进模型架构以及利用知识约束训练任务等三大类知识增强方法;最后统计了各类知识增强型预训练语言模型在评估任务上的得分情况,分析了知识增强模型的性能指标、目前面临的困难挑战以及未来可能的发展方向.
文献关键词：
知识图谱;预训练语言模型;自然语言处理
中图分类号：
作者姓名：
韩毅;乔林波;李东升;廖湘科
作者机构：
国防科技大学 气象海洋学院,长沙 410073;国防科学大学 计算机学院,长沙 410073
文献出处：
引用格式：
[1]韩毅;乔林波;李东升;廖湘科-.知识增强型预训练语言模型综述)[J].计算机科学与探索,2022(07):1439-1461
A类：
B类：
知识增强,增强型,预训练语言模型,结构化知识,通用语,语义知识,够学,实实,体知,知识驱动,方向研究,归纳整理,背景信息,输入特征,改进模型,模型架构,训练任务,增强方法,增强模型,困难挑战,未来可能,自然语言处理
AB值：
0.311354
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
