典型文献
知识增强预训练模型
文献摘要：
预训练模型主要从海量未标注、无结构化的数据中学习,但缺少外部知识指导,存在模型学习效率不高、模型效果不佳和知识推理能力受限等不足.如何在预训练模型中引入语言知识、世界知识等外部知识,提升模型效果以及知识记忆和推理能力是一个难题.本文从不同类型知识的引入、融合知识的方法、缓解知识遗忘的方法等角度,介绍知识增强预训练模型的发展,并以知识增强预训练模型百度文心为例,详细探讨知识增强预训练模型的原理和应用.
文献关键词：
自然语言处理;预训练模型;知识增强
中图分类号：
作者姓名：
王海峰;孙宇;吴华
作者机构：
北京百度网讯科技有限公司,中国北京100193
文献出处：
引用格式：
[1]王海峰;孙宇;吴华-.知识增强预训练模型)[J].中兴通讯技术,2022(02):16-24
A类：
B类：
知识增强,预训练模型,无结,外部知识,模型学习,学习效率,效率不高,知识推理能力,语言知识,识记,融合知识,遗忘,百度,文心,自然语言处理
AB值：
0.283784
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
