典型文献
自然语言处理技术发展
文献摘要：
基于神经网络和深度学习的预训练语言模型为自然语言处理技术带来了突破性发展.基于自注意力机制的Transformer模型是预训练语言模型的基础.GPT、BERT、XLNet等大规模预训练语言模型均基于Transformer模型进行堆叠和优化.认为目前依赖强大算力和海量数据的大规模预训练语言模型存在实用问题,指出轻量预训练语言模型是未来重要的发展方向.
文献关键词：
自然语言处理;预训练语言模型;Transformer;GPT;BERT;XLNet;模型优化
中图分类号：
作者姓名：
王海宁
作者机构：
英特尔(中国)有限公司,中国北京100013
文献出处：
引用格式：
[1]王海宁-.自然语言处理技术发展)[J].中兴通讯技术,2022(02):59-64
A类：
B类：
自然语言处理技术,自注意力机制,Transformer,GPT,BERT,XLNet,大规模预训练语言模型,堆叠,算力,海量数据,模型优化
AB值：
0.191364
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
