典型文献
鹏程·盘古:大规模自回归中文预训练语言模型及应用
文献摘要：
在鹏城云脑Ⅱ上训练了全球首个拥有全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古.鹏程·盘古模型基于1.1 TB高质量中文训练数据,采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略,从而可将训练任务高效扩展到4096个处理器上.对比实验表明,在少样本或零样本情况下,鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能.在此基础上,鹏程·盘古模型在大模型压缩、提示微调学习、多任务学习以及持续学习等方面也取得了很好的应用效果.
文献关键词：
大规模预训练语言模型;鹏城云脑Ⅱ;大规模分布式训练;中文理解与生成;提示微调学习
中图分类号：
作者姓名：
曾炜;苏腾;王晖;田永鸿;高文
作者机构：
鹏城实验室,中国深圳518055;北京大学,中国北京100871;华为技术有限公司,中国杭州310052
文献出处：
引用格式：
[1]曾炜;苏腾;王晖;田永鸿;高文-.鹏程·盘古:大规模自回归中文预训练语言模型及应用)[J].中兴通讯技术,2022(02):33-43
A类：
提示微调学习,大规模分布式训练,中文理解与生成
B类：
鹏程,盘古,自回归,鹏城,全开,开源,大模型,TB,训练数据,全场景,智能计算,计算框架,MindSpore,并行技术,五维,训练策略,训练任务,处理器,少样本,零样本,自然语言理解,模型压缩,多任务学习,持续学习,大规模预训练语言模型
AB值：
0.340539
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
