典型文献
高效训练百万亿参数预训练模型的系统挑战和对策
文献摘要：
随着预训练模型规模的急剧增长,训练此类模型需要海量的计算和存储能力.为此,本工作在新一代国产高性能计算机上训练了一个174万亿参数的超大规模预训练模型,模型参数量可与人脑中的突触数量相媲美.重点讨论在训练这一超大规模预训练模型中遇到的几个关键系统挑战:如何选取高效并行策略,如何进行高效数据存储,如何选取合适的数据精度,以及如何实现动态负载均衡,并总结了针对上述挑战的一些解决方法.
文献关键词：
人工智能;超级计算机;混合专家;异构系统
中图分类号：
作者姓名：
马子轩;翟季冬;韩文弢;陈文光;郑纬民
作者机构：
清华大学,中国北京100083
文献出处：
引用格式：
[1]马子轩;翟季冬;韩文弢;陈文光;郑纬民-.高效训练百万亿参数预训练模型的系统挑战和对策)[J].中兴通讯技术,2022(02):51-58
A类：
高效数据存储,混合专家
B类：
高效训练,百万,万亿,预训练模型,高性能计算机,超大规模,大规模预训练,模型参数量,人脑,突触,相媲美,关键系统,数据精度,动态负载均衡,超级计算机,异构系统
AB值：
0.296801
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
