典型文献
类脑超大规模深度神经网络系统
文献摘要：
大规模神经网络展现出强大的端到端表示能力和非线性函数的无限逼近能力,在多个领域表现出优异的性能,成为一个重要的发展方向.如自然语言处理(NLP)模型GPT,经过几年的发展,目前拥有1750亿网络参数,在多个NLP基准上到达最先进性能.然而,按照现有的神经网络组织方式,目前的大规模神经网络难以到达人脑生物神经网络连接的规模.同时,现有的大规模神经网络在多通道协同处理、知识存储和迁移、持续学习方面表现不佳.提出构建一种启发于人脑功能机制的大规模神经网络模型,该模型以脑区划分和脑区功能机制为启发,集成大量现有数据和预训练模型,借鉴脑功能分区来模块化构建大规模神经网络模型,并由脑功能机制提出相应的学习算法,根据场景输入和目标,自动构建神经网络通路,设计神经网络模型来获得输出.该神经网络模型关注输入到输出空间的关系构建,通过不断学习,提升模型的关系映射能力,目标在于让该模型具备多通道协同处理能力,实现知识存储和持续学习,向通用人工智能迈进.整个模型和所有数据、类脑功能区使用数据库系统进行管理,该系统了还集成了分布式神经网络训练算法,为实现超大规模神经网络的高效训练提供支撑.提出了一种迈向通用人工智能的思路,并在多个不同模态任务验证该模型的可行性.
文献关键词：
大规模深度神经网络;脑科学;多模态;通用人工智能;分布式计算
中图分类号：
作者姓名：
吕建成;叶庆;田煜鑫;韩军伟;吴枫
作者机构：
四川大学 计算机学院, 四川 成都 610065;西北工业大学 自动化学院, 陕西 西安 710129;中国科学技术大学 电子工程与信息科学系, 安徽 合肥 230022
文献出处：
引用格式：
[1]吕建成;叶庆;田煜鑫;韩军伟;吴枫-.类脑超大规模深度神经网络系统)[J].软件学报,2022(04):1412-1429
A类：
大规模深度神经网络,生物神经网络,脑功能分区
B类：
超大规模,网络系统,端到端,示能,非线性函数,逼近能力,自然语言处理,NLP,GPT,网络参数,上到,最先,网络组织,组织方式,达人,网络连接,多通道,协同处理,知识存储,持续学习,发于,人脑功能,功能机制,脑区,预训练模型,模块化构建,自动构建,输出空间,关系构建,不断学习,关系映射,处理能力,通用人工智能,脑功能区,使用数据,数据库系统,神经网络训练,训练算法,高效训练,脑科学,分布式计算
AB值：
0.340962
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
