典型文献
基于AdaBelief的Heavy-Ball动量方法
文献摘要：
同时使用动量和自适应步长技巧的自适应矩估计(Adaptive Moment Estimation,Adam)型算法广泛应用于深度学习中.针对此方法不能同时在理论和实验上达到最优这一问题,文中结合AdaBelief灵活调整步长提高实验性能的技巧,以及仅采用指数移动平均(Exponential Moving Average,EMA)策略调整步长的Heavy-Ball动量方法加速收敛的优点,提出基于AdaBelief的Heavy-Ball动量方法.借鉴AdaBelief和Heavy-Ball动量方法收敛性分析的技巧,巧妙选取时变步长、动量系数,并利用添加动量项和自适应矩阵的方法,证明文中方法对于非光滑一般凸优化问题具有最优的个体收敛速率.最后,在凸优化问题和深度神经网络上的实验验证理论分析的正确性,并且证实文中方法可在理论上达到最优收敛性的同时提高性能.
文献关键词：
AdaBelief;Heavy-Ball动量方法;个体收敛速率;深度神经网络
中图分类号：
作者姓名：
张泽东;陇盛;鲍蕾;陶卿
作者机构：
中国人民解放军陆军炮兵防空兵学院 信息工程系 合肥230031
文献出处：
引用格式：
[1]张泽东;陇盛;鲍蕾;陶卿-.基于AdaBelief的Heavy-Ball动量方法)[J].模式识别与人工智能,2022(02):106-115
A类：
B类：
AdaBelief,Heavy,Ball,动量方法,自适应步长,自适应矩估计,Adaptive,Moment,Estimation,Adam,上达,高实,实验性,移动平均,Exponential,Moving,Average,EMA,策略调整,收敛性分析,变步长,自适应矩阵,明文,中方,非光滑,凸优化问题,个体收敛速率,深度神经网络
AB值：
0.343387
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
