典型文献
基于对偶平均的动量方法研究综述
文献摘要：
对偶平均(dual averaging)方法是一种颇具潜力的优化算法,它巧妙地利用过往所有梯度的信息,克服了传统一阶梯度算法无法摆脱的梯度消失的弊端,并得到稳定的收敛速率.而恰恰类似的是,动量方法同样是利用过往的梯度信息,目的在于在非凸优化问题中能够有效地逃离局部最小点和鞍点,而今年来动量方法也广泛活跃在凸优化领域,不单对一般的梯度下降算法起到加速作用,同时在没有光滑性条件的情况下,得到最优个体收敛速率.论文对对偶平均方法和动量方法的研究现状和存在的问题进行综述,分析两者的联系和区别,并在此基础上指出一些值得研究的问题.
文献关键词：
机器学习;对偶平均;动量方法;个体收敛性;稀疏性
中图分类号：
作者姓名：
曲军谊
作者机构：
中国人民解放军陆军炮兵防空兵学院信息工程系 合肥 230031
文献出处：
引用格式：
[1]曲军谊-.基于对偶平均的动量方法研究综述)[J].计算机与数字工程,2022(11):2443-2448
A类：
对偶平均,对偶平均方法,个体收敛性
B类：
动量方法,dual,averaging,颇具,过往,梯度算法,梯度消失,恰恰,梯度信息,非凸优化,凸优化问题,逃离,局部最小,小点,鞍点,而今,不单,梯度下降算法,速作用,光滑性,个体收敛速率,对对,稀疏性
AB值：
0.339326
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
