典型文献
基于AdaGrad的自适应NAG方法及其最优个体收敛性
文献摘要：
与梯度下降法相比,自适应梯度下降方法(AdaGrad)利用过往平方梯度的算数平均保存了历史数据的几何信息,在处理稀疏数据时获得了更紧的收敛界.另一方面,Nesterov加速梯度方法(Nesterov's accelerated gradient,NAG)在梯度下降法的基础上添加了动量运算,在求解光滑凸优化问题时具有数量级加速收敛的性能,在处理非光滑凸问题时也获得了最优的个体收敛速率.最近,已经出现了自适应策略与NAG相结合的研究,但现有代表性的自适应NAG方法AcceleGrad由于采取的自适应方式与AdaGrad不同,步长未能在不同维度上体现差异性,仅得到了加权平均方式的收敛速率,个体收敛速率的理论分析尚存在缺失.提出了一种自适应NAG方法,继承了AdaGrad的步长设置方式,证明了所提算法在解决约束非光滑凸优化问题时具有最优的个体收敛速率.在L1范数约束下,通过求解典型的hinge损失函数分类和L1损失函数回归优化问题.实验验证了理论分析的正确性,也表明了所提算法的性能优于AcceleGrad.
文献关键词：
机器学习;凸优化;自适应算法;NAG方法;个体收敛速率
中图分类号：
作者姓名：
陇盛;陶蔚;张泽东;陶卿
作者机构：
中国人民解放军陆军炮兵防空兵学院 信息工程系, 安徽 合肥 230031;中国人民解放军军事科学院 战略评估咨询中心, 北京 100091
文献出处：
引用格式：
[1]陇盛;陶蔚;张泽东;陶卿-.基于AdaGrad的自适应NAG方法及其最优个体收敛性)[J].软件学报,2022(04):1231-1243
A类：
AdaGrad,个体收敛性,AcceleGrad
B类：
NAG,梯度下降法,过往,算数,历史数据,几何信息,稀疏数据,更紧,Nesterov,加速梯度,accelerated,gradient,凸优化问题,数量级,个体收敛速率,自适应策略,步长,不同维度,上体,加权平均,设置方式,非光滑凸优化,L1,范数约束,hinge,损失函数,数回,自适应算法
AB值：
0.269215
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
