典型文献
非光滑强凸情形Adam型算法的最优收敛速率
文献摘要：
对于非光滑强凸问题,在线梯度下降(Online Gradient Decent,OGD)取适当步长参数可以得到对数阶后悔界.然而,这并不能使一阶随机优化算法达到最优收敛速率.为解决这一问题,研究者通常采取两种方案:其一是改进算法本身,另一种是修改算法输出方式.典型的Adam(Adaptive moment estimation)型算法SAdam(Strongly convex Adaptive moment esti?mation)采用了改进算法的方式,并添加了自适应步长策略和动量技巧,虽然得到更好的数据依赖的后悔界,但在随机情形仍然达不到最优.针对这个问题,本文改用加权平均的算法输出方式,并且重新设计与以往算法同阶的步长超参数,提出了一种名为WSAdam(Weighted average Strongly convex Adaptive moment estimation)的Adam型算法.证明了WSAdam达到了非光滑强凸问题的最优收敛速率.经过Reddi问题的测试和在非光滑强凸函数优化中的实验,验证了所提方法的有效性.
文献关键词：
非光滑;强凸优化;自适应步长;动量方法;Adam型算法;加权平均;收敛速率
中图分类号：
作者姓名：
陇盛;陶蔚;张泽东;陶卿
作者机构：
国防科技大学信息系统工程重点实验室,湖南长沙410073;陆军炮兵防空兵学院信息工程系,安徽合肥230031;军事科学院战略评估咨询中心,北京100091
文献出处：
引用格式：
[1]陇盛;陶蔚;张泽东;陶卿-.非光滑强凸情形Adam型算法的最优收敛速率)[J].电子学报,2022(09):2049-2059
A类：
最优收敛速率,Decent,SAdam,WSAdam,Reddi,强凸优化
B类：
非光滑,梯度下降,Online,Gradient,OGD,后悔,悔界,随机优化,改进算法,改算,输出方式,Adaptive,moment,estimation,Strongly,convex,自适应步长策略,数据依赖,改用,加权平均,重新设计,超参数,Weighted,average,强凸函数,函数优化,动量方法
AB值：
0.283913
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
