典型文献
基于AdaGrad自适应策略的对偶平均方法
文献摘要：
AdaGrad将自适应矩阵应用到随机梯度下降法中,大大降低了工程上超参数搜索的高昂代价.AdaGrad不仅提供了优化方法自适应的研究思路,而且引领了深度学习优化方法新的研究方向,人们越来越多地考虑将自适应策略加入到优化算法的设计中去.对偶平均方法能够克服随机梯度下降法迭代后期收敛缓慢的固有弊端,并相较而言具有较高的收敛稳定性和灵活的步长策略,但自适应的对偶平均方法仍是空白.论文通过分析随机梯度下降法和对偶平均方法性能差异的本质原因,在保留对偶平均方法优势的基础上,将AdaGrad的自适应矩阵融入到方法框架中去,形成一种自适应的对偶平均方法:AdaDA,并通过一般凸函数优化分类实验验证算法的可行性与预期效果.
文献关键词：
优化算法;梯度下降;对偶平均方法;AdaGrad;自适应矩阵
中图分类号：
作者姓名：
张旭;韦洪旭
作者机构：
中国人民解放军陆军炮兵防空兵学院信息工程系 合肥 230031
文献出处：
引用格式：
[1]张旭;韦洪旭-.基于AdaGrad自适应策略的对偶平均方法)[J].舰船电子工程,2022(09):41-44,53
A类：
AdaGrad,对偶平均,对偶平均方法,AdaDA
B类：
自适应策略,自适应矩阵,矩阵应用,随机梯度下降法,大大降低,超参数,高昂,学习优化,略加,期收,步长,长策,性能差异,本质原因,方法框架,凸函数,函数优化,预期效果
AB值：
0.164846
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
