典型文献
AdaSVRG:自适应学习率加速SVRG
文献摘要：
在深度学习任务中,随机方差衰减梯度法通过降低随机梯度方差,因此,其具有较好的稳定性和较高的计算效率.然而,这类方法在学习过程中均使用恒定的学习率,降低了随机方差衰减梯度法的计算效率.基于随机方差衰减梯度法,借鉴动量加速思想并对梯度估计采取加权平均策略,对学习率利用历史梯度信息进行自动调整,提出了自适应随机方差衰减梯度法.基于MNIST和CIFAR-10数据集,验证提出的自适应随机方差衰减梯度法的有效性.实验结果表明,自适应随机方差衰减梯度法在收敛速度和稳定性方面优于随机方差衰减梯度法和随机梯度下降法.
文献关键词：
深度学习;随机方差衰减梯度法;自适应学习率;动量法
中图分类号：
作者姓名：
吉梦;何清龙
作者机构：
贵州大学 数学与统计学院,贵阳 550025
文献出处：
引用格式：
[1]吉梦;何清龙-.AdaSVRG:自适应学习率加速SVRG)[J].计算机工程与应用,2022(09):83-90
A类：
AdaSVRG,SVRG,随机方差衰减梯度法,历史梯度信息
B类：
自适应学习率,学习任务,计算效率,学习过程,梯度估计,加权平均,自动调整,MNIST,CIFAR,收敛速度,随机梯度下降法,动量法
AB值：
0.152894
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
