首站-论文投稿智能助手
典型文献
带有微分项改进的自适应梯度下降优化算法
文献摘要:
梯度下降算法作为卷积神经网络训练常用优化算法,其性能的优劣直接影响网络训练收敛性.本文主要分析了目前梯度优化算法中存在超调而影响收敛性问题以及学习率自适应性问题,提出了一种带微分项的自适应梯度优化算法,旨在改善网络优化过程收敛性的同时提高收敛速率.首先,针对优化过程存在较大超调量的问题,通过对迭代算法的重整合以及结合传统控制学原理引入微分项等方式来克服权重更新滞后于实际梯度改变的问题;然后,引入自适应机制来应对因学习率的不适应性导致的收敛率差和收敛速率慢等问题;紧接着,基于柯西-施瓦茨和杨氏不等式等证明了新算法的最差性能上界(悔界)为O(√T).最后,通过在包括MNIST数据集以及CIFAR-10基准数据集上的仿真实验来验证新算法的有效性,结果表明新算法引入的微分项和自适应机制的联合模式能够有效地改善梯度下降算算法的收敛性能,从而实现算法性能的明显改善.
文献关键词:
卷积神经网络;梯度下降算法;微分项;权重更新;自适应学习率;悔界
作者姓名:
葛泉波;张建朝;杨秦敏;李宏
作者机构:
南京信息工程大学自动化学院,江苏南京,210044;杭州电子科技大学自动化学院,浙江杭州310018;浙江大学控制科学与工程学院,浙江杭州310063;中国飞行试验研究院,陕西西安710089
文献出处:
引用格式:
[1]葛泉波;张建朝;杨秦敏;李宏-.带有微分项改进的自适应梯度下降优化算法)[J].控制理论与应用,2022(04):623-632
A类:
B类:
微分项,梯度下降优化,梯度下降算法,神经网络训练,梯度优化算法,自适应性,适应性问题,网络优化,收敛速率,超调量,迭代算法,重整,入微,权重更新,自适应机制,不适应性,收敛率,紧接着,柯西,施瓦茨,不等式,新算法,上界,悔界,MNIST,CIFAR,基准数据集,联合模式,算算,收敛性能,算法性能,自适应学习率
AB值:
0.32858
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。