典型文献
递归最小二乘循环神经网络
文献摘要：
针对循环神经网络(Recurrent neural networks,RNNs)一阶优化算法学习效率不高和二阶优化算法时空开销过大,提出一种新的迷你批递归最小二乘优化算法.所提算法采用非激活线性输出误差替代传统的激活输出误差反向传播,并结合加权线性最小二乘目标函数关于隐藏层线性输出的等效梯度,逐层导出RNNs参数的迷你批递归最小二乘解.相较随机梯度下降算法,所提算法只在RNNs的隐藏层和输出层分别增加了一个协方差矩阵,其时间复杂度和空间复杂度仅为随机梯度下降算法的3倍左右.此外,本文还就所提算法的遗忘因子自适应问题和过拟合问题分别给出一种解决办法.仿真结果表明,无论是对序列数据的分类问题还是预测问题,所提算法的收敛速度要优于现有主流一阶优化算法,而且在超参数的设置上具有较好的鲁棒性.
文献关键词：
深度学习;循环神经网络;递归最小二乘;迷你批学习;优化算法
中图分类号：
作者姓名：
赵杰;张春元;刘超;周辉;欧宜贵;宋淇
作者机构：
海南大学计算机科学与技术学院 海口 570228;海南大学理学院 海口 570228
文献出处：
引用格式：
[1]赵杰;张春元;刘超;周辉;欧宜贵;宋淇-.递归最小二乘循环神经网络)[J].自动化学报,2022(08):2050-2061
A类：
迷你批学习
B类：
递归最小二乘,循环神经网络,Recurrent,neural,networks,RNNs,一阶优化,学习效率,效率不高,开销,销过,最小二乘优化,线性输出,误差反向传播,线性最小二乘,逐层,最小二乘解,随机梯度下降算法,出层,个协,协方差矩阵,时间复杂度,空间复杂度,遗忘因子,适应问题,过拟合,解决办法,序列数据,分类问题,收敛速度,超参数
AB值：
0.345865
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
