典型文献
基于残差的门控循环单元
文献摘要：
传统循环神经网络易发生梯度消失和网络退化问题.利用非饱和激活函数可以有效克服梯度消失的性质,同时借鉴卷积神经网络中的残差结构能够有效缓解网络退化的特性,在门控循环神经网络(Gated recurrent unit,GRU)的基础上提出了基于残差的门控循环单元(Residual-GRU,Re-GRU)来缓解梯度消失和网络退化问题.Re-GRU的改进主要包括两个方面:1)将原有GRU的候选隐状态的激活函数改为非饱和激活函数;2)在GRU的候选隐状态表示中引入残差信息.对候选隐状态激活函数的改动不仅可以有效避免由饱和激活函数带来的梯度消失问题,同时也能够更好地引入残差信息,使网络对梯度变化更敏感,从而达到缓解网络退化的目的.进行了图像识别、构建语言模型和语音识别3类不同的测试实验,实验结果均表明,Re-GRU拥有比对比方法更高的检测性能,同时在运行速度方面优于Highway-GRU和长短期记忆单元.其中,在语言模型预测任务中的Penn Treebank数据集上取得了 23.88的困惑度,相比有记录的最低困惑度,该方法的困惑度降低了一半.
文献关键词：
深度学习;循环神经网络;门控循环单元;残差连接
中图分类号：
作者姓名：
张忠豪;董方敏;胡枫;吴义熔;孙水发
作者机构：
三峡大学计算机与信息学院 宜昌443002;智慧医疗宜昌市重点实验室 宜昌443002
文献出处：
引用格式：
[1]张忠豪;董方敏;胡枫;吴义熔;孙水发-.基于残差的门控循环单元)[J].自动化学报,2022(12):3067-3074
A类：
Treebank
B类：
门控循环单元,梯度消失,非饱和,激活函数,残差结构,门控循环神经网络,Gated,recurrent,unit,GRU,Residual,状态表,改动,梯度变化,图像识别,语言模型,语音识别,测试实验,比方,检测性能,运行速度,Highway,长短期记忆单元,Penn,残差连接
AB值：
0.304965
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
