典型文献
缩放残差前置GRU模型
文献摘要：
门控循环单元网络(Gated Recurrent Unit,GRU)伴随模型深度的增加,通常会引发退化与梯度消失问题,进而降低模型训练速度及性能.该文通过改进直连结构缓解退化现象,并结合标准化层缓解梯度消失问题,提出一种缩放残差前置GRU模型.该模型构建缩放残差连接通过线性信息筛选模块对直连结构信息进行筛选,最大限度保留有效信息并缓解退化现象;同时结合层标准化方法,构建直连前置结构防止为直连结构引入额外的非线性计算.在语音识别任务和语言模型任务上进行验证,结果表明该文提出的缩放残差前置GRU模型增加少量参数可以有效缓解梯度消失和退化现象,在两组任务中均取得最优表现.
文献关键词：
门控循环单元;残差连接;层标准化;退化现象;梯度消失
中图分类号：
作者姓名：
吴晓丹;石争;郑玉蒙;武优西;商博雅
作者机构：
河北工业大学智慧医疗实验室,天津300401;河北工业大学人工智能与数据科学学院,天津300401
文献出处：
引用格式：
[1]吴晓丹;石争;郑玉蒙;武优西;商博雅-.缩放残差前置GRU模型)[J].小型微型计算机系统,2022(12):2528-2534
A类：
B类：
缩放,GRU,门控循环单元网络,Gated,Recurrent,Unit,伴随模型,模型深度,梯度消失,模型训练,训练速度,连结,退化现象,残差连接,接通,结构信息,留有,有效信息,结合层,层标准化,标准化方法,非线性计算,语音识别,语言模型
AB值：
0.378708
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
