典型文献
一种多参数学习的门控激活函数
文献摘要：
激活函数通过自身的非线性机制去激活神经网络,使其能够有效地运行,并保持较高的性能.选择好的激活函数可以对提高网络性能产生较大的影响.ReLU激活函数因其简单有效而成为深度神经网络中最常见的选择,然而,当输入为负时,在反向传播过程中,ReLU梯度将为零,进而导致发生神经元坏死的问题.为此,一种基于软性的门控机制的激活函数Swish和Mish相继提出,该类激活函数主要利用激活函数(如:Sigmpid或Tanh函数)来控制门的开或关,进而实现了神经网络的非线性化需求,并在许多具有挑战性的网络模型和数据集上取得了更好的效果.鉴于上述门控机制运行时,激活函数饱和区的范围相对固定,不能更好地拟合各种网络模型和数据分布.文中提出了一种多参数学习的门控激活函数(A Multi-parameterized Gated Action Function,Mpish),该函数使用多个参数动态地调整激活函数的饱和区范围,从而适应不同的网络模型和数据分布.实验结果表明:该函数能有效提高神经网络训练结果的准确性和稳定性,且可以较好地工作在更深层次的网络模型中.
文献关键词：
激活函数;门控机制;深度神经网络
中图分类号：
作者姓名：
夏正新;苏翀
作者机构：
南京邮电大学继续教育学院,江苏南京 210042;南京邮电大学医疗信息工程研究中心,江苏南京 210042;南京邮电大学管理学院,江苏南京 210003
文献出处：
引用格式：
[1]夏正新;苏翀-.一种多参数学习的门控激活函数)[J].南京邮电大学学报（自然科学版）,2022(05):83-90
A类：
Sigmpid,Mpish
B类：
多参数,参数学习,激活函数,非线性机制,网络性能,ReLU,深度神经网络,反向传播,传播过程,软性,门控机制,Swish,Mish,Tanh,线性化,多具,数据分布,Multi,parameterized,Gated,Action,Function,该函,高神,神经网络训练
AB值：
0.341103
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
