典型文献
神经网络超参数优化的删除垃圾神经元策略
文献摘要:
随着深度学习处理问题的日益复杂,神经网络的层数、神经元个数、和神经元之间的连接逐渐增加,参数规模急剧膨胀,优化超参数来提高神经网络的预测性能成为一个重要的任务.文献中寻找最优参数的方法如灵敏度剪枝、网格搜索等,算法复杂而且计算量庞大.本文提出一种超参数优化的"删除垃圾神经元策略".权重矩阵中权重均值小的神经元,在预测中的贡献可以忽略,称为垃圾神经元.该策略就是通过删除这些垃圾神经元得到精简的网络结构,来有效缩短计算时间,同时提高预测准确率和模型泛化能力.采用这一策略,长短期记忆网络模型对几种典型混沌动力系统的预测性能得到显著改善.
文献关键词:
LSTM;混沌时间序列预测;超参数优化;删除垃圾神经元策略
中图分类号:
作者姓名:
黄颖;顾长贵;杨会杰
作者机构:
上海理工大学管理学院,上海 200093
文献出处:
引用格式:
[1]黄颖;顾长贵;杨会杰-.神经网络超参数优化的删除垃圾神经元策略)[J].物理学报,2022(16):77-85
A类:
删除垃圾神经元策略
B类:
超参数优化,层数,高神,预测性能,最优参数,剪枝,网格搜索,计算量,权重矩阵,精简,计算时间,预测准确率,模型泛化,泛化能力,长短期记忆网络模型,混沌动力系统,混沌时间序列预测
AB值:
0.24363
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。