典型文献
基于自适应层信息熵的卷积神经网络压缩
文献摘要：
网络剪枝是一种有效的卷积神经网络压缩方法.多数现有压缩方法因迭代剪枝了"不重要"的网络结构,一方面破坏了网络结构的信息整体性,另一方面其迭代操作耗费了大量的计算资源与时间.为了解决上述问题,论文从网络结构全局考虑,提出基于自适应层信息熵的卷积神经网络压缩方法.首先,在获取压缩网络结构的过程中,本文设计了一种端到端的结构化网络剪枝方案,将卷积层看作一个整体,利用层信息熵之间的关联性直接确定各卷积层过滤器的保留率,避免迭代剪枝训练造成的信息损失.其次,对剪裁后的网络进行重训练时,综合考虑压缩过程中使用的层信息熵指标,通过对卷积层与批归一化(Batch Normalization,BN)层进行自适应联合嫁接,让网络学习到更多的信息,提升网络性能.针对3种主流网络在不同的数据集上进行了实验,验证了所提方法的有效性与优越性.例如在CIFAR-10上,针对ResNet-56,相比于基线网络,在计算量压缩36.2％的情况下,本文方法准确率提升了1％;针对ResNet-110,在计算量压缩52.4％的情况下,本文方法准确率提升了1.42％;针对轻量型网络MobileNetV2,在计算量压缩55.2％的情况下,本文方法准确率提升了1.29％.
文献关键词：
卷积神经网络;网络剪枝;信息熵;嫁接;模型压缩
中图分类号：
作者姓名：
魏钰轩;陈莹
作者机构：
江南大学轻工过程先进控制教育部重点实验室,江苏无锡214122
文献出处：
引用格式：
[1]魏钰轩;陈莹-.基于自适应层信息熵的卷积神经网络压缩)[J].电子学报,2022(10):2398-2408
A类：
B类：
信息熵,神经网络压缩,网络剪枝,压缩方法,法因,迭代剪枝,不重,耗费,计算资源,端到端,卷积层,一个整,各卷,过滤器,保留率,信息损失,剪裁,批归一化,Batch,Normalization,BN,层进,嫁接,网络学习,网络性能,流网,如在,CIFAR,ResNet,线网,计算量,准确率提升,轻量型网络,MobileNetV2,模型压缩
AB值：
0.350503
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
