典型文献
基于多源信息的全局滤波器剪枝
文献摘要：
针对现有神经网络剪枝方法未全面评估滤波器的重要性以及跨层滤波器的重要性间存在一定差异的问题,提出了一种基于多源信息的全局滤波器剪枝算法,建立了特征和权重信息间的连接.首先,根据特征信息较为丰富和权重信息受数据噪音影响低的特点,分别以特征间相关性和权重熵来评估滤波器的相对和绝对重要性.然后,将每层中不同压缩比例的滤波器看作一个整体,评估其对模型的全局重要性,按照压缩需求跨层剪掉模型中最不重要的部分.最后,采用知识蒸馏的方式来恢复剪枝后模型的精度,不依赖其他数据集就能完成模型的压缩与微调.为了验证所提方法的适用性,针对DeepLabV3、DABNet和U-Net网络在三个语义分割数据集上进行了大量的实验.也针对多种深度的ResNet网络在图像分类数据集上进行了验证.实验结果表明,通过多源信息可以更精确的评估单层中滤波器的重要性,通过全局重要性来指导跨层剪枝可以使模型的关键信息损失降到最低.
文献关键词：
语义分割;神经网络剪枝;知识蒸馏;多源信息;全局重要性
中图分类号：
作者姓名：
修辉;薛丽霞;汪荣贵;杨娟
作者机构：
合肥工业大学计算机与信息学院,安徽合肥230601
文献出处：
引用格式：
[1]修辉;薛丽霞;汪荣贵;杨娟-.基于多源信息的全局滤波器剪枝)[J].微电子学与计算机,2022(09):1-10
A类：
全局重要性,DABNet
B类：
多源信息,滤波器剪枝,有神,神经网络剪枝,剪枝方法,跨层,剪枝算法,重信,特征信息,噪音影响,每层,压缩比,一个整,剪掉,不重,知识蒸馏,不依,成模,微调,DeepLabV3,语义分割,ResNet,图像分类,分类数据,估单,层剪枝,关键信息,信息损失
AB值：
0.345219
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
