首站-论文投稿智能助手
典型文献
基于动态稀疏和特征学习增强的模型剪枝
文献摘要:
为了减轻深度学习算法在实际应用中庞大的参数量和繁重的计算量,剪枝已经被广泛地应用在模型压缩任务中.然而,大多数剪枝方法仅仅利用已经训练好的模型参数作为训练的初始参数,而模型本身的特征信息没有被利用.为此,本文提出了一种基于模型特征学习增强的动态剪枝方法,在训练过程中,提出的方法不需要数据集类别标签.一方面,本文利用基准模型(训练好的模型)输出的预测类别信息和中间层特征作为监督信息指导压缩子模型的任务学习,增强了压缩模型学习基准模型特征的能力;另一方面,本文利用不同压缩子模型的输出信息互相学习,增强了压缩子模型之间特征学习的能力.此外,本文使用一种动态的结构化稀疏正则方式,仅仅在预期稀疏的参数上施加正则,同时使用基于泰勒级数的通道敏感性准则确定预期稀疏参数.在优化过程中,本文使用动态稀疏的迭代阈值收缩算法(iterative shrinkage-thresholding algorithm,ISTA)求解器解决了约束剪枝率的优化问题.模型训练结束后,提出的方法直接移除冗余的参数,剪枝后的模型不需要微调.在多个网络结构和数据集下,本文提出的方法均获得了很好的压缩性能.
文献关键词:
深度卷积神经网络;模型压缩;特征学习;剪枝;结构化稀疏
作者姓名:
阮晓峰;胡卫明;刘雨帆;李兵
作者机构:
中国科学院自动化研究所模式识别国家重点实验室,北京100190;中国科学院大学人工智能学院,北京100049;中国科学院脑科学与智能技术卓越创新中心,上海200031
引用格式:
[1]阮晓峰;胡卫明;刘雨帆;李兵-.基于动态稀疏和特征学习增强的模型剪枝)[J].中国科学(技术科学),2022(05):667-681
A类:
迭代阈值收缩算法
B类:
特征学习,模型剪枝,深度学习算法,参数量,繁重,计算量,模型压缩,剪枝方法,经训,练好,特征信息,基于模型,模型特征,训练过程,要数,类别信息,中间层,监督信息,子模型,任务学习,压缩模型,模型学习,互相学习,结构化稀疏,稀疏正则,泰勒级数,iterative,shrinkage,thresholding,algorithm,ISTA,求解器,优化问题,模型训练,移除,微调,压缩性能,深度卷积神经网络
AB值:
0.398517
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。