典型文献
基于隐层相关联算子的知识蒸馏方法
文献摘要：
近年来,卷积神经网络已经在人工智能领域取得了巨大成功,例如,区块链、语音识别、图像理解等.然而,随着模型准确率的不断提高,与之伴随的是网络模型计算量与参数量的大幅增长,从而带来了诸如处理速度小,内存占用大,在移动端设备上难以部署等一系列问题.知识蒸馏作为一种主流的模型压缩方法,将教师网络的知识迁移到学生网络中,从而在不增加参数量的情况下优化学生网络的表现.如何挖掘具有代表性的知识表征进行蒸馏成为了知识蒸馏领域研究的核心问题.本文提出了一种新的基于模型隐含层相关联算子的知识蒸馏方法,借助数据增强方法准确捕获了图像特征在网络中间层每个阶段的学习变化过程,利用相关联算子对该学习过程进行建模,从而在教师网络中提取出一种新的表征信息用于指导学生网络训练.实验结果表明,本文所提出的方法在CIFAR-10、CIFAR-100两种数据集上,相较于目前最优方法均取得了更好的性能.
文献关键词：
卷积神经网络;模型压缩;知识蒸馏;知识表征;相关联算子
中图分类号：
作者姓名：
吴豪杰;王妍洁;蔡文炳;王飞;刘洋;蒲鹏;林绍辉
作者机构：
中国电子科技集团公司第二十七研究所,郑州 450047;北京跟踪与通信技术研究所,北京 100094;中国人民解放军63726部队,银川 750004;华东师范大学计算机科学与技术学院,上海 200062;华东师范大学数据科学与工程学院,上海 200062
文献出处：
引用格式：
[1]吴豪杰;王妍洁;蔡文炳;王飞;刘洋;蒲鹏;林绍辉-.基于隐层相关联算子的知识蒸馏方法)[J].华东师范大学学报（自然科学版）,2022(05):115-125
A类：
相关联算子
B类：
知识蒸馏,人工智能领域,巨大成功,语音识别,图像理解,模型准确率,计算量,参数量,处理速度,内存占用,移动端,端设备,模型压缩,压缩方法,教师网络,知识迁移,学生网络,知识表征,基于模型,隐含层,数据增强,增强方法,图像特征,中间层,变化过程,学习过程,网络训练,CIFAR
AB值：
0.311574
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
