典型文献
特征图自适应知识蒸馏模型
文献摘要：
针对嵌入式和移动设备的计算和存储资源受限,紧凑型网络优化易收敛至较差局部最优解的问题,提出一个特征图自适应知识蒸馏模型,其由特征图适配器和特征图自适应知识蒸馏策略构成.首先,特征图适配器通过异构卷积与视觉特征表达模块的堆叠实现特征图尺寸匹配、教师学生网络特征同步变换及自适应语义信息匹配.其次,特征图 自适应知识蒸馏策略将适配器嵌入教师网络对其进行重构,并在训练过程中实现适合用于学生网络隐藏层监督特征的自适应搜索;利用适配器前部输出提示学生网络前部训练,实现教师到学生网络的知识迁移,并在学习率约束条件下进一步优化.最后,在图像分类任务数据集cifar-10上进行实验验证,结果表明,特征图 自适应知识蒸馏模型分类正确率提高0.6％,推断损失降低6.5％,并将收敛至78.2％正确率的时间减少至未迁移时的5.6％.
文献关键词：
人工智能;知识蒸馏;特征图自适应;模型迁移;图像分类
中图分类号：
作者姓名：
吴致远;齐红;姜宇;崔楚朋;杨宗敏;薛欣慧
作者机构：
吉林大学计算机科学与技术学院,长春130012;中国科学院计算技术研究所,北京100190;吉林大学符号计算与知识工程教育部重点实验室,长春130012
文献出处：
引用格式：
[1]吴致远;齐红;姜宇;崔楚朋;杨宗敏;薛欣慧-.特征图自适应知识蒸馏模型)[J].吉林大学学报（理学版）,2022(04):881-888
A类：
特征图自适应,异构卷积
B类：
知识蒸馏,移动设备,存储资源,资源受限,紧凑型,网络优化,局部最优解,适配器,视觉特征,特征表达,堆叠,尺寸匹配,师学,学生网络,网络特征,语义信息,信息匹配,入教,教师网络,训练过程,前部,知识迁移,学习率,图像分类,分类任务,cifar,模型分类,模型迁移
AB值：
0.289255
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
