典型文献
小样本问题下培训弱教师网络的模型蒸馏模型
文献摘要：
针对深度神经网络在图像识别中存在的训练数据不足,以及多模型蒸馏中存在的细节特征丢失和蒸馏计算量大的问题,提出一种小样本问题下培训弱教师网络的模型蒸馏模型.首先通过集成学习算法中的引导聚集(Bagging)算法培训弱教师网络集,在保留图像数据集细节特征的同时进行并行计算以提升网络生成效率;然后融合知识合并算法,并基于弱教师网络特征图形成单个高质量、高复杂度的教师网络,从而获得细节重点更突出的图像特征图;最后在目前先进的模型蒸馏基础上提出了针对组合特征图改进元网络的集成蒸馏模型,该算法在减少了元网络训练计算量的同时实现了小样本数据集对目标网络的训练.实验结果表明,所提模型在准确率上相较于单纯以优质网络为教师网络的蒸馏方案有6.39％的相对改进;比较自适应增强(AdaBoost)算法训练教师网络再加以蒸馏得到的模型和集成蒸馏模型的模型准确率,二者相差在给定误差范围内,而集成蒸馏模型比AdaBoost算法的网络生成速率提升了4.76倍.可见所提模型能有效提高目标模型在小样本问题下的准确率和训练效率.
文献关键词：
小样本;模型蒸馏;集成学习;元学习;特征合并
中图分类号：
作者姓名：
蔡淳豪;李建良
作者机构：
南京理工大学理学院,南京210094
文献出处：
引用格式：
[1]蔡淳豪;李建良-.小样本问题下培训弱教师网络的模型蒸馏模型)[J].计算机应用,2022(09):2652-2658
A类：
B类：
小样本问题,题下,教师网络,模型蒸馏,深度神经网络,图像识别,训练数据,多模型,细节特征,计算量,集成学习算法,Bagging,图像数据集,并行计算,生成效率,融合知识,网络特征,特征图,成单,图像特征,组合特征,元网络,网络训练,小样本数据集,目标网,自适应增强,AdaBoost,算法训练,模型准确率,误差范围,生成速率,速率提升,目标模型,训练效率,元学习,特征合并
AB值：
0.333101
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
