典型文献
基于知识蒸馏的目标检测模型增量深度学习方法
文献摘要：
随着万物互联时代的到来,具备目标检测能力的物联网设备数量呈爆炸式增长.基于此,网络边缘产生了海量的实时数据,具有低时延、低带宽成本和高安全性特点的边缘计算随之成为一种新兴的计算模式.传统的深度学习方法通常假定在模型训练前所有数据已完全具备,然而实际的边缘计算场景中大量的新数据及类别往往随时间逐渐产生和获得.为了在训练数据成批积累和更新的条件下在资源有限的边缘设备上高效率地完成目标检测任务,本文提出了基于多中间层知识蒸馏的增量学习方法(incremental learning method based on knowledge distillation of multiple intermediate layers,ILMIL).首先,为了能够适当地保留原有数据中的知识,提出了包含多个网络中间层知识的蒸馏指标(multi-layer feature map RPN and RCN knowledge,MFRRK).ILMIL将教师模型和学生模型的中间层特征的差异加入模型训练,相比于现有的基于知识蒸馏方法的增量学习,采用ILMIL方法训练的学生模型可以从教师模型的中间层学习到更多的旧类信息来缓解遗忘.其次,ILMIL利用MFRRK蒸馏知识完成现有模型的增量训练,避免训练使用多个独立模型带来的资源开销;为进一步降低模型复杂度以高效地在边缘设备上部署推理,可在知识蒸馏前进行剪枝操作来压缩现有模型.在不同场景和条件下的实验对比表明,本文方法可在有效降低模型计算和存储开销的前提下,缓解已有知识的灾难性遗忘现象,并维持可接受的推理精度.
文献关键词：
目标检测;边缘计算;增量学习;知识蒸馏;模型压缩
中图分类号：
作者姓名：
方维维;陈爱方;孟娜;程虎威;王清立
作者机构：
北京交通大学计算机与信息技术学院,北京 100044
文献出处：
引用格式：
[1]方维维;陈爱方;孟娜;程虎威;王清立-.基于知识蒸馏的目标检测模型增量深度学习方法)[J].工程科学与技术,2022(06):59-66
A类：
ILMIL,MFRRK
B类：
基于知识,知识蒸馏,目标检测模型,深度学习方法,万物互联,互联时代,检测能力,物联网设备,爆炸式,网络边缘,实时数据,低时延,低带宽,高安全性,边缘计算,计算模式,假定,模型训练,新数据,训练数据,成批,下在,边缘设备,中间层,增量学习,incremental,learning,method,knowledge,distillation,multiple,intermediate,layers,feature,map,RPN,RCN,学生模型,方法训练,现有模型,独立模型,模型复杂度,剪枝,同场,实验对比,存储开销,灾难性遗忘,模型压缩
AB值：
0.367256
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
