典型文献
知识蒸馏研究综述
文献摘要：
高性能的深度学习网络通常是计算型和参数密集型的,难以应用于资源受限的边缘设备.为了能够在低资源设备上运行深度学习模型,需要研发高效的小规模网络.知识蒸馏是获取高效小规模网络的一种新兴方法,其主要思想是将学习能力强的复杂教师模型中的"知识"迁移到简单的学生模型中.同时,它通过神经网络的互学习、自学习等优化策略和无标签、跨模态等数据资源对模型的性能增强也具有显著的效果.基于在模型压缩和模型增强上的优越特性,知识蒸馏已成为深度学习领域的一个研究热点和重点.本文从基础知识,理论方法和应用等方面对近些年知识蒸馏的研究展开全面的调查,具体包含以下内容:(1)回顾了知识蒸馏的背景知识,包括它的由来和核心思想;(2)解释知识蒸馏的作用机制;(3)归纳知识蒸馏中知识的不同形式,分为输出特征知识、中间特征知识、关系特征知识和结构特征知识;(4)详细分析和对比了知识蒸馏的各种关键方法,包括知识合并、多教师学习、教师助理、跨模态蒸馏、相互蒸馏、终身蒸馏以及自蒸馏;(5)介绍知识蒸馏与其它技术融合的相关方法,包括生成对抗网络、神经架构搜索、强化学习、图卷积、其它压缩技术、自动编码器、集成学习以及联邦学习;(6)对知识蒸馏在多个不同领域下的应用场景进行了详细的阐述;(7)讨论了知识蒸馏存在的挑战和未来的研究方向.
文献关键词：
知识蒸馏;模型压缩;模型增强;知识迁移;深度学习
中图分类号：
作者姓名：
黄震华;杨顺志;林威;倪娟;孙圣力;陈运文;汤庸
作者机构：
华南师范大学计算机学院 广州 510631;同济大学电子与信息工程学院 上海 201804;华南师范大学哲学与社会发展学院 广州 510631;北京大学软件与微电子学院 北京 102600;达而观智能(深圳)有限公司研发部 广东 深圳 518063
文献出处：
引用格式：
[1]黄震华;杨顺志;林威;倪娟;孙圣力;陈运文;汤庸-.知识蒸馏研究综述)[J].计算机学报,2022(03):624-653
A类：
B类：
知识蒸馏,深度学习网络,密集型,资源受限,边缘设备,低资源,深度学习模型,小规模,学生模型,互学习,自学习,无标签,跨模态,数据资源,性能增强,模型压缩,模型增强,学习领域,基础知识,理论方法,方法和应用,以下内容,背景知识,由来,核心思想,中间特征,关系特征,教师学习,助理,自蒸馏,技术融合,相关方法,生成对抗网络,神经架构搜索,强化学习,图卷积,压缩技术,自动编码器,集成学习,联邦学习,知识迁移
AB值：
0.380422
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
