典型文献
深度学习中知识蒸馏研究综述
文献摘要：
在人工智能迅速发展的今天,深度神经网络广泛应用于各个研究领域并取得了巨大的成功,但也同样面临着诸多挑战.首先,为了解决复杂的问题和提高模型的训练效果,模型的网络结构逐渐被设计得深而复杂,难以适应移动计算发展对低资源、低功耗的需求.知识蒸馏最初作为一种从大型教师模型向浅层学生模型迁移知识、提升性能的学习范式被用于模型压缩.然而随着知识蒸馏的发展,其教师-学生的架构作为一种特殊的迁移学习方式,演化出了丰富多样的变体和架构,并被逐渐扩展到各种深度学习任务和场景中,包括计算机视觉、自然语言处理、推荐系统等等.另外,通过神经网络模型之间迁移知识的学习方式,可以联结跨模态或跨域的学习任务,避免知识遗忘;还能实现模型和数据的分离,达到保护隐私数据的目的.知识蒸馏在人工智能各个领域发挥着越来越重要的作用,是解决很多实际问题的一种通用手段.本文将近些年来知识蒸馏的主要研究成果进行梳理并加以总结,分析该领域所面临的挑战,详细阐述知识蒸馏的学习框架,从多种分类角度对知识蒸馏的相关工作进行对比和分析,介绍了主要的应用场景,在最后对未来的发展趋势提出了见解.
文献关键词：
深度神经网络;知识蒸馏;模型压缩;迁移学习;人工智能
中图分类号：
作者姓名：
邵仁荣;刘宇昂;张伟;王骏
作者机构：
华东师范大学计算机科学与技术学院 上海 200062
文献出处：
引用格式：
[1]邵仁荣;刘宇昂;张伟;王骏-.深度学习中知识蒸馏研究综述)[J].计算机学报,2022(08):1638-1673
A类：
B类：
知识蒸馏,深度神经网络,训练效果,而复,移动计算,低资源,低功耗,学生模型,模型迁移,提升性能,学习范式,模型压缩,迁移学习,学习方式,演化出,变体,学习任务,计算机视觉,自然语言处理,推荐系统,跨模态,跨域,遗忘,保护隐私,隐私数据,将近
AB值：
0.334272
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
