典型文献
模型蒸馏技术及业务场景应用分析
文献摘要：
一、技术背景
2012年人工神经网络AlexNet在全球顶级计算机视觉比赛ImageNet赢得世界冠军,且碾压了第二名基于支持向量机(SVM)的分类性能,人工智能自此又掀起了一次浪潮.当前,随着硬件能力的提高深度学习算法模型模型结构愈加复杂,计算量对比AlexNet也提升了数十个量级,随之而来的是性能的大幅提升.不可否认的是在算力允许的前提下,提高模型的复杂度、计算量是提升模型表现最有效直接的手段.然而随着近年来边缘设备的普及,如何将大模型部署到边缘设备上成为一个亟待解决的难题.由于成本、硬件的限制,端设备通常不具备强大的算力,业界常见的做法是使用小模型作为基础并使用大模型蒸馏技术,使大模型作为小模型的训练导师,在保证部署的同时提高小模型的算法性能,一些良好的蒸馏方案甚至能使小模型具备媲美大模型的性能.
文献关键词：
中图分类号：
作者姓名：
冯展鹏;代翔
作者机构：
深圳云天励飞技术股份有限公司
文献出处：
引用格式：
[1]冯展鹏;代翔-.模型蒸馏技术及业务场景应用分析)[J].中国安防,2022(12):36-39
A类：
B类：
模型蒸馏,蒸馏技术,业务场景,场景应用,技术背景,
2012,人工神经网络,AlexNet,顶级,级计算机,计算机视觉,ImageNet,世界冠军,碾压,第二名,分类性能,自此,高深,深度学习算法,算法模型,模型结构,计算量,数十个,随之而来,不可否认,算力,边缘设备,大模型,模型部署,上成,端设备,高小,算法性能,媲美
AB值：
0.460879
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
