典型文献
面向边缘智能的两阶段对抗知识迁移方法
文献摘要:
对抗样本的出现,对深度学习的鲁棒性提出了挑战.随着边缘智能的兴起,如何在计算资源有限的边缘设备上部署鲁棒的精简深度学习模型,是一个有待解决的问题.由于精简模型无法通过常规的对抗训练获得良好的鲁棒性,提出两阶段对抗知识迁移的方法,先将对抗知识从数据向模型迁移,然后将复杂模型获得的对抗知识向精简模型迁移.对抗知识以对抗样本的数据形式蕴含,或以模型决策边界的形式蕴含.具体而言,利用云平台上的GPU集群对复杂模型进行对抗训练,实现对抗知识从数据向模型迁移;利用改进的蒸馏技术将对抗知识进一步从复杂模型向精简模型的迁移,最后提升边缘设备上精简模型的鲁棒性.在MNIST,CIFAR-10和CIFAR-100这3个数据集上进行验证,实验结果表明:提出的这种两阶段对抗知识迁移方法可以有效地提升精简模型的性能和鲁棒性,同时加快训练过程的收敛性.
文献关键词:
对抗样本;对抗训练;知识迁移;知识蒸馏
中图分类号:
作者姓名:
钱亚冠;马骏;何念念;王滨;顾钊铨;凌祥;Wassim Swaileh
作者机构:
浙江科技学院 大数据学院,浙江 杭州 310023;杭州海康威视网络与信息安全实验室,浙江 杭州 310052;广州大学 网络空间先进技术研究院,广东 广州 510006;浙江大学 计算机科学与技术学院,浙江 杭州 310058;CY Cergy Paris University, ETIS Research Laboratory, Paris 95032
文献出处:
引用格式:
[1]钱亚冠;马骏;何念念;王滨;顾钊铨;凌祥;Wassim Swaileh-.面向边缘智能的两阶段对抗知识迁移方法)[J].软件学报,2022(12):4504-4516
A类:
B类:
边缘智能,两阶段,知识迁移,对抗样本,着边,计算资源,边缘设备,深度学习模型,精简模型,对抗训练,模型迁移,复杂模型,或以,模型决策,决策边界,GPU,蒸馏技术,MNIST,CIFAR,训练过程,收敛性,知识蒸馏
AB值:
0.306453
相似文献
机标中图分类号,由域田数据科技根据网络公开资料自动分析生成,仅供学习研究参考。