典型文献
防御性蒸馏网络抗梯度攻击的鲁棒性分析
文献摘要：
防御性蒸馏自提出后,由于其对梯度攻击有很好的防御效果,已被广泛用于提高神经网络的鲁棒性.但是原始蒸馏过程需要对教师和学生网络进行共两次训练,即需要双倍的算力.目前许多工作仍然基于原始的防御性蒸馏方法来增强模型的鲁棒性.文章指出,防御性蒸馏应对梯度攻击的鲁棒性仅与最大的两个logits的差值有关,而logits值与温度和损失函数值有关.学生网络向教师网络学习这一蒸馏过程并非防御性蒸馏起作用的根本原因,只需在训练时增大最大两个logits值之差即可达到防御对抗攻击的作用.文章理论推导并实验验证了上述结论,并基于logits值与温度的正相关关系设计了最佳温度的估计算法,该算法可显著减少寻找最佳温度所消耗的算力.在数据集MNIST和CIFAR-10上,文章提出的快速防御性蒸馏对梯度攻击的鲁棒性与原始防御性蒸馏相同,算法时间消耗和测试集成功率均优于原始防御性蒸馏.文章研究对于防御性蒸馏原理的理解具有理论意义,对防御性蒸馏在实际部署中算力的节省具有实际意义.
文献关键词：
对抗样本;梯度攻击;防御性蒸馏;多分类网络;网络鲁棒性
中图分类号：
作者姓名：
李哲民;王红霞;许志钦
作者机构：
国防科技大学数学系,长沙410003;上海交通大学数学科学学院和自然科学研究所,上海200240
文献出处：
引用格式：
[1]李哲民;王红霞;许志钦-.防御性蒸馏网络抗梯度攻击的鲁棒性分析)[J].系统科学与数学,2022(08):1929-1945
A类：
防御性蒸馏
B类：
蒸馏网络,梯度攻击,鲁棒性分析,高神,学生网络,双倍,算力,增强模型,logits,损失函数,函数值,教师网络,网络学习,对抗攻击,理论推导,估计算法,MNIST,CIFAR,测试集,实际意义,对抗样本,多分类网络,网络鲁棒性
AB值：
0.212911
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
