典型文献
面向机器学习模型安全的测试与修复
文献摘要：
近年来,以机器学习算法为代表的人工智能技术在计算机视觉、自然语言处理、语音识别等领域取得了广泛的应用,各式各样的机器学习模型为人们的生活带来了巨大的便利.机器学习模型的工作流程可以分为三个阶段.首先,模型接收人工收集或算法生成的原始数据作为输入,并通过预处理算法(如数据增强和特征提取)对数据进行预处理.随后,模型定义神经元或层的架构,并通过运算符(例如卷积和池)构建计算图.最后,模型调用机器学习框架的函数功能实现计算图并执行计算,根据模型神经元的权重计算输入数据的预测结果.在这个过程中,模型中单个神经元输出的轻微波动可能会导致完全不同的模型输出,从而带来巨大的安全风险.然而,由于对机器学习模型的固有脆弱性及其黑箱特征行为的理解不足,研究人员很难提前识别或定位这些潜在的安全风险,这为个人生命财产安全乃至国家安全带来了诸多风险和隐患.研究机器学习模型安全的相关测试与修复方法,对深刻理解模型内部风险与脆弱性、全面保障机器学习系统安全性以及促进人工智能技术的广泛应用有着重要意义.本文从不同安全测试属性出发,详细介绍了现有的机器学习模型安全测试和修复技术,总结和分析了现有研究中的不足,探讨针对机器学习模型安全的测试与修复的技术进展和未来挑战,为模型的安全应用提供了指导和参考.本文首先介绍了机器学习模型的结构组成和主要安全测试属性,随后从机器学习模型的三个组成部分即数据、算法和实现,六种模型安全相关测试属性即正确性、鲁棒性、公平性、效率、可解释性和隐私性,分析、归纳和总结了相关的测试与修复方法及技术,并探讨了现有方法的局限.最后本文讨论和展望了机器学习模型安全的测试与修复方法的主要技术挑战和发展趋势.
文献关键词：
人工智能安全;机器学习安全;机器学习模型测试;机器学习模型修复;软件测试;软件修复
中图分类号：
作者姓名：
张笑宇;沈超;蔺琛皓;李前;王骞;李琦;管晓宏
作者机构：
西安交通大学电子与信息学部网络空间安全学院,陕西西安 710049;智能网络与网络安全教育部重点实验室(西安交通大学),陕西西安 710049;武汉大学国家网络安全学院,湖北武汉 430072;清华大学网络科学与网络空间研究院,北京 100084;中关村实验室,北京 100094
文献出处：
引用格式：
[1]张笑宇;沈超;蔺琛皓;李前;王骞;李琦;管晓宏-.面向机器学习模型安全的测试与修复)[J].电子学报,2022(12):2884-2918
A类：
机器学习安全,机器学习模型测试,机器学习模型修复
B类：
机器学习算法,计算机视觉,自然语言处理,语音识别,各式各样,收人,原始数据,理算,如数,数据增强,运算符,计算图,调用,功能实现,权重计算,输入数据,模型输出,脆弱性,黑箱,前识,生命财产安全,安全带,修复方法,深刻理解,解模,内部风险,机器学习系统,系统安全性,同安,安全测试,修复技术,总结和分析,技术进展,未来挑战,安全应用,结构组成,六种,公平性,可解释性,隐私性,归纳和总结,主要技术,技术挑战,人工智能安全,软件测试,软件修复
AB值：
0.310761
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
