机器学习被广泛应用于各个领域,已成为推动各行业革命的强大动力,极大促进了人工智能的繁荣与发展.同时,机器学习模型的训练和预测均需要大量数据,而这些数据可能包含隐私信息,导致其隐私安全面临严峻挑战.成员推理攻击主要通过推测一个数据样本是否被用于训练目标模型来破坏数据隐私,其不仅可以破坏多种机器学习模型(如,分类模型和生成模型)的数据隐私,而且其隐私泄露也渗透到图像分类、语音识别、自然语言处理、计算机视觉等领域,这对机器学习的长远发展产生了极大的安全威胁.因此,为了提高机器学习模型对成员推理攻击的安全性,本文从机器学习隐私安全攻防角度,全面系统性分析和总结了成员推理攻击和防御的基本原理和特点.首先,介绍了成员推理攻击的定义、威胁模型,并从攻击原理、攻击场景、背景知识、攻击的目标模型、攻击领域、攻击数据集大小六个方面对成员推理攻击进行分类,比较不同攻击的优缺点;然后,从目标模型的训练数据、模型类型以及模型的过拟合程度三个角度分析成员推理攻击存在原因,并从差分隐私、正则化、数据增强、模型堆叠、早停、信任分数掩蔽和知识蒸馏七个层面对比分析不同防御措施;接着,归纳总结了成员推理攻击和防御常用的评估指标和数据集,以及其在其他方面的应用.最后,通过对比分析已有成员推理攻击和防御的优缺点,对其面临的挑战和未来研究方向进行了展望.

机器学习;成员推理攻击;隐私安全;防御措施

牛俊;马骁骥;陈颖;张歌;何志鹏;侯哲贤;朱笑岩;伍高飞;陈恺;张玉清

西安电子科技大学计算机科学与技术学院 西安中国 710071;国家计算机网络入侵防范中心中国科学院大学 北京中国 101408;海南大学网络空间安全学院 海口中国 570228;西安电子科技大学广州研究院 广州中国 510555;西安邮电大学网络空间安全学院 西安中国 710121;西安电子科技大学网络与信息安全学院 西安中国 710126;西安电子科技大学通信工程学院 西安中国 710071;中国科学院信息工程研究所信息安全国家重点实验室 北京中国 100195;中国科学院大学网络空间安全学院 北京中国 100195

信息安全学报

[1]牛俊;马骁骥;陈颖;张歌;何志鹏;侯哲贤;朱笑岩;伍高飞;陈恺;张玉清-.机器学习中成员推理攻击和防御研究综述)[J].信息安全学报,2022(06):1-30

成员推理攻击,机器学习模型,隐私信息,隐私安全,目标模型,坏数据,数据隐私,分类模型,生成模型,隐私泄露,渗透到,图像分类,语音识别,自然语言处理,计算机视觉,安全威胁,全攻,攻防,系统性分析,背景知识,训练数据,过拟合,拟合程度,存在原因,差分隐私,正则化,数据增强,堆叠,早停,掩蔽,知识蒸馏,七个,防御措施,未来研究方向

0.289698