典型文献
多关键帧特征交互的人脸篡改视频检测
文献摘要：
目的 深度伪造是新兴的一种使用深度学习手段对图像和视频进行篡改的技术,其中针对人脸视频进行的篡改对社会和个人有着巨大的威胁.目前,利用时序或多帧信息的检测方法仍处于初级研究阶段,同时现有工作往往忽视了从视频中提取帧的方式对检测的意义和效率的问题.针对人脸交换篡改视频提出了一个在多个关键帧中进行帧上特征提取与帧间交互的高效检测框架.方法 从视频流直接提取一定数量的关键帧,避免了帧间解码的过程;使用卷积神经网络将样本中单帧人脸图像映射到统一的特征空间;利用多层基于自注意力机制的编码单元与线性和非线性的变换,使得每帧特征能够聚合其他帧的信息进行学习与更新,并提取篡改帧图像在特征空间中的异常信息;使用额外的指示器聚合全局信息,作出最终的检测判决.结果 所提框架在FaceForensics++的3个人脸交换数据集上的检测准确率均达到96.79％以上;在Celeb-DF数据集的识别准确率达到了99.61％.在检测耗时上的对比实验也证实了使用关键帧作为样本对检测效率的提升以及本文所提检测框架的高效性.结论 本文所提出的针对人脸交换篡改视频的检测框架通过提取关键帧减少视频级检测中的计算成本和时间消耗,使用卷积神经网络将每帧的人脸图像映射到特征空间,并利用基于自注意力的帧间交互学习机制,使得每帧特征之间可以相互关注,学习到有判别性的信息,使得检测结果更加准确,整体检测过程更高效.
文献关键词：
Deepfake检测;人脸交换篡改视频;关键帧;层级结构;多帧交互;自注意力机制
中图分类号：
作者姓名：
祝恺蔓;徐文博;卢伟;赵险峰
作者机构：
中山大学计算机学院, 广州 510006;中国科学院信息工程研究所信息安全国家重点实验室, 北京 100195;中国科学院大学网络空间安全学院, 北京 100195
文献出处：
引用格式：
[1]祝恺蔓;徐文博;卢伟;赵险峰-.多关键帧特征交互的人脸篡改视频检测)[J].中国图象图形学报,2022(01):188-202
A类：
人脸交换,人脸交换篡改视频,交换数据集,多帧交互
B类：
特征交互,视频检测,深度伪造,使用深度,人脸视频,改对,研究阶段,高效检测,检测框架,视频流,解码,单帧,人脸图像,图像映射,射到,特征空间,自注意力机制,编码单元,异常信息,指示器,全局信息,判决,FaceForensics++,检测准确率,Celeb,DF,识别准确率,检测效率,提取关键帧,计算成本,交互学习,学习机制,相互关注,判别性,检测过程,Deepfake,层级结构
AB值：
0.320229
相似文献
机标中图分类号，由域田数据科技根据网络公开资料自动分析生成，仅供学习研究参考。
