AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]
该论文作者来自复旦大学、中电金信及上海智能视觉计算协同创新中心团队，论文已被多媒体领域顶级国际会议 ACM MultiMedia 2024 接收，并将在该大会上进行口头报告（Oral 接收率仅 3.97%）。
AI 换脸技术，属于深度伪造最常见方式之一，是一种利用人工智能生成逼真的虚假人脸图片或视频的技术。基于深度学习算法，可以将一个人的面部特征映射到另一个人的面部，创造出看似真实的伪造内容。近年来，以 AI 换脸为代表的 AIGC 技术被用于诈骗活动呈显著增长趋势，给金融行业带来了巨大的安全风险。
注：图左为 AI 分身
如上述画面，领英创始人里德・霍夫曼用 LLM 创建了自己的 AI 分身，并接受了其 AI 分身的采访，整场采访的效果极为逼真，难辨真假。
以金融机构身份验证环节的人脸识别为例，AI 换脸诈骗作为一种新兴的 “AIGC” 诈骗攻击手段，已经对金融业务安全构成了严重威胁，同时，通过换脸伪装成亲友，以紧急情况为由借钱，让受害者在毫无防备的情况下遭受资金损失的案例也很多。
伴随着威胁不断增长，许多检测方法已经出现。早期的伪造检测方法主要关注单个模态，如检测图像的真假、音频的真假等。单模态鉴伪方法处理速度快，但场景泛化性能有限，无法同时检测多个模态的真伪。
为了解决上述问题，多模态鉴伪方法应运而生。现有的多模态鉴伪方法仅在小样本数据集上进行训练，并且忽略了身份信息，难以得到泛化性能较好的模型。为了提升鉴伪模型的泛化能力，中电金信联合复旦大学提出了参照辅助的多模态鉴伪方法（Reference-assisted Multimodal Forgery Detection Network，R-MFDN ），相关论文已被多媒体领域顶级国际会议 ACM MultiMedia 2024 接收，并将在该大会上进行口头报告（Oral 接收率仅 3.97%）。
论文标题：Identity-Driven Multimedia Forgery Detection via Reference Assistance
论文链接：https://arxiv.org/pdf/2401.11764
核心技术介绍
R-MFDN 方法创新性地利用丰富的身份信息，挖掘跨模态不一致性来进行伪造检测。该方法由三个模块组成，多模态特征提取模块、特征信息融合模块和伪造鉴别模块。
多模态特征提取模块包含视频编码部分和音频编码部分。
视频编码部分通过 ResNet 实现。对于输入的视频帧序列，模型从该序列等步长地采样 4 个分组，每个分组中包含连续的 4 帧。对于采样的 16 帧，模型使用 ResNet 提取对应的图像级特征。然后每个分组的特征通过时序 Transformer 模型得到一个分组级特征。最后通过对 4 个分组级特征进行平均池化得到视觉特征。
音频编码部分使用音频频谱图 Transformer 提取音频的高级特征。然后，这些特征作为特征信息融合模块的输入。
在特征信息融合模块中，视觉特征先经过自注意力层处理，然后和音频特征通过交叉注意力层进行特征融合。最后的融合特征输入到伪造鉴别模块中，进行类别判断。
为了监督 R-MFDN 模型的训练，研究团队使用三个损失函数对模型参数更新进行约束。第一个损失函数是分类结果的交叉熵损失函数。第二个损失函数则是视觉特征与音频特征的跨模态对比学习损失函数。模型通过对来自同源和不同源视频的两种模态特征进行匹配，从而使特征学习过程能够在特征空间中对齐不同模态的信息。
具体而言，源于同一个视频的不同模态特征被视作正样本对，不同源的则被视作负样本对。正样本对的特征应该尽可能接近，负样本对则应该疏远。此外在匹配过程中，涉及伪造信息的匹配亦被视为负样本对，以增强特征学习过程对伪造的敏感性。这不仅提升了模型的判别能力，还使其在现实世界的多模态深度伪造场景中实现更准确的检测。第三个损失函数是身份驱动的对比学习损失函数，旨在使相同身份的相同模态特征尽可能靠近，而不同身份的特征则尽量远离。尽管训练与测试数据中每个身份涉及多个视频和场景，表现形式各异，鉴伪模型仍能学习到身份敏感的特征，从而在 AI 换脸拟声等身份伪造场景中具备更强的鉴别能力。
IDForg数据集
此外， 由于多模态伪造视频鉴别领域目前没有大规模高质量的开源数据集，研究团队还构建了一个高质量的 AI 换脸拟声数据集 ——IDForge。该数据集包含针对 54 位名人讲话的 249,138 个视频片段，其中包括 169,311 个伪造视频片段，模拟了当下文本、音频和视频多模态的全方位伪造。
文本伪造使用大语言模型和文本替换策略生成语义不同但风格相似的新句子，以模拟大语言模型被滥用传播虚假信息的情境。音频伪造使用了 TorToiSe、RVC 和音频替换策略生成与说话人声音相似的新音频片段，并通过随机替换相同性别的音频来制造伪造效果。
视频伪造采用了社区和学界大量采用的 ROOP、SimSwap 和 InfoSwap 三种换脸方法，并使用高分辨率版本的 Wav2Lip 模型进行口型同步，以确保伪造视频的高质量和自然性。
与现有数据集不同，IDForge 还提供了一个额外的参考数据集，该数据集包含 214,438 个真实视频片段。这些片段来自另外 926 个完整的 YouTube 视频，作为每位说话人的身份先验信息。这一设计的出发点是，当观众面对可能存在伪造迹象的视频时，通常会凭借记忆中对该说话人的印象或对照已有的音视频，以判断视频的真实性。因此，研究团队额外提供了参考数据集部分，作为检测网络中可用的先验信息。先前的身份信息检测方法由于缺乏类似设计的数据集，受到了诸多限制。数据集目前已在 Github 上开源。
数据集地址：https://github.com/xyyandxyy/IDForge
实验
研究团队通过在提出的权威评测数据集 IDForge 的大量实验，证明了 R-MFDN 在多媒体检测任务上的有效性。
注：R-MFDN 的性能在每个评估指标上都取得了最好的成绩，实现了 92.90% 的高准确率，分别比 RealForensics、VFD、CDCN、RawNet2 高出了 3.72%, 6.69%, 13.02%，和 13.69%。
基于此项技术，中电金信推出了多模态深度伪造检测产品，通过先进的多模态内容理解与对齐技术，预测图像、音频、视频真实采集的置信度，鉴别 Al 生成内容，防范身份盗用、侵权欺诈等风险，可广泛应用在金融身份认证、视频会议核身认证、网络视频电话防欺诈等场景。目前，双模态篡改检出率已达到99.9%以上，单模态篡改检出率达到96%以上。
对比 AI 分身视频画面，给出了可信赖度低的分数
如上图，回到文章开头领英创始人里德・霍夫曼的 AI 分身视频，以此为素材，通过中电金信的多模态深度伪造检测能够对真伪视频立马见分晓。
利用 AI 换脸视频或合成声音来实施诈骗的确让人防不胜防，有关部门也正在积极开发相关的反制技术和手段。比如，《互联网信息服务深度合成管理规定》提出了算法备案、安全评估的手段，要求深度合成服务提供者对深度合成的内容添加显式或隐式水印。与此同时，也要加强对个人隐私的保护，不轻易提供人脸、指纹等个人生物信息给他人。
相关文献：
[1] Darius Afchar, Vincent Nozick, Junichi Yamagishi, and Isao Echizen. Mesonet: a compact facial video forgery detection network. In 2018 IEEE International Workshop on Information Forensics and Security, WIFS 2018, Hong Kong, China,December 11-13,2018,pages1–7. IEEE,2018.8
[2] babysor. Mockingbird. https://github.com/babysor/MockingBird,2022.3
[3] James Betker.Tortoise text-to-speech.
https://github.com/neonbjb/tortoise-tts,2022.4