对抗Deepfake,近百名选手参与开源模型代码接力

当科技博主毕导看到数字人“毕导”大言不惭地抢自己的饭碗时,再一次直呼Amazing。9月6日下午,外滩大会AI创新赛·全球Deepfake攻防挑战赛的表演赛拉开帷幕,用AI技术对抗Deepfake的TOP选手代表,在全网期待中亮相。室外40度的天气,室内400度的热情。来自上海的观众朱先生表示,第一次肉眼看到生成式AI与deepfake检测技术的正面交锋,比赛太有意思了。人工PK人工智能,哪家强?在简短的Top选手颁奖之后,选手之间的比拼再次打响。中国科学技术大学网络空间安全学院和蚂蚁数科天玑实验室联合出题,对选手

当科技博主毕导看到数字人“毕导”大言不惭地抢自己的饭碗时,再一次直呼Amazing。

9月6日下午,外滩大会AI创新赛·全球Deepfake攻防挑战赛的表演赛拉开帷幕,用AI技术对抗Deepfake的TOP选手代表,在全网期待中亮相。室外40度的天气,室内400度的热情。来自上海的观众朱先生表示,第一次肉眼看到生成式AI与deepfake检测技术的正面交锋,比赛太有意思了。

人工PK人工智能,哪家强?

在简短的Top选手颁奖之后,选手之间的比拼再次打响。中国科学技术大学网络空间安全学院和蚂蚁数科天玑实验室联合出题,对选手模型进行终极考察。和线上赛一样,表演赛现场分为图像赛道和音视频赛道,各赛道TOP3选手两两PK。

对抗Deepfake,近百名选手参与开源模型代码接力清华大学研究员兴军亮、蚂蚁数科CEO赵闻飙为全球Deepfake攻防挑战赛选手颁奖

图像赛道一开始,台下立即躁动起来。主持人毕导唤出了9张玛丽莲梦露的照片,其中2张是AIGC伪造的。肉眼真假难辨的9张图,选手却需要用自己的参赛模型给出每张图片的伪造概率值,并对概率值最高的2张照片与正确答案进行比对。“本来以为只需要隔岸观火,不曾想到,自己也被卷进了战斗状态,试图用肉眼与AI一较高下”,来自一家科技公司的观众小张说。观众互动环节,台下不服气的视觉设计师甚至请战AI,希望展示自己的专业敏感度。

对抗Deepfake,近百名选手参与开源模型代码接力

伪造概率值的问题,引发了毕导的追问,到底AI能否100%识别伪造。赛事出题人之一、ZOLOZ技术总监姚伟斌介绍道,让AI百分百识别伪造图像是否伪造,是十分困难的。伪造技术也在不断迭代更新,对抗需要不断地提升。这也是我们今天做比赛的一大意义。在实际应用中,通常是将识别算法与其他检测手段结合使用,综合判断风险。

视频赛道环节,毕导数字分身出演了多部经典电影名场面,选手同样要通过AI模型来辨别真伪。现场选手比分上,在一些难度一般的赛题上,表演赛的结果比分接近,伪造识别率几乎都在80%以上,但是在一些高难度赛题上,模型结果差异悬殊。

毕导向新加坡科技研究局天異教授发出灵魂拷问,为什么肉眼觉得一眼假的画面,AI却不能完全答对?而肉眼难以辨别的画面,AI反而1秒识别?对此,周天異认为人类在判断图像是否伪造会依赖直觉和逻辑,比如毕导的人脸换到了哈利波特身上,人类一眼便知,AI却不了解背后的故事。而人类会下意识地偷懒,AI是最称职的工具人,AI不受情绪干扰,他会一丝不苟、勤勤恳恳地完成人类的指令。所以,AI在工作效率和稳定性上,都是大大高于人类的。

近百名选手参与开源模型代码接力

近日,Deepfake恶性事件牵动人心。8月30日,赛事组委会发起开源倡议:“支持并鼓励优秀参与者开源比赛模型,降低技术门槛、加强技术交流,进而帮助更多人检测伪造内容,助力AI向善。参赛者自主开源后,大赛组委会将在官方Github主页上汇总所有开源存储库。”倡议一经发出,就得到中国科学院自动化研究所VisionRush队伍和澳门大学JT Group的积极相应。开源不仅仅是免费分享,还意味着在技术社区开展代码接力,任何人都可以参与完善开源模型。姚伟斌表示,截至目前,已有近百名选手及所在队伍表示愿意参与代码接力,希望通过技术手段,为每一个可能受到伤害的人提供保护。参与选手还在不断增加。

对抗Deepfake,近百名选手参与开源模型代码接力

图说:全球Deepfake攻防挑战赛 “DeepFakeDefenders”代码接力行动

研发检测算法,只是遏制Deepfake技术滥用的方式之一。姚伟斌坦言,这种方式是相对滞后的。如果要从根源上防范欺诈行为,姚伟斌认为应在标准和立法角度,要求给AIGC内容建立通用标识,比如每一张AIGC生成的视频/图片都在文件信息里带一个签名或水印,这样平台管理更有依据,也能让AIGC可以更可信。

会上,十余家机构联合发布国内首个面向金融场景的“AI 换脸”检测标准。该标准的发布为金融场景下的虚假数字人脸安全检测和评估提供了依据,也填补了这一领域的空白。这场Deepfake 攻防挑战赛,正是应用了此标准的框架和指标,进行赛题的制定和答案的评价。

图说:国内首个金融领域“AI 换脸”检测标准正式发布

全球Deepfake攻防挑战赛针对“AI换脸”的欺诈风险进行攻防实战演练,并设立100万元人民币的奖金池,鼓励推动AI向善的技术人才。大赛吸引了全球2200多名选手,1500多支队伍报名,覆盖中国、美国、印度、澳大利亚、日本、印尼、马来、新加坡、香港、越南等26个国家和地区。

据了解,外滩大会AI创新赛包括 “AFAC2024 金融智能创新大赛”和“全球 Deepfake攻防挑战赛”两大子赛事。全面展示了人工智能在多个领域的最新应用与前沿探索,也彰显出了科技创新的无限活力。同时,Inclusion外滩大会第二届AI创新赛· "全球AI攻防挑战赛”也正式启动。赛事聚焦AI大模型产业实践,设有攻防双向赛道。

对抗Deepfake,近百名选手参与开源模型代码接力

相关资讯

国内首届AI安全大赛圆满收官,上交大、北交大、北理工等夺得三项赛道冠军

从长远看,人工智能的安全问题,还需从算法模型的原理上突破,唯有持续加强基础研究,才能破解核心科学问题。

15 名西班牙学生因滥用 AI 生成不雅照,被判 1 年缓刑

感谢英国卫报 7 月 9 日报道,15 名学生因利用 AI 制作并传播女同学的不雅照片,被西班牙地方法院判处 1 年缓刑,此案也引发了关于滥用 Deepfake 技术的广泛讨论。生活在西班牙阿尔门德拉莱霍(Almendralejo)市的家长去年报告称,有人利用 Deepfake 技术制作其女儿的不雅照,并在当地 WhatsApp 社交应用中传播,警方随即开始调查此事。其中一名受害者的母亲说,早在去年 7 月份,在 WhatsApp 上就出现了这些 Deepfake 照片。她当时告诉路透社记者:“许多女孩完全被吓坏了

McAfee 携手联想推出“全球首款自动 Deepfake 检测器”,遏制 AI 诈骗

网络安全公司 McAfee 和联想公司合作,推出了全新的 Deepfake Detector,声称是全球首款自动 Deepfake 检测器,可以遏制网络钓鱼。McAfee 表示该工具基于自家 AI 算法,能够帮助用户识别可能的 Deepfake 诈骗以及其它 AI 骗局,目前已经邀请美国、英国、澳大利亚的部分联想 AI PC 用户测试,初期仅限于英语情境。McAfee 表示 Deepfake Detector 已使用超过 20 万个样本进行训练,并非依赖云网络,而是利用联想 AI PC 中的 NPU,直接从 PC