计算机科学家制作假视频,愚弄最先进的深度伪造探测器

成功Deepfake视频

计算机科学家在2021年1月5日至9日在线举行的WACV 2021年会议上首次表明,旨在检测深度造假(通过人工智能操纵真实画面的视频)的系统可能会被欺骗。

研究人员表明,探测器可以通过在每个视频帧中插入称为对抗性例子的输入来击败。对抗性的例子是轻微操纵输入,导致机器学习模型等人工智能系统犯错。此外,该团队还表明,在视频压缩后,攻击仍然有效。

“我们的工作表明,对深度造假探测器的攻击可能是一个现实世界的威胁,”加州大学圣地亚哥分校计算机工程博士生、WACV论文的第一个合著者Shehzeen Hussain说。“更令人担忧的是,我们证明了即使对手可能没有意识到检测器使用的机器学习模型的内部工作方式,也有可能制作出强大的对抗性深度造假。”

在深度造假中,为了创造出令人信服的、真实的、从未真正发生过的事件,对象的面部被修改。因此,典型的深度造假检测器会关注视频中的人脸:首先跟踪它,然后将裁剪后的人脸数据传递给一个神经网络,以确定它是真的还是假的。例如,在深度造假中,眼睛的眨动不能很好地重现,所以检测器将注意力集中在眼睛的运动上,作为判断的一种方法。最先进的深度造假检测器依赖于机器学习模型来识别假视频。


XceptionNet是一个深度假探测器,它把研究人员制作的一段敌对视频标记为真实的。资料来源:加州大学圣地亚哥分校

研究人员指出,虚假视频在社交媒体平台上的广泛传播在全世界引发了严重担忧,尤其是阻碍了数字媒体的可信度。“如果攻击者对检测系统有一些了解,他们就可以设计出针对检测器盲点的输入,并绕过它,”论文的另一位第一作者、加州大学圣地亚哥分校计算机科学专业的学生帕尔斯·尼哈拉(Paarth Neekhara)说。

研究人员为视频中的每一张脸都创造了一个对抗性的例子。但是,虽然压缩和调整视频大小等标准操作通常会从图像中删除对抗性的例子,但这些例子是为了经受这些过程而构建的。攻击算法通过一组输入转换来估计模型是如何将图像分类为真或假的。从那里,它使用这种估计来转换图像,以这样一种方式,即使在压缩和解压缩后,敌对的图像仍然有效。

修改后的人脸会被插入到所有的视频帧中。然后在视频的所有帧中重复这一过程,创造出深度伪造的视频。这种攻击也可以应用于监视整个视频帧而不是监视脸部的探测器上。

该团队拒绝发布他们的代码,以免被敌对方使用。

高的成功率

研究人员在两种情况下测试了他们的攻击:一种是攻击者可以完全访问检测器模型,包括人脸提取管道和分类模型的结构和参数;而攻击者只能通过查询机器学习模型来计算帧被分类为真实或虚假的概率。

在第一种情况下,对未压缩视频的攻击成功率超过99%。压缩视频的比例为84.96%。在第二个场景中,未压缩视频的成功率为86.43%,压缩视频的成功率为78.33%。这是第一个证明成功攻击最先进的深度伪造探测器的工作。

研究人员在中写道:“为了在实践中使用这些深度伪造的探测器,我们认为有必要对它们进行评估,以对抗意识到这些防御并有意试图挫败这些防御的自适应对手。”“我们证明,如果对手完全甚至部分了解探测器的情况,当前最先进的深度造假检测方法可以轻易绕过。”

为了改进检测器,研究人员推荐了一种类似于所谓的对抗性训练的方法:在训练期间,自适应对手继续产生新的深度造假,可以绕过目前最先进的检测器;为了检测出新的深度造假,检测器还在不断改进。

对抗性深度造假:评估深度造假探测器对对抗性例子的脆弱性

*Shehzeen Hussain, Malhar Jere, Farinaz Koushanfar,加州大学圣地亚哥分校电子与计算机工程系

Paarth Neekhara, Julian McAuley,加州大学圣地亚哥分校计算机科学与工程系

1评论关于“计算机科学家制作假视频愚弄最先进的深度假探测器”

  1. 我知道(奥巴马:“对不起”)这句话是假的。就像那个小丑一样因为抬高了我们的医疗保险费用或其他事情而道歉。

留下你的评论

邮箱地址可选。如果提供,您的电子邮件将不会被发布或共享。