您的位置
主页 > 站外休闲 » 正文

“眼见为实”不管用了?这个巧妙算法可帮助发现伪造视频

来源:www.jz265.com 点击:1145

对于没有经过特殊训练的人来说,很难说Deepfake因为它们非常逼真。无论是作为一种新的“诡计”还是出于其他目的,描述从未做过或说过事情的人的虚假视频都是对“看见就是相信”的长期概念的根本威胁。

大多数深度假度视频是通过将一些人的图像显示给计算机算法然后让它使用他们看到的信息来生成新的面部图像而生成的。与此同时,这些人的声音也是合成的,所以看起来并且听起来像这个人说了些新话。

▲图1:Facebook首席执行官马克扎克伯格的伪造视频

我(本文作者,纽约州立大学奥尔巴尼分校计算机视觉和机器学习实验室主任Siwei Lyu),该团队的一些早期工作,使我们能够检测到没有的深度假期视频包括人眼的正常眨眼,但最新一代深度假视频技术已经适应了这一趋势,因此我们的研究不断推进。

现在,我们的研究可以通过仔细观察特定帧的像素来识别视频的真实性。此外,我们还采取了积极措施,保护个人免受深度假期视频的影响。

发现缺陷:在最近的两篇研究论文中,我们描述了检测有缺陷的深度假视频的方法,这些视频不容易被造假者修复。

当深度假视频合成算法生成新的面部表情时,新图像并不总是完全匹配人的头部位置,光照条件或到相机的距离。为了将这些假面混合到周围环境中,它们必须在几何上变形旋转,调整大小或以其他方式扭曲。此过程在结果图像中留下数字轨迹。

我们注意到一些深度假视频有明显的数字痕迹。这些痕迹可以使照片看起来有明显的修改,例如模糊的边框和人工修改的光滑皮肤。更微妙的变化仍然会留下证据,我们已经教过一种算法来检测它,即使人眼没有看到差异。

如果深度假视频中有个人没有直接观看相机,这些工件将会改变。拍摄真人视频表明他们的脸部在三维空间中移动,但深度假视频算法不能在三维空间中伪造脸部。相反,它们会生成常规的2D人脸图像,然后尝试旋转,调整和扭曲图像以适合人们想要看到的方向。

这种类型的算法不能很好地做到这一点,这提供了发现它们的机会。我们设计了一种算法来计算图像中人类鼻子的方向,并且还可以计算通过脸部轮廓指向头部的方向。在一个真人的头像中,这些应该是可预测的。然而,在深度假期视频中,它们经常被放错地方。

▲图2:当计算机将Nicolas Cage的脸放在Elon Musk的头上时,它可能无法正确对准脸部和头部

检测深度假视频:从技术上讲,探测深度假视频的科学就像一场军备竞赛,因为伪造者不断改进他们的技术,所以我们的研究始终努力跟上,甚至需要保持领先。

如果有办法影响创建深度假视频的算法,使它们变得更糟,这将使我们能够更好地检测伪造的视频。我的团队最近找到了实现这一目标的方法。

▲图3:在左边的图片中,在处理之前很容易检测到图像中的面部。在中间图片中,我们添加了一些干扰,以使算法能够检测到其他面部,但不能检测真实面部。在右侧的图像中,我们修改了图像并将其增强了30倍以使其可见

人脸图像库是处理数千个在线照片和视频的算法组合,并使用机器学习来检测和提取人脸。计算机可以查看班级照片,查找所有学生和教师的面孔,然后将这些面部添加到库中。当生成的库中存在大量高质量的人脸图像时,生成的深度假视频更有可能成功欺骗用户。

我们已经找到了一种方法,可以为人眼看不见的数码照片或视频添加特殊的设计噪点,但却会欺骗人脸检测算法。它隐藏了面部检测器用于定位面部的像素图案,并创建了一些虚假信号,表明在没有面部的地方有一张脸,例如背景或某人衣服的正方形。

由于真实面部较少,非真实面部较多,训练数据为“污染”,深度锻造视频算法生成假面部的能力较差。这不仅减慢了制作深度假期视频的过程,而且还使生成的深度假视频隐藏了更多缺陷并且更容易检测。

当我们开发此算法时,我们希望能够将其应用于任何人上传到社交媒体或其他在线网站的图像。在上传过程中,他们可能会被问到:“你想保护视频或图像中的脸部不被用于深度伪造吗?”如果用户选择“是”,该算法可以添加数字噪音以保持人们静止可以看到互联网上的面孔,但同时你可以有效地隐藏它们并防止算法试图模仿它们。