视频假造是 Deepfake 技巧最为主要的代表，其制作假视频的技巧也被称为人工智能换脸（AI face swap)。一直以来，钻研者发现 DeepFake 存在着这样一个马脚：当假造人脸头部转到 90 度时（侧脸 90 度），对方就能识别视频中的人脸是不是假造的。这是怎么回事呢？在最近的一项尝试中，技巧专家兼评论员 Bob Doyle 允许钻研人员进行一些关于人脸假造的尝试，期间钻研人员采用 DeepFaceLive 来改变他的外貌。DeepFaceLive 是流行的 DeepFaceLab 软件的一个直播版本，能够帮助用户实时创建不同的视频身份。尝试中，在人脸转到 90 度以前，其余角度我们很难发现这张脸是假造的。
为什么人脸转到 90 度时会出现马脚？原来这些深度假造模型都没有经过高质量的人脸轮廓数据训练，因而不能转换脸部的不同边界，或者执行必要的修复。
不过，借助这一马脚，我们可以判断视频会议中与自己交谈的人是真实的还是假造的。横向限制这一马脚是怎么造成的呢？在 Deepfake 技巧中，用于估计脸部姿态的标准软件如「Facial Alignment Network」，在有些情况下不能无法可靠地工作。事实上，大多数基于 2D 的人脸对齐算法在从正面人脸映射到正面人脸中，仅仅对齐了 50-60% 特征点。我们以论文《Joint Multi-view Face Alignment in the Wild》来说，其展现了多视点人脸对齐，正面对齐包含 68 个特征点，而侧脸对齐只有 39 个。典型的 2D 人脸对齐算法使侧轮廓视图隐藏了 50% 的特征点，这会妨碍模型的识别、训练以及后续人脸合成。
意识到这个缺陷后，许多病毒式 Deepfake 都会有针对性地进行规避。一些人做出了一些努力，比如 YouTube 上就有人做过实验，他们通过大量的后期处理，将 Jerry Seinfeld 的脸替换到《低俗小说》 (1994) 中的紧张场景中，获得了很棒的侧视图。 当然，完成如此逼真的换脸还需要大量的训练。本次用到了《宋飞传》里的镜头，时长达 66 小时，其中大部分镜头是 Jerry Seinfeld 的。影视演员可以获得大量人脸视频，但对于我们普通人来说，正面 90 度的照片却很少，可能是正面照不能表达太多东西，而更多角度的照片可以供应更丰富的内容。由于可用数据缺乏，很难获得一系列普通人的图像。因此，Deepfake 这一缺点供应了一种潜在的方法，可以在实时视频通话中发现「假造」的人脸。如果你怀疑和你说话的人可能是一个「深度假造的人脸」，你可以让他们侧身一到两秒钟，看看对方有没有马脚露出。今年 5 月，AI 安全公司 Sensity 发布了一份报告和一段视频，展现了一个类似 DeepFaceLive 的系统，该系统通过假造身份成功地骗过活体检测器。Sensity 视频截图展现了 deepfake 对活体检测器的攻击。图源：thevergeSensity CEO 兼首席科学家 Giorgio Patrini 表示，他们在实验和尝试中没有进行 90 度人脸检测，并表示将人脸的侧视图用作身份验证的一种形式时，确实可以供应一些保护来防止 deepfake 技巧。正如前面所指出的，缺乏广泛可用的侧视图数据，使得 deepfake 检测器的训练非常具有挑战性。意识到训练数据的缺陷，论文《Dual-Generator Face Reenactment》的附加材料中供应了一些包含 90 度的人脸照片。自该现象出现以来，钻研界一直在深入钻研和开发 deepfake 检测技巧，但在一定程度上相关技巧还是受到了阻碍。尽管如此，钻研人员还是提出了一些解决方案来保证视频通话中的安全。这些解决方案包括测量监视器照明、评估脸部区域的不一致等方法。Deepfake 换脸能够以假乱真，但鉴别算法总能找到马脚，以控制假视频的传播。原文链接：https://metaphysic.ai/to-uncover-a-deepfake-video-call-ask-the-caller-to-turn-sideways/:https://www.theverge.com/2022/5/18/23092964/deepfake-attack-facial-recognition-liveness-test-banks-sensity-report
原创文章，作者：机器之心，如若转载，请注明出处：https://www.iaiol.com/news/24200
