人脸检测是给照片中的每一个人脸指定一个边境框，人脸关键点检测则需要定位特殊的人脸特征，如眼睛中心、鼻尖等。基于二者的两步走法子是很多人脸推理任务的关键所在，如 3D 重建。这种法子的处理过程通常可以表述为：首先执行人脸检测，然后在每一个检测到的人脸边境框中执行关键点检测。接下来，将检测到的关键点与参考 2D 图象或 3D 模型上对应的理想地位从事匹配，然后使用标准法子求解对齐变更。因此，「人脸对齐」和「关键点检测」这两个术语有时可以互换使用。这种法子应用起来非常成功，但计算成本很高，尤其是那些 SOTA 模型。而且，关键点检测器通常针对由特定人脸检测器生成的边境框特性从事优化，因此一旦人脸检测器更新，关键点检测器就需要重新从事优化。最后，在下图 1 所示的密集人脸图象场景中，准确定位标准的 68 个人脸关键点会变得非常困难，进而加大了估量其姿势和人脸对齐的难度。
为了解决这些问题，来自 Facebook AI 和圣母大学的研究者提出了以下重要察看结果：
首先，估量人脸的 6 自由度（6DoF）刚性变更比人脸关键点检测要简单。6DoF 指的是在人体在 3D 空间里的活动情况，在 3 自由度（上下俯仰、左右摇摆和滚动）的基础上增加了前 / 后、上 / 下、左 / 右三种移动方式。这一察看结果启发了很多研究者，促使他们提出「跳过关键点检测，直接从事姿势估量」的想法，但这些法子还是要为检测到的人脸估量姿势。相比之下，Facebook AI 和圣母大学的研究者的目标是在不假设人脸已经被检测到的情况下估量姿势。
其次，6DoF 姿势标签捕获的不仅仅是边境框地位信息。与一些研究者提出的 3DoF 姿势估量不同，6DoF 姿势可以转换为一个 3D-to-2D 的投影矩阵。假设有一个已知的内在相机，姿势可以使 3D 人脸与它在照片中的地位一致。因此，姿势已经捕捉了照片中人脸的地位。然而，虽然增加了两个额外的标量（6D 姿势 vs. 每一个框的四个值），6DoF 姿势还可以提供人脸的 3D 地位和方向信息。最近，有些研究用上了这一察看结果，通过提出边境框和人脸关键点的多任务学习来提高检测准确率。而本文的研究者则将两者结合在单个目标中——直接 regress 6DoF 人脸姿势。
他们提出了一个易于训练的新型及时 6DoF 3D 人脸姿势估量解决方案，可以跳过人脸检测步骤，即使在非常拥挤的图片中也不例外（如图 1）。该法子在一个基于 Faster R-CNN 的框架中 regress 6DoF 姿势。这项研究的创新之处在于，它真正摆脱了人脸对齐和关键点检测。「我们察看到，估量人脸的 6DoF 刚性变更比人脸目标点检测要简单。此外，6DoF 提供的信息要比人脸边境框标签丰富，」研究者解释道。新法子的 pipeline 可以描述为：给定一张包含多张人脸的图象，首先估量每张人脸的 6DoF 姿势。由于 6DoF 人脸姿势可以转换为一个外在相机矩阵，进而将 3D 人脸映射到 2D 图象平面，因此预测得到的 3D 人脸姿势也可用于获取准确的 2D 人脸边境框。因此，人脸检测将成为这个过程的副产品，计算开销达到最小。
利用 6DoF 姿势估量替代人脸边境框检测之后，输入图象中所有的 3D 人脸形态都可以得到对齐。而且，由于该姿势将具有已知几何形态的 3D 形态与图象中的面部区域对齐，因此我们可以根据大小和形态调整生成的面部边境框，匹配特定的研究需求。研究者使用小而快的 ResNet-18 骨干网络构建 img2pose 模型，并在 WIDER FACE 训练集上从事训练（该数据集包含弱监督标签和人工标注的真值姿势标签）。他们在两个领先的基准数据集（ AFLW2000-3D 和 BIWI ）上测试了 img2pose 的及时推断能力，发现该模型在及时运行时性能超越当前最优的人脸姿势估量器，还在关键点检测方面超越了具备类似复杂度的模型，尽管新模型并没有在边境框标签上从事优化。以下是论文中的一些实验结果：
论文链接：https://arxiv.org/pdf/2012.07791.pdf项目链接：https://github.com/vitoralbiero/img2pos
原创文章，作者：机器之心，如若转载，请注明出处：https://www.iaiol.com/news/tiao-guo-ren-lian-jian-ce-he-guan-jian-dian-ding-wei/
