跳过人脸检测和关键点定位,Facebook等提出及时3D人脸姿势估量新法子

来自 Facebook AI 和美国圣母大学的研究者提出了一种 6 自由度的及时 3D 人脸姿势估量技术,可以不依赖人脸检测和人脸关键点定位独立运行。

人脸检测是给照片中的每一个人脸指定一个边境框,人脸关键点检测则需要定位特殊的人脸特征,如眼睛中心、鼻尖等。基于二者的两步走法子是很多人脸推理任务的关键所在,如 3D 重建。这种法子的处理过程通常可以表述为:首先执行人脸检测,然后在每一个检测到的人脸边境框中执行关键点检测。接下来,将检测到的关键点与参考 2D 图象或 3D 模型上对应的理想地位从事匹配,然后使用标准法子求解对齐变更。因此,「人脸对齐」和「关键点检测」这两个术语有时可以互换使用。这种法子应用起来非常成功,但计算成本很高,尤其是那些 SOTA 模型。而且,关键点检测器通常针对由特定人脸检测器生成的边境框特性从事优化,因此一旦人脸检测器更新,关键点检测器就需要重新从事优化。最后,在下图 1 所示的密集人脸图象场景中,准确定位标准的 68 个人脸关键点会变得非常困难,进而加大了估量其姿势和人脸对齐的难度。

跳过人脸检测和关键点定位,Facebook等提出及时3D人脸姿势估量新法子

为了解决这些问题,来自 Facebook AI 和圣母大学的研究者提出了以下重要察看结果:

首先,估量人脸的 6 自由度(6DoF)刚性变更比人脸关键点检测要简单。6DoF 指的是在人体在 3D 空间里的活动情况,在 3 自由度(上下俯仰、左右摇摆和滚动)的基础上增加了前 / 后、上 / 下、左 / 右三种移动方式。这一察看结果启发了很多研究者,促使他们提出「跳过关键点检测,直接从事姿势估量」的想法,但这些法子还是要为检测到的人脸估量姿势。相比之下,Facebook AI 和圣母大学的研究者的目标是在不假设人脸已经被检测到的情况下估量姿势。

其次,6DoF 姿势标签捕获的不仅仅是边境框地位信息。与一些研究者提出的 3DoF 姿势估量不同,6DoF 姿势可以转换为一个 3D-to-2D 的投影矩阵。假设有一个已知的内在相机,姿势可以使 3D 人脸与它在照片中的地位一致。因此,姿势已经捕捉了照片中人脸的地位。然而,虽然增加了两个额外的标量(6D 姿势 vs. 每一个框的四个值),6DoF 姿势还可以提供人脸的 3D 地位和方向信息。最近,有些研究用上了这一察看结果,通过提出边境框和人脸关键点的多任务学习来提高检测准确率。而本文的研究者则将两者结合在单个目标中——直接 regress 6DoF 人脸姿势。

他们提出了一个易于训练的新型及时 6DoF 3D 人脸姿势估量解决方案,可以跳过人脸检测步骤,即使在非常拥挤的图片中也不例外(如图 1)。该法子在一个基于 Faster R-CNN 的框架中 regress 6DoF 姿势。这项研究的创新之处在于,它真正摆脱了人脸对齐和关键点检测。「我们察看到,估量人脸的 6DoF 刚性变更比人脸目标点检测要简单。此外,6DoF 提供的信息要比人脸边境框标签丰富,」研究者解释道。新法子的 pipeline 可以描述为:给定一张包含多张人脸的图象,首先估量每张人脸的 6DoF 姿势。由于 6DoF 人脸姿势可以转换为一个外在相机矩阵,进而将 3D 人脸映射到 2D 图象平面,因此预测得到的 3D 人脸姿势也可用于获取准确的 2D 人脸边境框。因此,人脸检测将成为这个过程的副产品,计算开销达到最小。

跳过人脸检测和关键点定位,Facebook等提出及时3D人脸姿势估量新法子

利用 6DoF 姿势估量替代人脸边境框检测之后,输入图象中所有的 3D 人脸形态都可以得到对齐。而且,由于该姿势将具有已知几何形态的 3D 形态与图象中的面部区域对齐,因此我们可以根据大小和形态调整生成的面部边境框,匹配特定的研究需求。研究者使用小而快的 ResNet-18 骨干网络构建 img2pose 模型,并在 WIDER FACE 训练集上从事训练(该数据集包含弱监督标签和人工标注的真值姿势标签)。他们在两个领先的基准数据集( AFLW2000-3D 和 BIWI )上测试了 img2pose 的及时推断能力,发现该模型在及时运行时性能超越当前最优的人脸姿势估量器,还在关键点检测方面超越了具备类似复杂度的模型,尽管新模型并没有在边境框标签上从事优化。以下是论文中的一些实验结果:

跳过人脸检测和关键点定位,Facebook等提出及时3D人脸姿势估量新法子

跳过人脸检测和关键点定位,Facebook等提出及时3D人脸姿势估量新法子

论文链接:https://arxiv.org/pdf/2012.07791.pdf项目链接:https://github.com/vitoralbiero/img2pos

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/tiao-guo-ren-lian-jian-ce-he-guan-jian-dian-ding-wei/

(0)
上一篇 2021年 2月 9日 下午3:44
下一篇 2021年 2月 9日 下午4:10

相关推荐

  • 又一全新汽车品牌来了!瞄上「安康调理」场景,已获东风、长江等投资

    作者 / 曹锦10月30日,前大众团体高管苏伟铭的创业项目,得到进一步揭晓。由其担任创始人兼董事长的电动汽车品牌——BeyonCa正式亮相,同时还展示了代表品牌定位的概念车Gran Turismo Opus 1(GT Opus 1)。BeyonCa计划于明年春天宣布品牌中文名,第一辆量产车型将于2024年下线。大家对于BeyonCa的最初认知,无疑就是其核心人物苏伟铭。他曾在大众汽车任职16年,在2021年离职时,他位居大众汽车团体执行副总裁,也是团体内职位最高的华裔高管;此后,苏伟铭也曾担任雷诺中国CEO,而他创

    2022年 10月 31日
  • 蚂蚁金服原副总裁漆远加盟复旦大学,任人工智能院长

    又一位 AI 大佬决定投身学界。

    2021年 11月 13日
  • 相信AI的力量——「AI华夏」机械之心 2021年度评比奖项设置及参选说明

    在一年之末,机械之心将启动「AI华夏」机械之心2021年度评比暨「与AI俱进,化韶光为翎」分外策动,除了2021年度榜单之外还将分阶段推出一档年度内容专题、一份年度报告,并举办首届机械之心AI科技年会。

    2021年 9月 27日
  • 模型听人讲几句就能学得更好?斯坦福提出用谈话表明辅助进修

    谈话是人与人之间最自然的沟通方式,能帮助我们传递很多重要的信息。斯坦福大学人工智能实验室(SAIL)近日发表博客,介绍了其两篇 ACL 2020 论文。这两项研究立足于近段时间 BERT 等神经谈话模型的突破性成果,指出了一个颇具潜力的新方向:利用谈话表明来辅助进修 NLP 乃至计算机视觉范畴的使命。

    2020年 12月 1日
  • CVPR2022 | 利用域自符合思想,北大、字节跳动提出新型弱监视物体定位框架

    将弱监视物体定位看作图象与像素特性域间的域自符合任务,北大、字节跳动提出新框架显著增强基于图象级标签的弱监视图象定位功能

    2022年 3月 20日
  • 大神Goodfellow去向定了:回归google,在DeepMind继续长途办公

    Goodfellow 跳槽,真的是因为不想回办公室上班吗?

    2022年 5月 18日
  • 国内首届AI宁静大赛圆满收官,上交大、北交大、北理工等夺得三项赛道冠军

    从长远看,人工智能的宁静问题,还需从算法模型的原理上突破,唯有持续加强基础钻研,才能破解核心科学问题。

    2022年 9月 16日
  • UC伯克利教授Pieter Abbeel开课了:六节课初学「深度加强进修」,讲义免费下载

    课程视频时间有点长,但希望你能享乐进修的快乐。将传统加强进修与深度神经网络结合的深度加强进修,一直以来被视为更接近人类思维方式的人工智能方法。深度进修具有强感知才能但缺乏一定的决议计划才能,加强进修具有决议计划才能但对感知问题束手无策,因此将两者结合起来可以达到优势互补的效果,为复杂系统的感知决议计划问题提供了解决思路。想要初学深度加强进修的同窗们,请高度注意,一份优秀、细致、全面的新教材出现了。今天,UC 伯克利教授 Pieter Abbeel 上传了自己的新课程《深度加强进修根源》的最后一节视频,并在推特上安利了一下。这份

    2021年 8月 26日
  • 应用深度进修,通过一个片断润色进行份子优化

    编辑 | 萝卜皮份子优化是药物开发中的关键步骤,可通过化学润色改善候选药物的预期特征。来自俄亥俄州立大学(The Ohio State University)的研讨人员,在份子图上开发了一种新颖的深度天生模型 Modof,用于份子优化。Modof 通过猜测份子处的单个断开位点以及在该位点去除和/或添加片断来润色给定的份子。在 Modof-pipe 中实现了多个相同 Modof 模型的管道,以窜改多个断开位置的输入份子。研讨人员表明 Modof-pipe 能够保留主要的份子支架,允许控制中间优化步骤并更好地约束份子相

    2022年 1月 17日
  • AAAI 2021 | 投票的滑润复杂度

    本文是第三十五届人工智能大会(AAAI 2021)入选论文《The Smoothed Complexity of Computing Kemeny and Slater Rankings》的解读。

    2022年 7月 18日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注