SIGGRAPH 2021 | 学习带神经交融外形的人物动画

本文是对发表于计算机图形学顶级会议 SIGGRAPH 2021 的论文 Learning Skeletal Articulations with Neural Blend Shapes 的解读。
该论文由北京大学陈宝权教授研究团队与北京电影学院未来影像高精尖创新中心、Google Research、特拉维夫大学以及苏黎世联邦理工学院合作,针对骨骼驱动的模型动画的高质量自动化天生进行改进,提出了神经交融外形手艺。实验证明,该法子显著减少了已有法子中需要的人工干预,大大提升了天生动画的质量。

论文链接:https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf

项目主页:https://peizhuoli.github.io/neural-blend-shapes/

GitHub代码仓库:https://github.com/PeizhuoLi/neural-blend-shapes

SIGGRAPH 2021 | 学习带神经交融外形的人物动画

01 引  言

骨骼驱动的三维人物动画在游戏、影视等应用场景中随处可见。然而,利用骨骼驱动三维人物网格模型(mesh)进行变形并得到动画,通常需要经历繁琐的骨骼搭建(rigging)以及蒙皮权重绑定(skinning)。这些处理手艺复杂而艰深,动画师通常需要数年的时间来尝试掌握。此外,一些常见的特定举动,例如弯曲肘部、蹲下,由于常用的蒙皮手艺(线性交融蒙皮,Linear Blend Skinning)的局限性,枢纽关头区域的变形并不理想。

SIGGRAPH 2021 | 学习带神经交融外形的人物动画

左:现有手艺在枢纽关头区域的问题;右:本文手艺天生的高质量且细节丰富的动画

为了简化骨骼搭建和蒙皮权重绑定的过程、高效利用举动捕捉数据以及天生高质量的动画,我们开发了一套能天生具有指定构造的骨骼以及精准绑定权重的神经网络。加以我们提出的神经交融外形(neural blend shapes)手艺,我们实现了实时高质量三维人物模型动画的端到端自动天生

SIGGRAPH 2021 | 学习带神经交融外形的人物动画

法子概览

02 法子简介

从处于 T 姿态的人物模型以及在给定的骨骼构造上的枢纽关头旋转开始,我们的包袱变形分支(envelope deformation branch)学习并预测出相应的骨骼以及蒙皮权重。与此同时,抵偿变形分支(residual deformation branch)预测出对应的交融外形(blend shapes)并利用输入的枢纽关头旋转预测对应的交融系数,然后基于此插值得到抵偿变形。综合以上中间结果,可微分包袱变形模块将天生最终的变形结果。这一设计使得我们的神经网络能够通过仅观察变形后的人物模型进行间接学习,而不需要对训练数据集的变形法子有任何限制,极大增广了该法子的适用范围。

SIGGRAPH 2021 | 学习带神经交融外形的人物动画

法子框架

我们的神经网络利用了网格卷积[1]和骨骼卷积[2]搭建各个模块。基于这些最前沿手艺的基本算子,我们的网络可以在具有任意网格连通性的人物模型上天生高质量的结果。下图展示了我们的网络的具体架构:

SIGGRAPH 2021 | 学习带神经交融外形的人物动画

包袱变形分支

SIGGRAPH 2021 | 学习带神经交融外形的人物动画

抵偿变形分支

03 结果展示

我们的法子能准确的预测出与人物模型高度匹配的骨骼以及绑定权重:

SIGGRAPH 2021 | 学习带神经交融外形的人物动画

骨骼以及绑定权重的可视化

特别的,我们的法子能天生符合预先指定构造的骨骼,这一点在利用举动捕捉数据时尤为关键。而 RigNet[3]只提供了十分有限的用户操纵参数,天生的骨骼构造难以控制:

SIGGRAPH 2021 | 学习带神经交融外形的人物动画

从左至右分别为:RigNet(12), RigNet(25), RigNet(50), Ours

由于我们的神经网络直接在高质量变形模型上训练,仅利用包袱变形分支就已经超过了基准的线性交融蒙皮手艺。再加上我们的神经交融外形手艺,枢纽关头区域的变形结果便是更上一层楼:

SIGGRAPH 2021 | 学习带神经交融外形的人物动画

动画结果对比

参考:

[1] Hanocka et al., 2019, MeshCNN: A Network with an Edge

[2] Aberman et al., 2020, Skeleton-Aware Networks for Deep Motion Retargeting

[3] Xu et al., 2020, RigNet: Neural Rigging for Articulated Characters

图文 | 李沛卓

Visual Computing and Learning (VCL)

原创文章,作者:北京大学前沿计算研究中心,如若转载,请注明出处:https://www.iaiol.com/news/siggraph2021-xue-xi-dai-shen-jing-jiao-rong-wai-xing-de-ren/

(0)
上一篇 2022年 7月 18日 下午5:02
下一篇 2022年 7月 18日 下午5:04

相关推荐

  • AAAI 2021 | 投票的滑润复杂度

    本文是第三十五届人工智能大会(AAAI 2021)入选论文《The Smoothed Complexity of Computing Kemeny and Slater Rankings》的解读。

    2022年 7月 18日
  • Creator 面对面 | 多少深度进修的算法设计和数学表面

    2016年,Yann LeCun 等人在 《Geometric deep learning: going beyond Euclidean data》一文中提出多少深度进修这一概念。现今多少机器进修和基于图的机器进修已经是当前最热门的研究课题之一。

    2022年 7月 23日
  • 这场AI开发者盛会有你要的所有科技元素,2月26日上海临港见

    在2月26日上海临港举办的WAIC2022上海人工智能开发者大会上,各路嘉宾学者将齐聚一堂与开发者共叙人工智能发展的前景。

    2022年 2月 22日
  • Triton推理效劳器在阿里云机器进修PAI-EAS公测啦!!!

    引言近些年来,随着GPU等计算设备算力的飞速提升,对算力要求较高的深度进修模型逐步开始在网购、医疗、音视频领域有了越来越广泛的应用。如何结合深度进修框架,用好高算力的GPU设备,是我们在AI基础建设中遇到的一个至关重要的问题。英伟达公司从硬件厂商的角度出发推出了Trition推理效劳器,阿里云PAI平台从云原生效劳角度出发,推出了PAI-EAS云原生弹性推理效劳平台,目的都是为了更好地帮助用户更好更方便地布署深度进修,供给优质的在线预测效劳。首先我们来了解一下Triton和EAS具体是什么,以及我们为什么要将两者进

    2021年 7月 20日
  • 准确率达 95%,机械进修猜测复杂新质料合成

    编辑/绿萝科学家和机构每年都投入非常多的资源来发明新质料,以期为燃料提供催化剂。随着自然资源的减少,以及对更高价值和先进性能产品的需求增长,钻研职员越来越多地关注到纳米质料。但识别新质料的连续尝试方法对质料发明施加了不可逾越的限制。近日,美国西北大学和丰田钻研所(TRI)的钻研职员应用机械进修来指导新纳米质料的合成,消除了质料发明相关的障碍。这种训练有素的算法,可通过界说数据集来准确猜测可用于清洁能源、化学和汽车行业燃料的重要催化剂。该钻研以「Machine learning–accelerated design

    2021年 12月 30日
  • 大神Goodfellow去向定了:回归google,在DeepMind继续长途办公

    Goodfellow 跳槽,真的是因为不想回办公室上班吗?

    2022年 5月 18日
  • 两款量产主动驾驭重卡登台WAIC 嬴彻科技全栈自研面向量产

    在主题为“智联世界,众智成城”的2021世界人工智能大会上,嬴彻科技展现了两款主动驾驭重卡的量产车型。这两款车型分别是与东风商用车、中国重汽联合开发,搭载嬴彻轩辕主动驾驭系统,是全球最早的量产型主动驾驭重卡。嬴彻科技同台展现了其全栈自研主动驾驭技能的一系列最新成果。 两款主动驾驭重卡登台WAIC 嬴彻首度展出和东风商用车、中国重汽分别联合开发的两款主动驾驭量产车型。2019年嬴彻启动与OEM联合开发主动驾驭重卡,两年来与产业伙伴紧密合作,遵守严谨的车辆正向开发流程,在主动

    2021年 7月 9日
  • FOCS 2021 | 针对Insdel间隔的局部可解码编码的下界

    近日,北京大学前沿计较研讨中心助理教授程宽博士与其合作者的论文“Exponential Lower Bounds for Locally Decodable and Correctable Codes for Insertions and Deletions”发表在理论计较机科学国际顶级会议 FOCS 2021上。这篇文章探讨了编码理论中的一个重要课题,Locally Decodable Code 在 insertion deletion distance 场景下的下界。

    2022年 7月 18日
  • 百分点数据科学实验室:产物生命周期料理创新应用落地实践

    编者按产物生命周期料理在数字经济发展过程中是必不可少的,在零售快消行业可用来指导产物的以销定采和精准投放,在IT行业可辅佐软件应用等产物的开发进程料理,同时还也会对环境料理产生影响,对建筑业在节能减排、减轻环境污染层面起到辅佐作用。因此,及时把控产物生命周期进程,用数据智能技术赋能料理至关重要。百分点数据科学实验室鉴于产物生命周期理论在多个行业的落地实践,总结了如何准确把握产物生命周期的四个阶段及辨别方法论。众所周知,一种产物在商场上的销售情况和获利能力并非是一成不变的,因此,任何一家企业的产物不可能永远畅销,但企

    2021年 3月 25日
  • 是时候进修机械进修零碎安排了!斯坦福CS 329S开课,课件、笔记同步更新

    这是一门新的课程——在进修了算法、框架等内容后,是时候深入了解一下「机械进修零碎安排」了!

    2021年 1月 26日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注