SIGGRAPH 2021 | 学习带神经混合形态的人物动画

本文是对发表于计算机图形学顶级会议 SIGGRAPH 2021 的论文 Learning Skeletal Articulations with Neural Blend Shapes 的解读。 该论文由北京大学陈宝权教授研究团队与北京电影学院未来影像高精尖创新中心、Google Research、特拉维夫大学以及苏黎世联邦理工学院合作,针对骨骼驱动的模型动画的高质量自动化生成进行改进,提出了神经混合形态技巧。实验证明,该方式显著减少了已有方式中需要的人工干预,大大提升了生成动画的质量。

论文链接:https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf

项目主页:https://peizhuoli.github.io/neural-blend-shapes/

GitHub代码仓库:https://github.com/PeizhuoLi/neural-blend-shapes

SIGGRAPH 2021 | 学习带神经混合形态的人物动画

01 引  言

骨骼驱动的三维人物动画在游戏、影视等应用场景中随处可见。然而,利用骨骼驱动三维人物网格模型(mesh)进行变形并得到动画,通常需要经历繁琐的骨骼搭建(rigging)以及蒙皮权重绑定(skinning)。这些处理技巧复杂而艰深,动画师通常需要数年的时间来尝试掌握。此外,一些常见的特定行动,例如弯曲肘部、蹲下,由于常用的蒙皮技巧(线性混合蒙皮,Linear Blend Skinning)的局限性,枢纽关头区域的变形并不理想。

SIGGRAPH 2021 | 学习带神经混合形态的人物动画

左:现有技巧在枢纽关头区域的问题;右:本文技巧生成的高质量且细节丰富的动画

为了简化骨骼搭建和蒙皮权重绑定的过程、高效利用行动捕捉数据以及生成高质量的动画,我们开发了一套能生成具有指定构造的骨骼以及精准绑定权重的神经网络。加以我们提出的神经混合形态(neural blend shapes)技巧,我们实现了实时高质量三维人物模型动画的端到端自动生成

SIGGRAPH 2021 | 学习带神经混合形态的人物动画

方式概览

02 方式简介

从处于 T 姿态的人物模型以及在给定的骨骼构造上的枢纽关头旋转开始,我们的包袱变形分支(envelope deformation branch)学习并预测出相应的骨骼以及蒙皮权重。与此同时,赔偿变形分支(residual deformation branch)预测出对应的混合形态(blend shapes)并利用输入的枢纽关头旋转预测对应的混合系数,然后基于此插值得到赔偿变形。综合以上中间结果,可微分包袱变形模块将生成最终的变形结果。这一设计使得我们的神经网络能够通过仅观察变形后的人物模型进行间接学习,而不需要对训练数据集的变形方式有任何限制,极大增广了该方式的适用范围。

SIGGRAPH 2021 | 学习带神经混合形态的人物动画

方式框架

我们的神经网络利用了网格卷积[1]和骨骼卷积[2]搭建各个模块。基于这些最前沿技巧的基本算子,我们的网络可以在具有任意网格连通性的人物模型上生成高质量的结果。下图展示了我们的网络的具体架构:

SIGGRAPH 2021 | 学习带神经混合形态的人物动画

包袱变形分支

SIGGRAPH 2021 | 学习带神经混合形态的人物动画

赔偿变形分支

03 结果展示

我们的方式能准确的预测出与人物模型高度匹配的骨骼以及绑定权重:

SIGGRAPH 2021 | 学习带神经混合形态的人物动画

骨骼以及绑定权重的可视化

特别的,我们的方式能生成符合预先指定构造的骨骼,这一点在利用行动捕捉数据时尤为关键。而 RigNet[3]只提供了十分有限的用户操纵参数,生成的骨骼构造难以控制:

SIGGRAPH 2021 | 学习带神经混合形态的人物动画

从左至右分别为:RigNet(12), RigNet(25), RigNet(50), Ours

由于我们的神经网络直接在高质量变形模型上训练,仅利用包袱变形分支就已经超过了基准的线性混合蒙皮技巧。再加上我们的神经混合形态技巧,枢纽关头区域的变形结果便是更上一层楼:

SIGGRAPH 2021 | 学习带神经混合形态的人物动画

动画结果对比

参考:

[1] Hanocka et al., 2019, MeshCNN: A Network with an Edge

[2] Aberman et al., 2020, Skeleton-Aware Networks for Deep Motion Retargeting

[3] Xu et al., 2020, RigNet: Neural Rigging for Articulated Characters

图文 | 李沛卓

Visual Computing and Learning (VCL)

给TA打赏
共{{data.count}}人
人已打赏
AI

TOG 2020 | 基于骨骼一致性的单目视频人体活动重建

2022-7-18 17:02:00

AI

墨芯首席科学家严恩勖:为什么说茂密化是AI算计的将来

2022-7-18 17:04:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索