SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

来自影眸科技与上海科技大学的研发团队提出了一种文本指导的渐进式 3D 天生框架 ——DreamFace

在科技迅速发展的今天,天生式人工智能和计算机图形学畛域的研究日益引人注目,影视制作、游玩开发等行业正面临着巨大的挑战和机遇。本文将为您介绍一项 3D 天生畛域的研究 ——DreamFace,它是首个支持 Production-Ready 3D 资产天生的文本指导渐进式 3D 天生框架,可以实现文本天生可驱动的 3D 超写实数字人。

这项工作已经被计算机图形畛域国际顶级期刊 Transactions on Graphics 接收,并将在国际计算机图形顶级会议 SIGGRAPH 2023 上展示。

SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

项目网站:https://sites.google.com/view/dreamface预印版论文:https://arxiv.org/abs/2304.03117Web Demo: https://hyperhuman.topHuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar

引言

自文本和图像天生技巧取得巨大突破以来,3D 天生技巧逐渐成为了科研和产业界关注的焦点。然而,目前市面上的 3D 天生技巧仍然面临着许多挑战,包括 CG 管线兼容性问题、准确性问题以及运行速度问题。

为了解决这些问题,来自影眸科技与上海科技大学的研发团队提出了一种文本指导的渐进式 3D 天生框架 ——DreamFace。该框架可以直接天生符合 CG 制作标准的 3D 资产,具有更高的准确性、更快的运行速度和较好的 CG 管线兼容性。本文将对 DreamFace 的主要功能从事详细介绍,并探讨其在影视制作、游玩开发等行业的使用前景。

DreamFace 框架概述

SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

DreamFace 框架主要包括三个模块:多少体天生、鉴于物理的材质散布天生和动画才能天生。这三个模块相辅相成,共同实现了一种高效而可靠的 3D 天生技巧。

多少体天生

SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

多少体天生模块的核心任务是根据文本提醒天生与之一致的多少模型。DreamFace 采用了鉴于 CLIP(Contrastive Language-Image Pre-Training)的选择框架,首先从人脸多少参数空间内随机采样的候选项中选择最佳的粗略多少模型,然后通过隐式散布模型(LDM)雕刻多少细节,使头部模型更符合文本提醒。此外,该框架还支持鉴于文本提醒的发型和颜色天生。

SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

鉴于物理的材质散布天生

SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

鉴于物理的材质散布天生模块旨在预测与预测多少体和文本提醒一致的脸部纹理。DreamFace 首先将预先训练的 LDM 在收集的大规模 UV 材质数据集上微调,得到两个 LDM 散布模型。然后,采用联合训练方案协调两个散布过程,一个用于直接去噪 UV 纹理贴图,另一个用于监督渲染图像。

SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

为了确保所创建的纹理地图不含有不良特征或照明情况,同时仍保持多样性,设计了一种提醒学习策略。团队利用两种方法天生高质量的漫反射贴图:(1)Prompt Tuning。与手工制作的特定畛域文本提醒不同,DreamFace 将两个特定畛域的连续文本提醒 Cd 和 Cu 与相应的文本提醒结合起来,这将在 U-Net 去噪器训练期间从事优化,以避免不稳定和耗时的手工撰写提醒。(2)非脸部区域遮罩。LDM 去噪过程将额外地受到非脸部区域遮罩的限制,以确保天生的漫反射贴图不含有任何不需要的元素。

最后,通过超分辨率模块天生 4K 鉴于物理的纹理,以从事高质量渲染。

SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

动画才能天生

SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

DreamFace 天生的模型具备动画才能。通过预测独特的变形,为天生的静息(Neutral)模型赋予动画效果,从而产生个性化的动画。与使用通用 BlendShapes 从事表情控制的方法相比,DreamFace 的神经脸部动画方法可以提供更细致的表情细节,并且可以精细地捕捉表演。

SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

使用和展望

SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

DreamFace 框架在名人天生、根据描述天生角色等方面取得了优异的成绩。此外,还支持使用提醒和草图从事纹理编辑,实现全局的编辑效果,如老化和化妆。通过进一步结合掩模或草图,可以创建各种效果,如纹身、胡须和胎记。

SIGGRAPH2023|DreamFace:一句话天生 3D 数字人?

DreamFace 的渐进式天生框架为解决复杂的 3D 天生任务提供了一种有效的解决方案,有望推动更多类似的研究和技巧发展。此外,鉴于物理的材质散布天生和动画才能天生将推动 3D 天生技巧在影视制作、游玩开发和其他相关行业的使用,让我们拭目以待它在未来的发展和使用。

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/29402

(0)
上一篇 2023年5月7日 下午11:31
下一篇 2023年5月8日 下午2:20

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注