元宇宙虚构数字人的建立与将来身份系统

「机器之心2021-2022年度AI趋势大咖说」聚焦「启动将来的AI技术」与「重塑产业的AI科技」,推出线上分享,共邀请近40位AI领域知名学者、产业专家及企业高管通过主题分享及多人圆桌等形式,与行业精英、读者、观众共同回顾 2021年中的重要技术和学术热点,盘点AI产业的年度研究方向以及重大科技突破,展望2022年度AI技术发展方向、AI技术与产业科技融合趋势。

本文为影眸科技创始人,上海科技大学MARS实验室学生负责人吴迪于「启动将来的AI技术」系列主题,「元宇宙」专场的分享内容节选。点击进入「机器之心Pro」,查看更多优质内容。

元宇宙虚构数字人的建立与将来身份系统

吴迪的分享主要包括两部分:

建立 – 如何天生自己的数字脚色;

交互 – 如何去和别人在元宇宙中通过表情、举措进行交互。

吴迪表示,在将来的元宇宙体验里,希望用户简单地上传自己的几张照片,然后上传到待天生虚构形象的神经网络,就可以天生自己的超高精度的三维虚构形象,并且可以接入到分歧的元宇宙平台和他人去进行交互。

为达成上述目标,首先要有超高精度的人脸重建技术,影眸科技所使用的是光度立体法。该方法通过分歧的光照分布,分歧偏正态的光打在物体的表面去获取,通过光打在物体表面反射方向,来抵达物体上细节的展现。该技术最早被用在南加大好莱坞去拍摄一些电影,如《双子杀手》。后来,南加大公司被谷歌收购了。所以Light Stage技术只有谷歌和影眸科技可以搭建。

此外,影眸科技自主研发了世界最高精度的人脸扫描装备Plennoptic stage ,其由很多灯光和高速相机组成,它的灯光在拍摄时会产生分歧的变化,通过分歧变化的光照打在人脸上的反射信息,可以捕捉到高精度的人脸材质。我们模特通过此装备里扫描时,它的光照也会变化。这是一个主动变化光照的扫描系统,每一帧拍在人身上光照都不一样。同时它可以抵达 1000 赫兹的扫描,所以可以做4D高精度的静态连续扫描。

分享过程中,吴迪还展示了Plennoptic stage装备的宣传片,可以看到该装备可以做连续静态扫描,被拉扯的细节,包括毛孔都被一帧一帧清晰地表现出来。

吴迪表示,通过进一步对Plennoptic stage收集到的数据进行自动化的重拓扑,然后再把它的图像和它所捕捉到的模型给输入到神经网络里面,就可以做一个基于 AI 的人脸控制和启动。因为Plennoptic stage所有的帧都是以 20 FPS 去连续录制的毛孔细节,所以把贴图模型交给神经网络,神经网络就可以学到如何通过视频去表达出静态的贴图,天生静态细节,抵达非常真实的实时人脸表现。这样,就可以通过单个摄像头让用户来启动他的三维脚色。

吴迪说,可以想象一下,将来,来自两个分歧地方在同一个元宇宙的世界里的人,通过 VR 眼镜去得到他们的面部表情和举措,两个人就可以通过自己三维脚色,在同一个空间里面做非常精细的表情或者口型交互,这是真正元宇宙将来应该做到的事情。

元宇宙虚构数字人的建立与将来身份系统

对于如何建立元宇宙里的人身建立,吴迪分享了影眸科技所搭建的一套全世界最大的光场收集系统ChallenCapSystem。ChallenCap System里共有24,000 多个灯光节点,由六种原色组成,均为彩色可控;它以高速度在人身上打出分歧的光照,然后去建立出人身上的材质和三维模型。这是全世界唯一的一套抵达 8 米的三维收集装备。它所有的灯光节点都可控制,将来上面还会装上非常多的相机。就可以抵达一个高精度的三维收集。通过这样一套装备,用户收集到人物的模型包括他的一些举措数据之后,后续通过几台手机甚至单个手机就可以去实现对人物进行举措捕捉,包括手指骨头都可以在一个手机的工单上实现。这也是MARS实验室所孵化的另外一个创业项目。

元宇宙虚构数字人的建立与将来身份系统

此外,吴迪对元宇宙中人物的身份进行了探讨。吴迪将其分为三类,分别是IP 型数字人、服务型的数字人、ID 型数字人。吴迪说道,元宇宙中非常重要的是人物风格化,这需要收集到高精度模型,让它适配元宇宙里所有的脚色风格比如说它想去迪士尼风格平台里玩,就可以以自己的形象和结构为基础,把自己变成迪士尼的王子和公主,和他人进行交互。

最后,吴迪表示,元宇宙除了建立、交互,还有衬着环节,这也是MARS实验室包括将来上海科技大学重点研究的方向。

当前影眸科技抵达的效果是依靠所捕捉到高精度三维重打光启动数据库,然后把它添加到网络 SOFGAN 里,通过形态、风格去天生一个人脸。而对于将来如何让终端去运行衬着效果,吴迪分享了影眸科技目前在研发一个称作GGU的处理单元。GGU(GraphicsGeneration Unit)是一个AI图像天生处理单元,把模型的参数和视角输入到网络之后,网络会自动地输出视角下的物品、人、场景。这样的衬着方法我们称作为 NeRF 或者叫 neural rendering 。通过GGU,终端、 AR 眼镜、手机就可以基于 NLP 网络算法实时做 NeRF 和  neural rendering  高清晰度实时衬着。

元宇宙虚构数字人的建立与将来身份系统

原创文章,作者:机器之心Pro发布,如若转载,请注明出处:https://www.iaiol.com/news/yuan-yu-zhou-xu-gou-shu-zi-ren-de-jian-li-yu-jiang-lai-shen/

(0)
上一篇 2022年 8月 1日 下午8:51
下一篇 2022年 8月 2日 下午2:13

相关推荐

  • 东软睿驰与芯驰科技达成战略竞争 携手加速国产化软硬件解决方案落地

    2022年4月7日,东软睿驰与芯驰科技签署战略竞争协议,两边将围绕软件界说汽车发展趋势,在汽车智能化技术与产物范围展开深层竞争,加速推动国产化软硬件方案落地,共创智能汽车发展新生态。根据协议,两边将基于东软睿驰在汽车根本软件、智能网联、主动驾驭及电动化等范围的技术积累,芯驰科技在芯片及芯片解决方案等方面的优势,强强联合,共同探索面向下一代的高性能、高稳当和高安全性的域控制产物。东软睿驰总经理曹斌表示:“随着智能汽车产业的不断发展,软硬件生态融合将加速智能网联汽车产业创新迭代,为用户带来更安全、更美好的出

    2022年 4月 7日
  • 颜水成、David Silver等10人当选,2022 AAAI Fellow名单公布

    2022 年度 AAAI Fellows 共有 10 位学者当选。

    2022年 2月 15日
  • HAOMO AI DAY官宣定档,年末AI主动驾技术盛筵即将上演

    今日好消息,毫末智行HAOMO AI DAY定档12月23日! 特斯拉AI DAY后,中国AI主动驾驭领域也有了自己的AI主动驾驭技术盛筵!在即将过去的2021年中,毫末智行惊喜不断,三次品牌开放日接连带来Pre-A轮融资、全球首个L4无人车工厂、主动驾驭三定律、NOH 智慧领航辅佐驾驭零碎、全球算力最高的可量产主动驾驭计算平台ICU3.0等众多惊爆人眼球的业务及产品发布,特别是辅佐驾驭用户行驶里程仅150天即突破200万公里、辅佐驾驭零碎3年落地乘用车超100万台的成绩及目标,更是让人们看到了主动驾驭技术大规模量

    2021年 12月 14日
  • 优化器怎么选?一文教你挑选适合不同ML项目的优化器

    为机械进修项目挑选符合的优化器不是一件简单的事。

    2021年 1月 5日
  • 宏景智驾CEO刘飞龙:利用「众筹法」接近主动驾驭终局

    作者 / 曹锦2018年,一支源自Cruise的初创团队准备在中国成立一家L4级主动驾驭公司。但是很快,他们就将定位由「Robotaxi量产公司」改为「L1-L4级智能驾驭规划服务商」。这是因为,当他们做了Robotaxi样车之后,却发现不管从法规还是商场接受度来看,L4级主动驾驭都还没迎来恰当的时机。之后的故事大家可能已经知道了,这家名为宏景智驾的公司,在刚成立三年半的时候,就实现了2亿元的营收,今年上半年的订单额更是高达4.9亿元。(左:宏景智驾创始人兼CEO刘飞龙,右:Auto Byte负责人 曹锦

    2022年 5月 31日
  • 每一年发表两个图灵奖?《ACM通讯》主编发文提议推动图灵奖改革

    如果真的改革,百万奖金需要打对折吗?

    2021年 8月 4日
  • 困扰行业的难题有解了!千寻位子率先推出电离层扰动解决方案

    近期,在测量测绘、智能驾驶、无人机等高精度定位相关领域不免遇到类似问题:“无人机怎么无故就偏航了?”“为什么RTK终端在部分区域的空旷环境下,也出现浮动无奈牢固的情况?”随着太阳活动峰年的到来,电离层的活泼程度也在逐步加重,受电离层活泼的干扰,出现定位精度不准甚至无奈定位的情况。电离层干扰是困扰GNSS定位领域的世界级难题。千寻位子从无到有进行研发攻坚,鉴于独有的电离层大规模监测数据与算法验证,在业内率先推出包括算法优化、云端共同、电离层实时感知等在内的电离层扰动解决

    2022年 6月 2日
  • Science出台新政,旗下部分期刊论文立即收费,无需作家付费

    好起来了?收费科学文献设计Plan S今年生效,Science昨天又放出「大招」。

    2021年 1月 16日
  • 1.5K star量,上古老番变4K,B站开源超分辨率算法

    这是 B 站 AI 实验室的最新成果。

    2022年 2月 15日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注