年轻的LeCun、吴恩达长啥样?升级版StyleGAN告诉你

来自以色列特拉维夫大学的研讨者在天生图象方面又有了新的升级,所用格式在保留源图象身份的同时,在细节编写上实现了更精细的效验。

英伟达提出的风格迁移模型 StyleGAN 系列,一直是人们用来进行各类脑洞画图实行的流行工具。从天生二次元「老婆」,照片修图,到人物的卡通化,最近几年基于这种技术的应用不一而足。然而 StyleGAN 也一直有着自己的不足,近年来的各种改进也未能让其在反向天生、细节编写上实现精细的效验。什么时候我们才能让 AI 随心所欲地修改真人照片呢?今年 6 月,这样的研讨终于出现了。在以色列特拉维夫大学的论文《Pivotal Tuning for Latent-based Editing of Real Images》中,研讨人员通过添加一个简短的训练过程,让 StyleGAN 有了焕然一新的升级。它的天生效验是这样的,天生更年轻和悲伤的 Yann LeCun:

年轻的LeCun、吴恩达长啥样?升级版StyleGAN告诉你

还有更年轻和脸部旋转后的吴恩达:

年轻的LeCun、吴恩达长啥样?升级版StyleGAN告诉你

下图中,输入小威廉姆斯、小罗伯特 · 唐尼以及小丑等人的照片,经过处理后,天生了悲伤、换发型、老年、张嘴、去胡须、摆 pose 等多样化的形象:

年轻的LeCun、吴恩达长啥样?升级版StyleGAN告诉你

不得不说,效验看起来真不错!研讨介绍最近,一波先进的脸部编写技术被提出,这些技术利用预训练 StyleGAN 的图象天生能力。要用这种格式成功地编写图象,必须首先将图象投影到预先训练好的天生器域中。然而,事实证明,StyleGAN 的潜伏空间在失真和可编写性之间产生了内在的折衷,即在依旧原始外表和扭转其某些属性之间需要折中。实际上,这意味着将保留 ID 的脸部潜伏空间编写应用于天生器域之外的脸部仍然具有挑战性。在本文中,来自以色列特拉维夫大学的研讨者提出了一种格式来弥补这一差距。该研讨稍微扭转了天生器,使得一个域外的图象如实的被映射到一个域内的潜码。该研讨一个关键的调整,一个简短的训练过程,保留域内潜伏区域的编写质量,同时扭转其描述的身份和外表。

年轻的LeCun、吴恩达长啥样?升级版StyleGAN告诉你

论文地点:https://arxiv.org/pdf/2106.05744.pdfGitHub 地点:https://github.com/danielroich/PTIColab 地点: https://colab.research.google.com/github/danielroich/PTI/blob/main/notebooks/inference_playground.ipynb在研讨者提出的 PTI(Pivotal Tuning Inversion)中,初始反向潜码充当枢轴(pivotal),你可以围绕它微调天生器。同时,正则化项依旧附近的身份信息不变,依旧局部信息影响。这种训练过程最终会扭转身份的外表特征,而不会影响编写能力。为了补充这一点,该研讨进一步表明,枢轴调整(pivotal tuning)还可以调整天生器以适应多个人脸,同时在域的其余部分引入可忽略的失真。

年轻的LeCun、吴恩达长啥样?升级版StyleGAN告诉你

PTI 格式的示意图。该研讨主要是使用 StyleGAN 为真实图象提供天生高质量的编写。由于 StyleGAN 的特性,可以对其天生的外表进行细微的局部更改,而不会损害其强大的编写功能。因此,给定一张图象,可能外表看起来不正常(例如一个人处在极端的照明条件下,或浓妆艳抹,或夸张的发型和头饰),该研讨建议在天生器的域内找到最近的可编写点。然后这些点可以被拉向目标,对周围的域影响微乎其微,对其他域的影响也微乎其微。实行实行采用 StyleGAN2 天生器 ,对于脸部图象,研讨者使用在 FFHQ 数据集上预训练的天生器进行处理,并使用 CelebA-HQ 数据集进行评估。此外,该研讨还收集了一些其他名人的图象,以突出显示该研讨依旧身份的能力。研讨者采用以下指标:像素级距离 MSE、感知类似度 LPIPS 、结构类似度 MS SSIM 、以及利用预训练的人脸识别网络实现身份类似度。结果如下表所示。可以得出在每个指标上,该研讨都是最佳得分。

年轻的LeCun、吴恩达长啥样?升级版StyleGAN告诉你

如下图所示,即使不考虑可编写性,该研讨的格式对所有的例子都获得了较好的重修效验,特别是域外的例子,因为该格式是唯一可以成功的重修具有挑战性的细节,如脸部绘画或手等细节。

年轻的LeCun、吴恩达长啥样?升级版StyleGAN告诉你

此外,该研讨提出的格式还能够重修很多细节,如妆容、光线、皱纹等。

年轻的LeCun、吴恩达长啥样?升级版StyleGAN告诉你

图 6 显示了对 CelebA-HQ 数据集的编写比较,演示了姿势(顶部)和悲伤收敛(底部)编写。由结果可得在 SG2 W + 上的编写不会产生所需的效验,例如,底部行中的嘴没有闭合。SG2 和 e4e 实现了更好的编写,但失去了原有的身份。PTI 在依旧身份的同时实现了高质量的编写。

年轻的LeCun、吴恩达长啥样?升级版StyleGAN告诉你

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/nian-qing-de-lecun-wu-en-da-zhang-sha-yang-sheng-ji-ban/

(0)
上一篇 2021年 6月 24日 下午5:40
下一篇 2021年 6月 25日 下午2:26

相关推荐

  • AI自动化系统可以赶快找到新的电池化学成分,比人工尝试要快得多

    编辑 | 萝卜皮开发高能高效电池技术是推进交通和航空电气化的关键方面。然而,电池创新能够需要数年时间才能实现。在非水电池电解质溶液的情况下,选择多种溶剂、盐及其相对比例的许多计划变量使得电解质优化既费时又费力。为了克服这些问题,卡内基梅隆大学(Carnegie Mellon University)的钻研团队提出了一种尝试计划,将呆板人技术(一个名为「Clio」的定制自动化尝试)与呆板学习(一个名为「Dragonfly」的基于贝叶斯优化的尝试计划器)结合起来。在单盐和三元溶剂计划空间内对电解质电导率进行自主优化,在两

    2022年 10月 13日
  • 陈怡然、刘学等多位华人学者当选,ACM SIG新任主席名单出炉

    近日,ACM SIG 新一届选举结果出炉,多位华人学者当选SIG主席。

    2021年 6月 16日
  • SIGGRAPH 2021 | 学习带神经交融外形的人物动画

    本文是对发表于计算机图形学顶级会议 SIGGRAPH 2021 的论文 Learning Skeletal Articulations with Neural Blend Shapes 的解读。
    该论文由北京大学陈宝权教授研究团队与北京电影学院未来影像高精尖创新中心、Google Research、特拉维夫大学以及苏黎世联邦理工学院合作,针对骨骼驱动的模型动画的高质量自动化天生进行改进,提出了神经交融外形手艺。实验证明,该法子显著减少了已有法子中需要的人工干预,大大提升了天生动画的质量。

    2022年 7月 18日
  • CVPR 2022 | 图象也是德布罗意波!华为诺亚&北大提出量子启发MLP,机能超越Swin Transfomer

    来自华为诺亚方舟实验室、北京大学、悉尼大学的研究者提出了一种受量子力学启发的视觉 MLP 新架构。

    2022年 3月 16日
  • 这个夏天,跟陈天奇学「呆板进修编译」中英文课程,6月17日开课!

    陈天奇:「因为世界上还没有关于这个方位的体系性课程,所以这一次尝试应该会是和小伙伴们共同的探索」。随着呆板进修框架和硬件需求的发展,呆板进修 / 深度进修编译正成为一个越来越受关注的话题。在去年 12 月的一篇文章中,TVM、MXNET、XGBoost 作者,CMU 助理教授,OctoML CTO 陈天奇探讨了「新一代深度进修编译技术的变革和展望」。他指出,现在深度进修编译生态正围绕四类笼统展开:估计图体现、张量步调体现、算子库和运行情况、硬件专用指令。不过,由于篇幅受限,陈天奇并未就这一话题展开体系、详细的讨论,

    2022年 6月 4日
  • ScienceAI发展前瞻:AI与科学较量争论的双向作用

    「机器之心2021-2022年度AI趋势大咖说」聚焦「驱动未来的AI技术」与「重塑产业的AI科技」,推出线上分享,共邀请近40位AI领域知名学者、产业专家及企业高管通过主题分享及多人圆桌等形式,与行业精英、读者、观众共同回顾 2021年中的重要技术和学术热点,盘点AI产业的年度研究方向以及重大科技突破,展望2022年度AI技术发展方向、AI技术与产业科技融合趋势。

    2022年 7月 11日
  • AI芯片业的挑战亦是企业智能化转型的降本增效机会

    「机器之心2021-2022年度AI趋势大咖说」聚焦「驱动未来的AI技能」与「重塑产业的AI科技」,推出线上分享,共邀请近40位AI领域知名学者、产业专家及企业高管通过主题分享及多人圆桌等形式,与行业精英、读者、观众共同回顾 2021年中的重要技能和学术热点,盘点AI产业的年度研究方向以及重大科技突破,展望2022年度AI技能发展方向、AI技能与产业科技融合趋势。

    2022年 7月 26日
  • 是时候进修机械进修零碎安排了!斯坦福CS 329S开课,课件、笔记同步更新

    这是一门新的课程——在进修了算法、框架等内容后,是时候深入了解一下「机械进修零碎安排」了!

    2021年 1月 26日
  • 中国队喜提六枚金牌,实现IMO团队三连冠:王一川拿下全场唯一满分

    在 IMO 2021 的赛场上,中国队又一次实现了「全员金牌」并喜提冠军,来自华师大二附中的选手王一川更是取得了全场唯一的满分问题。

    2021年 7月 26日
  • ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系摹拟

    清华 AIR、计算机系与腾讯 AI Lab 合作,共同提出等变图力学网络,实现了理论力学中的一类重要任务—多刚体体系摹拟。

    2022年 3月 27日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注