给几个关键词就能出摄影大片,英伟达GauGAN上新2.0:将文本转成传神图象

这么美的照片竟然不是出自摄影师之手?!

在 2019 年举办的 GTC 大会上,英伟达展示了一款新的交互应用 GauGAN:利用天生对抗网络(GAN)将联系图转换为栩栩如生的图象。时隔 2 年,英伟达官方推出了 GauGAN 的继任者 GauGAN2,允许用户创设不存在的传神景色图象。GauGAN2 将联系映射、修复和文本到图象天生等技术结合在一个工具中,旨在输出文字和简单的绘图就能创设传神的图象。英伟达表示:「与类似的图象天生模型相比,GauGAN2 的神经网络能够产生更多种类和更高质量的图象。」用户无需绘制想象场景的每个元素,只需输出一个简短的短语即可快速天生图象的关键特征和主题。例如输出「海浪打在岩石上」,模型会根据天生的内容逐渐进行相应的调整,以天生与描述婚配的传神图象。给几个关键词就能出摄影大片,英伟达GauGAN上新2.0:将文本转成传神图象目前 GauGAN2 还在研发阶段,但英伟达已为用户提供了一个 demo 地址,可在线试玩。试玩地址:https://www.nvidia.com/en-us/research/ai-demos/简单输出几个关键词就能天生想要的景色图,看起来非常有趣。GauGAN2 的天生形式GauGAN2 现在有几种形式,可以从不同的输出天生传神的图象。形式 1:输出简笔画。

给几个关键词就能出摄影大片,英伟达GauGAN上新2.0:将文本转成传神图象

形式 2:输出文本。

给几个关键词就能出摄影大片,英伟达GauGAN上新2.0:将文本转成传神图象

这种输出文本天生婚配图象的形式也是 GauGAN2 主要的创新,天生的图象会根据逐渐输出的文本不断发生变化,最终天生和文本婚配最佳的图象。例如在下图的示例中,文本首先输出「sunshine(阳光)」,天生的图象中就只出现了一个太阳;之后继续输出「a tall tree(高树)」,图象中就出现了树(且为顶部树枝,婚配「高树」);最后,输出的全部文本是「sunshine in a tall tree forest」,意为「透过森林的阳光」,GauGAN2 最终天生的图象与之相婚配:

给几个关键词就能出摄影大片,英伟达GauGAN上新2.0:将文本转成传神图象

形式 3:输出图象并编辑部分内容。例如,抹掉想要移除的内容,在天生的图象中会保留剩余的部分,并自动补全出多种新的完整图象:

给几个关键词就能出摄影大片,英伟达GauGAN上新2.0:将文本转成传神图象

此外,第一版 GauGAN 的涂鸦形式在 GauGAN2 也同样适用。

给几个关键词就能出摄影大片,英伟达GauGAN上新2.0:将文本转成传神图象

上述几种形式也可以混合叠加使用,例如在用涂鸦绘画等天生图象后,输出文本进行相应的修改,下图就天生了一座阳光下的「空中楼阁」:

给几个关键词就能出摄影大片,英伟达GauGAN上新2.0:将文本转成传神图象

从文本天生图象,如何实现?从 2019 年开始,英伟达开始改进 GauGAN 系统,该系统由超过一百万个公共 Flickr 图象训练而成。与 GauGAN 一样,GauGAN2 可以理解雪、树、水、花、灌木、丘陵和山脉等物体之间的关系,例如降水类型随季节变化的事实。GauGAN2 作为天生对抗网络 (GAN) 的一种变体,由天生器和鉴别器组成。天生器用于获取样本,例如获取与文本配对的图象,并预测可能与图片中元素(例如山水、树木)对应的数据。天生器试图通过「欺骗」鉴别器来进行训练,鉴别器则用于评估预测结果是否真实。虽然 GAN 的转换最初质量很差,但它随着鉴别器的反馈而不断改进。与 GauGAN 不同的是,GauGAN2 是在 1000 万张图象上训练而成——可以将自然语言描述转换成景色图。GauGAN2 在单个模型中结合了联系映射、修复和文本到图象的天生。它不仅可以创设传神的图象,艺术家还可以使用它来描绘超凡脱俗的景色,即实际中并不存在的艺术场景。例如星球大战系列中塔图因星有两个太阳。借助 GauGAN2 只需输出文本「desert hills sun」来创设一个起点,之后用户可在已有一个太阳的情况下快速绘制草图,天生想要的效果。

给几个关键词就能出摄影大片,英伟达GauGAN上新2.0:将文本转成传神图象

这是一个迭代的过程,用户在文本框中键入的每个词都会为 AI 创设的图象添加更多内容,因而 GauGAN2 才能随着输出文本而不断变换图象。GauGAN2 背后的 AI 模型使用 NVIDIA Selene 超级计算机,在 1000 万张高质量景色图象上进行了训练,这是一个 NVIDIA DGX SuperPOD 系统,是世界上最强大的 10 台超级计算机之一。GauGAN2 还借助神经网络来学习词汇与其对应的视觉效果之间的联系,例如「冬天」、「有雾」等。面向实际应用GauGAN2 从实用的角度讲是视觉创意天生器,在电影、软件、视频游戏、产品、时尚和室内设计中具有潜在应用。英伟达声称第一版 GauGAN 已被用于为电影和视频游戏创设概念艺术。类似地,GauGAN2 未来也将提供开源代码并投入应用。与 GauGAN2 类似,今年年初 OpenAI 发布了号称图象版 GPT-3、120 亿参数的 DALL-E,后者可以将以自然语言形式表达的大量概念转换为合适的图象,效果十分惊艳。 此类天生模型的一个缺点是可能存在私见。例如在 DALL-E 中,OpenAI 使用 CLIP 模型来提高天生图象质量,但几个月前有研究发现 CLIP 存在种族和性别私见问题。英伟达暂不会对 GauGAN2 是否存在私见给出回应。英伟达发言人表示:「该模型有超过 1 亿个参数,训练时间不到一个月(还在 demo 阶段),训练图象来自专有的景色图象数据集。因此 GauGAN2 只专注于景色,研究团队还对图象进行审核以确保图片中没有包含人的场景。」这将有助于减少 GauGAN2 的私见。参考链接:https://blogs.nvidia.com/blog/2021/11/22/gaugan2-ai-art-demo/

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/gei-ji-ge-guan-jian-ci-jiu-neng-chu-she-ying-da-pian-ying/

(0)
上一篇 2021年 11月 23日 上午10:21
下一篇 2021年 11月 23日 下午2:20

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注