Stable Diffusion 2.0来了!网友:太快了,V1还没整透彻,V2就来了

如果你想,SD 2.0 能天生分辨率为 2048×2048 甚至更高的图象。今日,Stability AI 官方宣布,那个爆红 AI 圈的 Stable Diffusion 来到了 2.0 版本(SD

如果你想,SD 2.0 能天生分辨率为 2048×2048 甚至更高的图象。

今日,Stability AI 官方宣布,那个爆红 AI 圈的 Stable Diffusion 来到了 2.0 版本(SD 2.0)!上线短短几个小时,点赞量已经很可观了。

图片

项目地址:https://github.com/Stability-AI/stablediffusion

可以说,这波革新速度够快的,就像网友说的,我从未见过任何技术发展如此之快。V1 还没整透彻,V2 就来了。

图片

图片

V1亮相之初,在Github 排行榜,Stable Diffusion 为所有软件中攀升至 10K star 最快的其中之一,在不到两个月的时间内飙升至 33K star。按照这个速度,2.0 版本很快就会赶上。

图片

Stability AI 的产品副总裁兴奋的表示:Stable Diffusion 2.0 是有史以来发布的最强大的开源项目之一。这是迈向创造力、表达能力和沟通民主化的又一大步。

图片

还有网友表示:「离完美不远了。可能是 V5 或 V6 版本」。

图片

「新版本是改变游戏规则的革新。」

图片

与最初的 V1 版本相比,Stable Diffusion 2.0 供应了许多重大改进和个性,具体表现在:

Stable Diffusion 2.0 版本包含一个具有鲁棒性的文本 – 图象模型,在崭新的文本编码器 (OpenCLIP) 上训练而成,与早期的 V1 版本相比,文本 – 图象模型大大提高了图象天生质量,可以天生默认分辨率为 512×512 像素和 768×768 像素的图象。

此外,文本 – 图象模型是在 LAION-5B 数据集上训练的,然后利用 NSFW filter 过滤掉一些不可描述的内容。

图片

利用 Stable Diffusion 2.0 天生的图象示例,图象分辨率为 768×768

Stable Diffusion 2.0 还包括一个 Upscaler Diffusion 模型,该模型将天生图象的分辨率提高了 4 倍。具体效果如何呢?例如下图展示的是 Upscaler 将低分辨率天生的图象 (128×128) 晋级(upscaling)为更高分辨率的图象(512×512)。现在的图象已经够清晰了,然后在结合上述提到的文本 – 图象模型, 比如将 512×512 像素的图象提高 4 倍,Stable Diffusion 2.0 现在可以将图象晋级为分辨率为 2048×2048 甚至更高的图象。

图片

左:128×128 低分辨率图象。右:由 Upscaler 天生的 512×512 分辨率图象

此外,Stable Diffusion 2.0 革新还包括 Depth2img(depth-guided stable diffusion)模型,它扩展了 V1 版本中图象 – 图象的个性,为创意应用供应了崭新的可能性。Depth2img 用来推理输出图象的深度,然后利用文本和深度信息天生新图象。

图片

左边为输出图象,右边为新天生的图象,相同的动作,面貌各异。该新模型可用于图象 – 图象结构的维持和形状的合成。

Depth2img 供应了不同创新性应用,虽然天生的图象与原始图象有很大的不同,但仍然维持了图象的连贯性和深度:

图片

Stable Diffusion 2.0 天生的深度 – 图象维持一致性。

最后,Stable Diffusion 2.0 还引入了一个新的 text-guided 修复模型,用户可以非常智能、快递的切换图象部分内容,如下图中豹子的嘴巴和鼻子是不变的,其他部分可以随意改变。

图片

研究者表示,他们正在努力优化模型以在单个 GPU 上运行,让尽可能多的人可以利用。

参考链接:https://stability.ai/blog/stable-diffusion-v2-release

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/21595

(0)
上一篇 2022年11月25日 下午2:55
下一篇 2022年11月25日 下午3:35

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注