今年 7 月，英伟达 StyleGAN 团队在 NeurIPS 2021 论文《 Alias-Free Generative Adversarial Networks 》中推出了 Alias-Free GAN，也即 StyleGAN3。
论文地址：https://arxiv.org/pdf/2106.12423.pdf我们知道，典型的 GAN 具有分层卷积性质，但它们的合成过程过度依赖于绝对像素坐标。这就导致图象细节会粘连在坐标上，而不在描述对象的表面。因此，英伟达的研究者探究导致生成器网络中出现混叠的 careless 信号处理的根本原因。通过将网络中所有信号解读为连续性，他们进行了普遍适用的、小的架构变化，保证多余信息不会参与分层合成过程，并由此得到了 StyleGAN3。与 StyleGAN2 相比，StyleGAN3 获得了类似的 FID，但内部表征存在显著差异，并在亚像素尺度上实现了真正的图象平移和旋转不变性，从而大幅度提升生成图象的质量。研究者在论文中表示，StyleGAN3 为更适用于视频和动画的生成模型铺平了道路。我们从如下两个 Demo 可以看出 StyleGAN3 和 StyleGAN2 的效果差异，StyleGAN3 在头发、胡须、笑容等的转换、移动方面更加地流畅、平滑。
当时，StyleGAN3 没有开源代码。近日，英伟达终于上传了 StyleGAN3 的官方 PyTorch 实现。短短一天时间，GitHub 获星 1.4k。
GitHub地址：https://github.com/NVlabs/stylegan3
项目主页：https://nvlabs.github.io/stylegan3/
不过，英伟达的 StyleGAN3 项目消耗了令人难以想象的资源和电力。研究者在论文中表示，整个项目在 NVIDIA V100 内部集群上消耗了 92 个 GPU year（即单个 GPU 一年的计算）和 225 兆瓦时（Mwh）的电力。
对此，有网友评论称，「225 兆瓦时的电力相当于整个核反应堆运行大约 15 分钟，果然「残暴」啊！」
英伟达StyleGAN3 的开源也让用户的「脑洞」打开，推特上一位大神 @RiversHaveWings「玩出了花」。
StyleGAN3 新特性StyleGAN3 库是 StyleGAN2-ADA 官方 PyTorch 实现的更新版，具有如下几个新特性：
Alias-free 生成器架构和训练配置（stylegan3-t 和 stylegan3-r）；
提供交互式可视化（visualizer.py）、频谱分析（avg_spectra.py）和视频生成（gen_video.py）的对象；
同变性度量（eqt50k_int、 eqt50k_frac 和 eqr50k）；
其他改进：减少内存应用、训练速度略升以及 bug 修复。
就兼容性来说，StyleGAN3 兼容应用 stylegan2-ada 和 stylegan2-ada-pytorch 建立的旧的网络 pickles，支持 ADA 和迁移学习等旧的 StyleGAN2 训练配置，并提升了与英伟达 Ampere GPU 和更新版本 PyTorch、CuDNN 等的兼容性。安装要求安装 StyleGAN3 时需要满足如下一些要求：
支持 Linux 和 Windows 系统，但从性能和兼容性两方面考虑，建议应用 Linux 系统；
1 到 8 块至少 12G 内存的高端英伟达 GPU。团队已经应用 Tesla V100 和 A100 GPU 完成了所有测试和开发；
64-bit Python 3.8 和 PyTorch 1.9.0（或更新版本）；
CUDA 对象包 11.1 或更新版本；
用户可以应用 Miniconda3，通过如下命令建立 StyleGAN3 Python 环境：conda env create -f environment.yml
和 conda activate stylegan3；
对于 Docker 用户，确保自己正确安装英伟达 Container Runtime (https://docs.docker.com/config/containers/resource_constraints/#gpu)，并应用提供 Dockerfile 建立具有所需库依赖的映像。
交互式可视化对象StyleGAN3 库包含一个交互式模型可视化对象，可用于探索训练模型的各种特性。对象启动前需要运行如下代码可视化界面如下所示：
StyleGAN3 的更多细节详见 GitHub 项目。参考链接：https://www.reddit.com/r/MachineLearning/comments/q6ark8/r_stylegan3_aliasfree_generative_adversarial/
原创文章，作者：机器之心，如若转载，请注明出处：https://www.iaiol.com/news/34228
