此前,在一场直播活动中,英伟达 CEO 黄仁勋宣布推出 DLSS 3。DLSS 全名为 Deep Learning Super Sampling,它是英伟达发布的深度进修超级采样技能,其拥有开创性的光学多帧生成功能,其为游玩提供了不可或缺的三要素:提升帧率、最大限度地提升响应速度和改善图象质量。
在一系列游玩和引擎中,与传统衬着相比,DLSS 3 有助于将 GeForce RTX 40 系列的机能翻倍提升:
与此同时,英伟达副总裁 Bryan Catanzaro 也曾在 Twitter 上宣称:「神经衬着在 Ada 架构的 DLSS 3.0 加持下迈出了非常重要的一步!除了 DL 驱动的超分辨率,它还使用光流、运动矢量和 DL 来生成整个帧。DLSS 3 衬着的 8 个像素中有 7 个是来自神经衬着的。」这足以将衬着速度提升 5 倍。
尽管这项了不起的技能目前仅限用于几十款 3D 游玩,但神经衬着很快就会带来收益。这项技能将释放日常消耗电子产品的新潜力。
在多数情况下,DLSS 3 在 4K 分辨率下比传统衬着技能机能提升两到三倍。虽然英伟达目前处于领先地位,但它也有竞争对手,比如英特尔 AI 驱动的高端软件 XeSS (Xe Super Sampling),以及 AMD 的 RDNA 3 图形架构。
游玩引领了神经衬着的浪潮,因为它们非常适合使用机械进修技能。谷歌高级研究员 Jon Barron 表示:「只看图象的小 patch,试图猜出图象缺失了什么,这非常适合机械来进修。机械善于识别帧之间的相似性,包括那些帧率高到足以掩盖运动中的微小失误。」
不过 DLSS 3 也存在不完美的地方,其在场景转换方面存在缺陷。但是 Barron 和 Catanzaro 认为在神经衬着模型中通过添加训练数据可以弥补这一缺陷。
英特尔图形研究副总裁 Anton Kaplanyan 认为,未来神经衬着技能会让 3D 内容创作变得更加触手可及。不难看出,现在的社交网络已经逐渐商品化了,人们只需点击一个按钮,拍一张照片,就可与亲朋好友分享。如果我们想把这种体验提升到 3D,我们就需要吸引那些不懂专业工具的人成为内容创造者。
2023 年,3D 神经衬着的改进速度关乎其未来的发展。但与传统衬着相比,研究者缺少更多的经验。Barron 指出:「计算机图形学很神奇,它的工作效果非常好,我们有很多要领来解决问题,而这些要领可能永远适用。」
接下来的问题是,图形行业会在何时接受 3D 神经衬着作为一种替代方案。这种过渡可能是令人担忧的,因为押注失误技能或失误架构的代价可不小。
尽管如此,Catanzaro 相信 3D 神经衬着已经势不可挡。他说:「我们将会看到许多更加不同凡响的神经衬着技能。这些技能有的能够做阴影、折射和反射,将来我们会考虑那些比 DLSS 更强的神经衬着要领,我认为未来的图形领域将会是多种要领并行的。」
神经衬着最大的好处是作用
神经衬着的魅力不仅在于它潜在的机能,还在于它潜在的作用。DLSS 3 通过 RTX 在 Portal 游玩中提供的 530% 增益可以提升帧速率——或者通过将帧速率限制在一个目标内来降低功耗。如此一来,DLSS 3 可以减少呈现每一帧的成本。
英伟达 DLSS 3
这可不容小觑,因为消耗电子领域面临着一个重要问题,即摩尔定律大势已去,就算没有,也只是苟延残喘罢了。Catanzaro 说道:「正如你所知道的,摩尔定律已经失去了势头,我个人认为后摩尔图象就是神经图象。对于英伟达来说,神经衬着已然成为一种具有代表性的要领,它不需要成倍增加晶体管数量就可以为公司带来巨大收益。」
然而,英特尔的 Kaplanyan 并不认为摩尔定律会消亡,但他也赞同神经衬着可以提升作用。他说:「芯片的大小可以解决,我同意我们有着大好的机会,可以通过机械进修算法,更有效地利用这种能量和这一领域,产生新的视觉效果。」
AMD、英伟达和英特尔这三家公司都与装备制造商合作,来设计新的消耗笔记本电脑和平板电脑,于是作用便成为了三家公司的必争之地。对于装备制造商来说,作用提升带来了更薄、更轻、电池续航时间更长的装备,同时也提升了用户使用装备的功能。
显然,2023 年将是消耗装备中神经衬着的奠基年。支持 DLSS 3 的英伟达 RTX 40 系列将推出多种台式电脑和笔记本电脑;英特尔预计将扩展其 Arc 图形线与即将到来的 Battlemage 架构;AMD 将推出更多使用 RDNA 3 架构的变体产品。
这些产品的发布为图形革命奠定了基础。当然,这不是一蹴而就的,需要花些功夫——但随着消耗者对视觉效果和内容创造的要求越来越高,通过更小、更薄的创新,神经衬着可能是最好的交付方式。
原文链接:https://spectrum.ieee.org/ai-graphics-neural-rendering
原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/29993