AI在线 AI在线

SIGGRAPH上,英伟达发布物理AI开源新技术,更新RTX Pro产品线

本周一,在全球图形学领域顶级会议 SIGGRAPH 上,英伟达宣布了一系列新发布。 面向「物理 AI」的愿景,英伟达提出了全新 Omniverse 库和 Cosmos 世界基础模型 (WFM),希望助推机器人解决方案的开发和部署。 这些库和模型由英伟达最新的 RTX PRO 服务器和 NVIDIA DGX Cloud 提供支持,可帮助开发者在任何地方开发物理精确的数字孪生,在仿真环境中捕捉和重建现实世界,生成用于训练物理 AI 模型的合成数据,并构建理解物理世界的 AI 智能体。

本周一,在全球图形学领域顶级会议 SIGGRAPH 上,英伟达宣布了一系列新发布。

面向「物理 AI」的愿景,英伟达提出了全新 Omniverse 库和 Cosmos 世界基础模型 (WFM),希望助推机器人解决方案的开发和部署。

SIGGRAPH上,英伟达发布物理AI开源新技术,更新RTX Pro产品线

这些库和模型由英伟达最新的 RTX PRO 服务器和 NVIDIA DGX Cloud 提供支持,可帮助开发者在任何地方开发物理精确的数字孪生,在仿真环境中捕捉和重建现实世界,生成用于训练物理 AI 模型的合成数据,并构建理解物理世界的 AI 智能体。

全新的 NVIDIA Omniverse 软件开发套件 (SDK) 和库可用于构建和部署工业 AI 和机器人开发仿真应用。英伟达提升了 MuJoCo (MJCF) 与通用场景描述 (OpenUSD) 之间的数据互操作性,可帮助超过 25 万名 MJCF 机器人学习开发者无缝地模拟各平台的机器人。

Omniverse NuRec 库和 AI 模型则引入了 Omniverse RTX 光线追踪 3D Gaussian Splatting(3DGS)技术,这种渲染技术可帮助开发者利用传感器数据,在 3D 中截取、重建和模拟现实世界。

英伟达在 GitHub 上开源了 Isaac Sim 5.0 和 Isaac Lab 2.2 机器人仿真和学习框架。Isaac Sim 现在包括 NuRec 神经渲染和基于 OpenUSD 的全新机器人及传感器模式,帮助机器人开发者缩小仿真与现实之间的差距。

Omniverse NuRec 渲染现已集成到超过 15 万名开发者使用的领先开源模拟器 CARLA 中。英伟达表示,自动驾驶行业的客户已在集成 NuRec、Omniverse Sensor RTX 和 Cosmos Transfer,以增强其可扩展的合成数据生成能力,提供物理精准的场景。

英伟达表示,很多业内领先的机器人公司,包括波士顿动力、Figure AI、Hexagon、RAI Institute、Lightwheel 和 Skild AI 正在采用 Omniverse 库、Isaac Sim 和 Isaac Lab 加速其 AI 机器人开发。

英伟达的世界基础模型 Cosmos WFM 自推出以来逐渐获得业界欢迎,下载量已超过 200 万次。它可帮助开发者通过文本、图像和视频提示大规模生成各种用于训练机器人的数据。 在 SIGGRAPH 大会上宣布的 Cosmos 新模型在合成数据生成速度、模型精度、语言支持和控制方面取得了重大进步。

SIGGRAPH上,英伟达发布物理AI开源新技术,更新RTX Pro产品线

英伟达即将发布 Cosmos Transfer-2,它简化了提示并能从地面实况 3D 仿真场景或空间控制输入(如深度、分割、边缘和高清地图)中,快速生成逼真的合成数据。Cosmos Transfer 的精简版本将 70 个步骤的蒸馏过程简化为一个步骤,开发者能够以前所未有的速度在 NVIDIA RTX PRO 服务器上运行模型。

自 OpenAI 的 CLIP 模型推出以来,视觉语言模型 (VLM) 改变了物体和模式识别等计算机视觉任务。但是,它们尚未能够解决多步骤任务,也无法处理模糊或新颖的体验。NVIDIA Cosmos Reason 是一款面向物理 AI 和机器人开发的全新开源、可定制的 70 亿参数推理 VLM,可让机器人和视觉 AI 智能体像人类一样推理,利用先验知识、物理理解和常识,理解现实世界并付诸行动。

英伟达表示,Cosmos Reason 可用于机器人开发和物理 AI 应用,包括数据管理与注释、机器人规划和推理,以及视频分析 AI 智能体。

为帮助开发者充分利用这些先进技术和软件库,英伟达还宣布推出专为极高要求工作负载而设计的 AI 基础设施,其中包括 RTX PRO Blackwell 服务器。

在端侧,英伟达也发布了 RTX Pro 4000 SFF 和 RTX Pro 2000 两款新 GPU,完善了工作站产品线。除了性能比上一代产品提升外,这些 GPU 还针对 AI 加速进行了量身定制,适用于不同行业的各种工作流程。

SIGGRAPH上,英伟达发布物理AI开源新技术,更新RTX Pro产品线

其中,RTX Pro 4000 Blackwell SFF 的 AI 性能是上一代 RTX A4000 SFF 的两倍多,光线追踪功能有所提升,带宽提升了 50%,同时最大 TDP 仍与上一代显卡相同,为 70W。

这款 GPU 配备 24GB ECC GDDR7 显存,拥有 770 AI TOPS 的吞吐量,对于寻求更小巧、更强大性能的专业人士来说,无疑是一个绝佳选择。

目前,DGX Cloud 也已经在 Microsoft Azure 上提供服务,它为 Omniverse 开发者提供了一个完全托管的平台,可以简化从云端大规模流式传输基于 OpenUSD 和 NVIDIA  RTX 应用,从而最大限度地减少基础设施编排和管理。

英伟达 Omniverse 和仿真技术副总裁 Rev Lebaredian 表示:「计算机图形与 AI 的融合,从根本上改变着机器人。通过将 AI 推理与物理精准的可扩展仿真相结合,我们正帮助开发者打造未来的机器人和智能汽车,这将为各行业带来价值数万亿美元的改变。」

相关资讯

与DeepMind展开合作,英伟达的物理世界AI正在拓展版图

老黄:机器人的时代已经来临了。
3/19/2025 4:53:00 PM
李泽南

构建人形机器人需要的三种电脑,英伟达都提供

在未来的 5 到 10 年里,我们即将见证 AI 从虚拟世界走向现实。
1/18/2025 9:07:00 PM
李泽南

英伟达与卡内基梅隆大学推出新框架ASAP,提升机器人训练精准度

在机器人技术的发展中,模拟环境与现实世界之间的差距一直是一个重大挑战。 近日,英伟达 GEAR 实验室与卡内基梅隆大学的研究团队联合开发了一种新框架,名为 ASAP(Aligning Simulation and Real Physics),旨在缩小这种差距。 该系统在减少机器人模拟与现实运动误差方面取得了显著进展,能够降低约53% 的运动误差,相较于现有方法具有明显优势。
2/6/2025 10:41:00 AM
AI在线
  • 1