AI在线 AI在线

无需 3D 模型 / 物理引擎:谷歌 DeepMind 联合开发力提示技术,AI 生成视频可模拟真实运动

谷歌 DeepMind 团队携手布朗大学,为视频生成模型开发“力提示”(force prompting)技术,可以在无需 3D 模型或物理引擎的情况下,生成逼真的运动效果。

科技媒体 The Decoder 昨日(6 月 3 日)发布博文,报道称谷歌 DeepMind 团队携手布朗大学,为视频生成模型开发“力提示”(force prompting)技术,可以在无需 3D 模型或物理引擎的情况下,生成逼真的运动效果。

用户只需指定力的方向和强度,就能操控 AI 生成的视频内容,该技术支持全局力(如风吹过整个画面)和局部力(如特定点的敲击)两种力量。这些力以矢量场形式输入系统,随后被转化为自然流畅的运动。

Deepmind's

研究团队基于 CogVideoX-5B-I2V 视频模型,加入 ControlNet 模块处理物理控制数据,信号通过 Transformer 架构生成视频,每段视频包含 49 帧,仅用 4 台 Nvidia A100 GPU 训练一天完成。

无需 3D 模型 / 物理引擎:谷歌 DeepMind 联合开发力提示技术,AI 生成视频可模拟真实运动

训练数据完全为合成:全局力数据包括 1.5 万段不同风力下旗帜飘动的视频;局部力数据则有 1.2 万段滚动球体和 1.1 万段花朵受冲击反应的视频。

无需 3D 模型 / 物理引擎:谷歌 DeepMind 联合开发力提示技术,AI 生成视频可模拟真实运动

在生成过程中,文本描述中在加入“风”或“气泡”等物理术语后,模型会自动建立正确的力与运动关系。训练样本结合文本提示、起始图像和物理力(全局力为完整矢量场,局部力为方向、位置和强度的动态信号),并通过随机化背景、光线和视角增加多样性。

无需 3D 模型 / 物理引擎:谷歌 DeepMind 联合开发力提示技术,AI 生成视频可模拟真实运动

尽管训练数据有限,模型展现出强大的泛化能力,能适应新物体、材质和场景,甚至掌握简单物理规则,如相同力下,轻物移动距离比重物远。

无需 3D 模型 / 物理引擎:谷歌 DeepMind 联合开发力提示技术,AI 生成视频可模拟真实运动

用户测试中,“力提示”技术在运动匹配度和真实感上优于纯文本或运动路径控制的基准模型,甚至超越依赖真实物理模拟的 PhysDreamer(仅在图像质量上稍逊)。然而,复杂场景中仍存缺陷,例如烟雾有时无视风力,人体手臂偶尔像布料般移动。

DeepMind 首席执行官 Demis Hassabis 近期表示,新一代 AI 视频模型(如 Veo 3)正逐步理解物理规则,不再局限于文本或图像处理,而是开始表征世界的物理结构。他认为这是通向更通用 AI 的关键一步,未来 AI 可能不再仅仅依赖数据,而是能在模拟环境中通过经验学习。

AI在线附上参考地址

  • Force Prompting: Video Generation Models Can Learn and Generalize Physics-based Control Signals 论文

  • Force Prompting: Video Generation Models Can Learn and Generalize Physics-based Control Signals GitHub 页面

相关资讯

DeepMind新AI系统AlphaGeometry2:超越国际数学奥林匹克金牌得主

谷歌 DeepMind 研究实验室最新推出的 AI 系统 AlphaGeometry2,在解决几何问题方面表现出色,超越了国际数学奥林匹克(IMO)比赛中的平均金牌得主。 该系统被认为是 AlphaGeometry 的改进版本,研究人员表示,AlphaGeometry2能够解决过去25年 IMO 中84% 的几何问题。 为什么 DeepMind 会关注这样的高中数学竞赛呢?他们认为,寻找解决复杂几何问题的新方法,特别是欧几里得几何,可能是提升 AI 能力的关键。
2/8/2025 9:56:00 AM
AI在线

谷歌 DeepMind 发布 WebLI-100B:千亿级数据集解锁 AI 视觉语言模型的文化多样性

科技媒体 marktechpost 昨日(2 月 13 日)发布博文,报道称谷歌 DeepMind 团队发布了 WebLI-100B 千亿级数据集,并通过增强文化多样性和多语言性,以及减少子组之间的性能差异来提高包容性。
2/14/2025 2:48:02 PM
故渊

目标超级智能,前DeepMind科学家离职创业,获1.3亿刀融资

又有谷歌大模型核心成员出来创业了。 3 月 8 日,两名前谷歌 DeepMind 研究人员在社交平台 X 上宣布,成立一家名为 Reflection AI 的公司,旨在开发超级智能。 该公司一亮相,就已宣布获得 1.3 亿美元融资,估值更是高达 5.55 亿美元。
3/8/2025 3:43:00 PM
机器之心
  • 1