Update 1月10日:
感谢评论区补充world model在RL中的定义！感觉在RL中的定义，world model是针对一个具体子任务的模型，最近上述公司提到的World Model的尺度似乎更大、更加通用，更多从：Language Generation Model (ChatGPT)->Image Generation Model(StableDiffusion)->Video/3D Geneartion Model (二者各有侧重因此平级)->World Generation Model(同时具备时序和空间序建模)这么一个趋势。当然这个World似乎想要包容一切，于是也并不清晰到底是什么样的表征：是否是video sequence? 是否是3d representation? 如何表征物理? 输入的关系如何? 这些都是 open research question.
不过隐约认为，一个真正的World Model应该建模下列性质：
- 空间序列(X,Y,Z): 建模几何
- 时间序列(t): 建模动态
- 稠密表征: 纹理，光照，渲染过程，物理含义
- 语义实例: 环境并非一个整体，而是分解成各个具体物体，从而实现物体级的控制和重组
- 生成式模型: 建模一个概率分布而非一个样本
- 可微分: 梯度可以从前往后，也可以从后往前传递，于是能作为模块被plug-in一个更大的复杂模型中
在上述基础上最后实现高逼真可微分渲染，并附带空间、时序的一致性。目前市面上一切模型都是上述最终版本的子集。
由于其复杂性，感觉可以明确的是：训练它需要的数据和运算资源是空前的，人类互联网上拥有的一切数据（text, image, video一切模态)可能都不够训这么一个模型，只能训练它在特定场景下的子模型。
原文回答:
World Model 最近是一个比较火的概念，最近有不少公司接二连三提出这个概念并推出相关Demo。在国内外都引发了一些讨论。国内的公司关注点主要在大语言模型、人形机器人、Embodied AI，尚未有公司直接跟进。在此浅浅点评一下这几家公司的技术，就当图一乐。
首先World Model尚未被明确定义，因此我们可以先看看别的公司以及其Demo怎么说的：
李飞飞 World Labs
www.worldlabs.ai/blog
这是最早举起旗帜的公司。从放出的Demo来看，X上也有人提到非常像Cat3D。走的路线是先生成2D图像，然后通过2D图像优化3D表征。更早期的朋友肯定也会想到DreamFusion系列。
当然具体细节未公布，如果基于这套方案，优势和缺点很显然：
优势在于可以用上基于大规模图像数据训练的图像生成器（比如StableDiffusion），得益于大规模二维图像数据容易获得，可以生成非常广阔(Diverse)、可控(Text-driven)的图像类别，从而实现Diverse的三维结构生成。
缺点 （1）三维一致性。从给出的Demo来看，人物移动的范围有限，这是因为从本质上，该方案恢复的三维结构并未、而且理论并不可能，完全收敛。于是，在被约束的视角之外，必然能明显看到几何结构的缺失和不一致。（2） 由于需要优化，速度很慢。一个场景甚至需要几小时。
未来预测。该方案在短期内能得到明显改善，如通过微调训练StableDiffusion进行更精确可控的二维图像生成，然而，个人对这个路线比较悲观，因为它希望从大量低维度的信息分布去恢复高维结构信息，理论上决定了这是Local Minimum。当然很可能有秘密武器在里面，期待公司的下一轮Update。
Google Gemini-2
deepmind.google/discover/blog/genie-2-a-large-scale-foundation-world-model/
Google 紧随其后推出了一个Demo。这套方案与李飞飞的World Labs方案完全不一样。它是Next-frame Prediction。简单来说，这个模型只根据马尔可夫假设，只根据前几帧的信息预测下一帧（的Token），可以理解为ChatGPT的图像版本。因此：
（1）这个模型并不显示建模三维信息。该模型并不具有一个3D表征，如NeRF或GS，相反，它只根据复杂的映射关系（比如一群MLP或者当然Transformers结构）去推测下一帧。我们能看到似乎有一定的几何一致性，完全是大量数据暴力拟合的结果。当然，这非常神奇！
（2）因此，该模型将非常灵活，由于不明显建模几何，意味着它能突破几何限制建模更复杂的东西：如动态，物理，纹理，甚至交互关系如对输入控制信号的condition。当然，一切都有代价，无限的输出空间意味着非常难以训练。因此个人仍然对该路线悲观——视频信号并不如文本/图像信号一般易得，具有维度诅咒。我们无法得到如此大的数据去训练一个有效的模型。这意味着最终效果很可能局限于低分辨率，高延迟，以及简单的世界交互复杂度。
不过考虑到Google的技术水平显然可以继续狠狠期待，最近Deepmind还挖走了OpenAI Sora的负责人来做World Model，肯定不久还有大更新。诺奖得主哈萨比斯加持的Deepmind，是这一波浪潮妥妥的顶级选手。
视频生成模型，如OpenAI Sora等
sora.com/
Video Generation 模型个人一直不认为是世界模型。当然学术界有讨论说Sora是不是World Simulators. OpenAI自然乐得大家把它看成一个World Simulators，但个人浅薄地认为：视频生成模型，正如Gemini-2，缺乏高维结构的显示建模。尽管猛地一看，都在输出连续sequence图像，但一个世界模型应该具备更清晰的高维结构，而图像输出只是它在某一个时刻、某一个位置的投影罢了。举例而言，一个3D NeRF/GS是可以被以任意轨迹、相机模型和分辨率要求去渲染输出一致的视频的。这只是一个几何层面的例子，世界模型的高维结构理应比简单的几何结构复杂，甚至具备物体语义以及物理模型的理解。当然具体如何表征，仍然是open question。
Nvidia Cosmos
www.nvidia.com/en-us/ai/cosmos/
非常应景，Nvidia在昨天CES推出了Cosmos模型。说实话粗一看并不知道这是什么东西，这到底是一个仿真器，还是一个Video生成器，还是一个更复杂的模型？暂时没有时间阅读出的报告，但从一个表格里的比较来看，作者在和Video Generation模型比较，暂且归纳为text-conditioned视频生成模型吧。
Niantics Labs
nianticlabs.com/news/largegeospatialmodel?hl=en
Niantics对比前面几家公司没那么出名。它的前身是Google Map，独立出来之后做三维建图和增强现实，它的产品Pokemon GO更有名气一些。由于公司特性，它具有大量现实世界路标、景点的扫描数据，都来自众包的游戏玩家扫描。最近也推出了Large Geospatial Model。然而并不认为这是世界模型，因为它只输出相机定位参数，或者获得一个三维地图结构，同样缺乏复杂的交互能力。不过因为坐拥大规模三维数据（地图），如果能直接学习三维结构或许比基于二维图像恢复三维更有优势。
总结
尽管每个公司对于World Model定义不一样，我们大概能看出这样一个趋势：
- Data-driven: 当然了，大量的数据，结合生成式模型的学习，希望用上Scaling Law大力出奇迹。
- 3D: 强3D，包括世界的表征具有三维一致性，结合NeRF/Gaussian Splattings进行逼真的渲染。
- 可微分性，Differentiable：一个可微分的模型具有强悍的灵活性，能被任何更大的可微分系统作为模块使用：如，感知-控制-决策-执行的复杂机器人系统，想象一个世界模型与机器人控制器结合能产生什么样的功能。
在2025年必然有更多公司迈入这个领域，而且也确实期待它在大量领域的潜在应用，我们可以拭目以待。也欢迎补充文章缺失的World Model。
