2026年,世界模型迎来全盛时期。Yann LeCun为AMI筹集10.3亿美元,李飞飞的World Labs融资超10亿美元,Google DeepMind同样重金押注。但热度越高,概念越模糊。视频生成说自己是世界模型,机器人说自己是世界模型,游戏引擎、自动驾驶、3D生成全都在往这个词上靠。AMI Labs的CEO直言:「我预测'世界模型'会成为下一个流行词。六个月后,每家公司都会自称是世界模型公司来融资。」
在这个领域最需要精确定义的时候,「世界模型」已经成为AI领域最被过度使用的术语之一。几乎被视为「世界模型」代表人物的李飞飞,近期专门撰文讨论这一问题,给出了一个清晰的分类框架。
李飞飞的核心判断是:如今被冠以「世界模型」的各种系统,本质上在解决三个不同的问题——渲染世界、模拟世界、在世界中行动。它们是同一种底层世界理解能力的三种不同投影。
第一种是渲染器,输出的是像素,供人眼观看。一个将文字提示转化为电影级无人机镜头的视频模型是渲染器,Sora、Veo 3、Kling都是。这类模型不携带任何对三维结构的显式理解,它生产的是观察者所能看到的东西,而非事物的本质。无人机镜头里的建筑从高空俯瞰或许无可挑剔,但你若试图驾车驶过那座城市,它们便会轰然崩塌。渲染器是迄今为止商业化程度最高的一类,但它针对的是视觉可信度而非物理精确性。
第二种是模拟器,输出的是状态,一种几何上、物理上或动力学上忠实于世界的表征。渲染器的合同是纯视觉的,而模拟器的合同是结构性的,要求经得起检验的几何结构、遵循牛顿定律的物理。如果说语言是对世界的抽象,像素是对世界的投影,那么几何、物理和动力学才是世界本身。模拟器受到的公众关注最少,却是三者中影响最深远的。机器人训练、自动驾驶测试、建筑设计、药物发现,全都依赖于某种模拟器形态的东西。
第三种是规划器,输出的是行动。给定一个观测和一个目标,规划器回答的问题是:Agent下一步应该做什么?渲染器以行动为输入,产出观测;规划器以观测为输入,产出行动,从而闭合感知-行动的循环。视觉-语言-行动模型(VLA)、基于模型的系统,都是对规划器的尝试。这是最令人着迷、也最不成熟的一类。几乎所有演示都局限于严格约束的实验室环境,操作对象种类有限,任务时间跨度短暂。一个引人入胜的演示视频,与一个能在厨房、仓库或手术室里可靠工作的机器人之间,鸿沟依然巨大。
这三个类别在实践中非常有用,但在根本上并不彼此分离。一个真正理解一只杯子如何放在桌子上的模型,理论上既应该能够从任意视角渲染出这只杯子,也能够模拟它被推动后会发生什么,还能够规划出一只手如何将它拾起。越来越多最有趣的研究,正是在刻意模糊这三者之间的边界。从逻辑上推演,其终点将是一个统一的世界模型——一个单一基础模型,既能渲染照片级真实感的视觉内容,又能生成具备物理精确性的世界结构,还能规划复杂的行动序列。
但所有方法最终都会撞上同一堵墙:数据。视频数据很丰富,但缺乏深度,没有动作标注。在不知道是什么动作导致了视频中所看到的事物的情况下,视频数据就像柏拉图洞穴墙上的影子。渲染器拥有几乎取之不尽的互联网视频数据,而模拟器和规划器则长期受限于高质量三维资产和机器人示范数据的稀缺。数据是世界模型的命门。
李飞飞的分类框架之所以重要,是因为它揭示了当前AI竞争的真实图景:大家都在追逐同一个概念,但实际上在做完全不同的事。理解这一点,才能看清谁在做什么,哪条路线更接近真正的世界模型,以及所有路线最终都要面对的瓶颈在哪里。
从语言模型到世界模型,AI正在从「理解文字」走向「理解物理世界」。这条路比想象中更长,也更复杂。但至少现在,我们有了清晰的地图。
热门跟贴