打开网易新闻 查看精彩图片

大语言模型可以写出一篇关于重力的物理论文,可以解释摩擦系数与接触面积的关系,可以背诵牛顿定律的每一种标准表述。但如果你把它装进一台机器人,让它在真实的厨房里拿起一个玻璃杯,它可能不知道推到桌边意味着什么。

不是因为它没读过"杯子会摔碎"这类句子。人类语言里记录了无数次类似的事件。问题在于,没人会把这些句子写成机器人需要的那种格式。人们说"他拿起杯子喝了一口水",不会同时交代手指需要施加多少压力、杯壁与指尖的摩擦系数是多少、杯子被盘子挡住一半时该从哪个角度伸手、推到距桌边还有三厘米时继续用力会发生什么。

这些"没人专门写出来"的知识,恰恰是机器在现实世界中行动时必须掌握的。

今天这批最强大的AI,本质上训练目标是同一个:根据前面的文字,预测下一个词。这个目标让它们学到了人类语言中沉淀的大量规律,包括一部分物理常识和社会规则。但它有一个绕不过去的盲区——文字描述世界,不等于在世界中行动。读过十万遍"杯子会从桌上掉下来",和真正看着一个杯子从桌边滑落、伸手去接却慢了一拍,是两种完全不同的经验。

机器人没有后一种经验。它连"接慢了杯子会碎"这种人类幼儿靠几次打翻牛奶就能学会的事情,都还没亲身经历过。

于是出现了一个奇怪的断层:AI越来越擅长说话,但在真实世界里仍然笨手笨脚。想要补上这一课,它需要的不只是更大的语料库,而是一种全新的能力——在动手之前,先在内部问自己一句:如果我这样做,接下来会发生什么。

这套能力,研究者称之为世界模型。

世界模型的核心不是世界,而是"如果我这样做"

"世界模型"这个名字很容易让人误解。它听起来像是要在AI的大脑里建一座数字地球,把每片树叶、每道光影、每个空气分子都装进去。

现实中没有人在做这件事。世界模型不需要保存整个宇宙,它只需要记住与当前任务有关的信息,越少越好。

假设一个机器人要把杯子放进洗碗机。它不需要知道杯子上印着什么花纹、天花板装了什么牌子的灯、桌面木纹是什么纹理。它需要知道的是:杯子在哪里,杯口朝哪个方向,杯子是不是易碎品,机械臂伸过去会不会撞到盘子,洗碗机的门有没有打开。

这种取舍,类似地铁线路图。真实的城市地理极其复杂,但坐地铁只需要知道站点位置、换乘关系和运行方向。线路图严重扭曲了实际距离和地形,却比一张卫星照片有用得多,因为它保留的恰好是跟"乘地铁"这件事有关的结构。

世界模型要做的也是同一件事:从原始传感器数据——摄像头画面、深度信息、关节角度、触觉读数——中提取与行动有关的关键信息,把一座混乱的现实压缩成一套可计算的内部状态。

有了状态之后,第二步才是世界模型真正的核心能力。

它要回答一个问题:如果智能体现在执行某个动作,环境会变成什么样。

用更正式的语言说,世界模型是一类能够进行"动作条件未来预测"的系统。它不只是猜测世界自然而然会怎样变化——云会往哪飘,影子会怎么挪——而是专门预测"我做了某件事以后"会发生什么。推杯子一下,杯子会滑多远。抓杯子的位置偏了几毫米,杯子会不会从夹爪里滑出去。先拉开抽屉再伸手,跟直接伸手之间,成功概率差多少。

这才是世界模型和大语言模型最本质的区别。大语言模型问你"下一句话是什么",世界模型问你"下一步做什么"。

AI不需要在脑中渲染4K世界,只要记住杯子和桌边的距离

打开网易新闻 查看精彩图片

看到"预测未来画面"这几个字,直觉会指向视频生成模型。如果机器人准备推一个箱子,最直观的办法似乎是先生成一段未来视频,看看箱子会被推到什么位置。

但完全按像素生成未来画面是一种巨大的浪费。模型需要计算墙面上每一块纹理该怎么变化、无关背景里的光影该怎么流动、空气中每个微小颗粒该怎么折射。这些细节对判断"箱子会不会撞墙"毫无帮助,却会消耗大量计算资源,还会引入一堆可能出错的环节——箱子还没推到墙边,背景里的窗帘已经莫名其妙变了颜色。

一类更务实的世界模型选择了另一条路。它不在像素层面工作,而是在压缩后的"潜在空间"里做预测。

一张厨房的高清图像包含几百万个像素,但对机器人真正重要的信息可能只有几十个变量:杯子在机械臂左前方,抽屉关着,水槽区域可以通行,目标物体被盘子挡住了一半。模型把原始图像编码成一组抽象数字,这些数字不像照片那样肉眼可读,却保留了跟行动有关的结构。然后模型在潜在空间里预测:如果机械臂往右移动20厘米,这组数字会怎么变;如果先绕开盘子再伸手,数字序列又会怎么变。

这跟人类思考"把杯子往前推会掉下去"时发生的事很像。你不会在脑中渲染一段4K分辨率的慢动作视频,看清杯子表面的每一处反光。你只需要记住杯子、桌边和运动方向这几个关键要素,就能得出判断。

最适合机器人规划的世界模型,可能恰恰是画面最不逼真的那一种——它最懂得该忽略哪些像素。

Google让AI现场生成游戏世界,但画面真实不等于物理真实

另一条技术路线选择了相反的方向。它不压缩画面,而是直接生成一个可以在里面行动和探索的虚拟环境。

Google DeepMind的Genie系列走的就是这条路。Genie 2能从一张静态图像或一段文字描述出发,生成可以实时操控的3D场景,智能体在里面跳跃、游泳、与物体交互。Genie 3进一步做到24帧每秒、720p分辨率的实时生成,环境一致性可以维持几分钟。这听起来像是给AI造了一台可以自己生成关卡的游戏引擎。

但画面看着像真实世界,和画面里的物体遵循真实世界的物理规律,是两件不同的事。

一个视频生成模型可以做出非常漂亮的汽车转弯画面:光影柔和,背景虚化到位,轮胎扬起的灰尘都有模有样。但如果你逐帧检查,可能会发现车轮的滑动方向跟方向盘角度对不上,车身在转弯时悄悄变长了几厘米,路边的一棵树在车身经过后凭空消失又出现在另一个位置。对一段用来欣赏的视频来说,这些错误只持续几帧,观众根本注意不到。对一辆正在用这个模型做路径规划的自动驾驶汽车来说,任何一个错误都可能变成真正的危险。

生成式世界模型目前最大的限制就在这里:它在视觉上很逼真,在因果上不一定可靠。"视觉上像一个世界"和"可以当作真实世界的替身来训练机器人",目前还是两种完全不同的标准。

机器人最昂贵的不是计算,是现实中的每一次失败

那为什么还要费这么大功夫做世界模型?直接让机器人在现实里多试几次不就行了?

现实中的试错成本高得离谱。一个机器人练习抓杯子,失败一次可能摔碎一个杯子。失败十次可能损坏夹爪。失败一百次可能撞翻实验台。现实中的时间也没法快进——练一次抓取需要几秒,练一万次就需要一天,练一百万次就需要几个月。自动驾驶汽车如果只能在真实道路上学习应对极端情况,那第一次冲出结冰弯道时就没有第二次了。

世界模型提供了一条完全不同的训练路线:先在内部模拟中犯错,把代价极低的虚拟失败全部经历一遍,再挑出最有希望的动作方案,放到现实中执行。

这就像飞行员训练。没有人会让新手开着真正的波音客机去练习引擎失效降落。所有致命错误都在模拟器里犯完,所有极端情况都在模拟器里反复经历,直到肌肉记忆形成,直到每一个操作都变成条件反射,然后才坐上真实的驾驶舱。

机器人可以做的事更灵活一些。它不需要一次规划完整个过程然后闭着眼睛执行到底。它可以每执行一步就重新观察环境,更新内部世界模型,再预测接下来的几步,然后只迈出下一步。观察—预测—执行—再观察,这个闭环让预测误差不至于累积到不可收拾的地步——就像天气预报不会一次给你下个月的每日详情,但它可以每天根据最新数据修正接下来几天的预测。

2022年有一项叫DayDreamer的研究,让四种完全不同的实体机器人利用世界模型在现实中进行训练。其中一台四足机器人,从躺在地上完全不知道该怎么做开始,大约一个小时内学会了翻身、站立和行走;受到外界推挤后,大约十分钟内就能适应步伐变化。它不是在真实地面上摔了几万次才学会走路——大部分"摔倒"都发生在模型的内部想象里。

世界模型会撒谎,AI可能比人类更善于利用它的谎言

把世界模型说得太可靠会制造另一种误解。它在内部模拟中表现完美的策略,放到现实中可能彻底失效。

最常见的崩溃模式叫"滚动误差"。模型预测下一秒时可能只偏了一厘米——这听起来可以接受。但问题是,下一秒的预测是建立在上一秒预测出来的状态之上的。在错误的状态上做新的预测,会放大误差。连续预测十步以后,机器人可能在内部模拟里已经稳稳抓住了杯子、举高了手臂、转身走到了水槽边,而在现实中,杯子早在第三步就已经从夹爪里滑了出去,后面七步的"规划"全部建立在压根没发生过的事情上。

有了误差累积还不够,还有另一种更隐蔽的问题。

世界模型不是现实本身。如果它的内部模拟存在某种漏洞——比如错误地认为某个角度可以穿过桌面,或者快速撞墙反而会让抓取概率上升——智能体可能在虚拟训练中发现一条现实中根本走不通的"捷径"。它在内部模拟里得分极高,回到现实后就撞墙。

这就像游戏玩家卡BUG。不是按照设计者预期的路线完成任务,而是利用墙体碰撞的数值漏洞直接穿模。对游戏而言这可能是件有趣的事,对机器人或自动驾驶而言,这就不是闹着玩的了。

所以任何稍微严肃一点的世界模型系统,都不能只靠自己。它需要多套模型交叉验证预测,需要对高风险区域保持保守态度,需要物理引擎在已知的刚性力学部分兜底,需要传感器在每一次真实执行后立刻反馈纠偏。世界模型是一套强大的规划工具,但它不是一个可以替代物理约束的魔法盒子。

机械臂、汽车和无人机,看到的根本不是同一个世界

就算一个世界模型在某款机器人身上表现得很好,把它直接搬到另一种机器人身上也很可能失败。

假设房间里放着一把椅子。对一台轮式机器人来说,椅子可能是障碍物,底部间隙太窄过不去。对一台人形机器人来说,椅子可以绕开、可以推开、也可以坐上去。对一台无人机来说,椅子只是一个需要从上方飞过的低矮物体,地面摩擦对它来说根本不存在。对一台固定式机械臂来说,椅子的大部分区域根本够不到,整个工作台以外都是无关地带。

同一把椅子,同一个房间,在不同身体面前意味着完全不同的东西。

这让"通用世界模型"的设想变得极其困难。互联网上有海量视频可以用作训练数据,人类走路、球弹跳、门旋转、汽车转弯——但这些视频通常都不带动作标签。你不知道拍摄者用了多大的力、每个关节的精确角度是多少、转向时方向盘打了几度。模型只能从"下一帧长什么样"中推测规律,却学不到"特定动作会导致特定结果"这条因果关系。

世界模型真正需要的是动作数据——智能体做了什么、随后环境变成了什么。而这类数据与具体的身体结构牢牢绑定。机械臂的动作空间是一组关节角度和夹爪开合;无人机的动作空间是电机转速和姿态角;自动驾驶汽车的动作空间是方向盘角度和油门深度。这三种动作无法互换。

这也是为什么目前更现实的路线不是"一套模型统治所有机器人",而是针对不同类型分别设计专用世界模型。先用海量普通视频学会看懂物体运动的基本规律,再用少量的、带动作标签的专用数据学会预测特定身体的行动后果。

Meta的V-JEPA 2走的就是这条路:超过100万小时的普通视频预训练,加上不到62小时的机器人动作数据后训练。模型在新环境中可以为一个机械臂规划抓取路径,不需要针对每一件新物体重新训练。这个"零样本"能力有严格的前提——它仍然看过大量抓取动作,只是不需要在每个新任务上都从零开始。

机器能预测下一秒,不代表它理解为什么

打开网易新闻 查看精彩图片

这引向世界模型最深的一道坎:预测得准,不等于真正理解。

一个模型看过一万段球落地的视频,可能学到"球通常会掉下去"。但你突然递给它一个气球——重量只有普通球的三十分之一,落地时间完全不一样——它可能就懵了。再换一个场景——不是在空气中下落,而是在水里——它可能完全猜不出结果。再换一下——把球体换成细长杆,杆的两端可能碰到不同障碍物——模型的预测可能就彻底散架。

背熟一百道"球体下落的轨迹"题目,和解开"重力如何影响任意形状的物体"这道定律,是两种完全不同的能力。

人类对世界的理解,有一部分可以在没有身体经验的情况下获得——比如通过阅读和数学推导学会天文学。但另一部分——比如判断一个物体有多重、一块表面有多滑、一个缝隙能不能挤过去——可能深深依赖身体长期与物理世界互动形成的感觉。目前还不清楚,仅靠观看海量视频,而没有身体介入,机器能不能真正弥合这条统计规律和因果理解之间的裂缝。

这也是为什么"世界模型是否通向通用人工智能"这个问题,目前仍然是一个判断,不是一个已经被验证的结论。支持者认为,人类智能最重要的能力之一就是在脑中模拟行动后果——不下棋时推演棋局,不做饭时想象食谱——而只靠预测下一个词,可能永远练不出这种肌肉。Google称Genie系列是"通向AGI的垫脚石",Meta把V-JEPA 2描述为"迈向高级机器智能的一步"。

但这些仍然是愿景。从实验室的机器人抓取到开放世界中安全、可靠、长期的行动,中间还有好几道关要过:长期预测何时崩溃、模型是否知道自己不知道、预测失败会不会产生真实危险、不同身体之间的模型能否部分共享、视觉上的逼真能否转化为行动上的可靠。

下一代的AI,可能不是知道更多,而是想得更远

大语言模型像一名读过无数书籍的学生。它知道人类怎样描述重力、碰撞和抓取,却很少需要为一句错误回答付出物理代价——打错一个字不会摔碎杯子。

机器人没有这种余地。杯子掉下桌会碎,汽车误判一次就可能撞车,机械臂抓偏几毫米会让后面所有步骤全部作废。世界模型试图补上的,正是文字智能长期缺少的那一层:在真正行动前,先在内部问一句"如果我这样做,接下来会发生什么"。

它未必会在机器脑中复制一整个地球。但只要能把关键后果预测得足够准确——杯子距桌边还剩多远、往前推会不会掉、换一个角度抓会不会更稳——AI就可能从会回答问题的工具,逐渐变成能够在现实中规划、试错和修正的行动者。

真正决定这条路线成败的,不是虚拟世界渲染得有多逼真。而是机器从想象回到现实以后,那个杯子是否仍然稳稳握在手中。