让机器人学会「看水倒没倒满」有多难？书生世界模型交出首份开源答卷 | GAIR Paper 136|书生世界|实验|机器人|模态

世界模型火了，定义却还没对齐。

编辑丨岑峰

让 AI 生成一段倒水的视频，如今已经不是什么稀奇事。但把水壶交给机器人，让它稳稳倒进杯子，事情立刻变得复杂起来。

杯口有没有对准，水位涨到哪里，壶里还剩多少水，手腕该转多大角度……任何一个判断出了偏差，水都可能洒到桌上。画面里一个看似自然的动作，落到现实中，需要一整套对物理变化的判断。

这也是世界模型讨论里，一个绕不开的问题：画面看起来像真的，是否就意味着模型学会了物理世界怎样变化？

以 Seedance 等为代表的视频生成模型，能够呈现连贯、逼真的动态画面；李飞飞团队 World Labs 从三维空间切入，生成可进入、可漫游、可编辑的三维场景。以 Yann LeCun 倡导的 JEPA 路线为例，它不要求把每一处细节都还原成像素，而是希望通过预测，学到对理解场景和后续任务有用的信息。机器人领域则进一步把预测与动作联系起来：如果手臂向前移动，工具会碰到什么？如果继续倾斜容器，液体会怎样流动？模型对变化的预判，要能够帮助机器人选择和调整动作。

这些路线都与世界建模有关，但研究重点和检验方式各有不同。

视频是否逼真，空间能否交互，内部表征能否支持有效预测，机器人遇到变化还能否完成任务，检验的是不同能力。如果把这些标准混在一起，就很容易出现误解：看到精彩的视频，便认为模型已经掌握了物理规律；又或者因为没有生成画面，就觉得它算不上世界模型。

讨论到这里，一个更基础的问题就浮现出来：无论最终生成画面、预测状态，还是辅助行动，世界模型内部究竟应该学到什么？

上海人工智能实验室选择先从这里入手。团队发布《A Definition and Roadmap for World Models》，尝试为世界模型“正本清源”：世界模型，就是在有限计算资源下，对物理世界状态转移的压缩建模。

随后发布的书生 W0 和书生 W0-Δ 两个基础模型，则把这套主张推进到了世界模型研发。三篇论文放在一起，呈现的是一条从理论定义到模型开发的完整逻辑。

论文地址：https://arxiv.org/abs/2607.06401

Intern W0：https://internrobotics.github.io/internw0/

Intern W0-Δ：https://internrobotics.github.io/InternW0-Delta/

要把世界装进模型，先得学会取舍

“世界模型”这个名字很大，容易让人联想到一个包罗万象的数字世界：所有物体都能还原，所有变化都能预测。

可真要这么做，算力从哪里来？

哪怕只是桌上的一杯水，也涉及液体流动、容器接触、温度变化等过程。如果把每一处细节都完整计算一遍，模型还没算完，机器人可能早就错过操作时间了。

因此，团队给出的定义里，有两个词尤其关键：有限资源，以及状态压缩。

论文提出，世界模型是在有限计算资源约束下，对物理世界状态转移过程的压缩建模。

拆开来说，就是模型需要在算得过来、来得及用的条件下，学会描述世界怎样变化。一个物体被推动后会往哪里走，手指合拢后能否抓住杯子，杯子倾斜到什么程度会洒水，都属于它需要建立联系的物理过程。

这里的“压缩”，也很好理解。

我们拿杯子时，不会先求解杯子和手掌的全部物理细节。看一眼位置，感受一下重量和接触，就能调整动作。已有经验帮助我们抓住操作所需要的关键信息，然后忽略掉与操作无关的物理细节。

世界模型也需要学会这样的取舍。面对复杂的感知输入，它要形成一份紧凑、可用的内部表征：哪些物体正在交互，它们处于什么状态，改变某个动作，后续可能发生什么。

这就把不同研究路线连接了起来。同一份内部表征，既能用于生成画面，也能用于推演状态变化、辅助决策，从而让视频生成、物理仿真和动作规划共享底层的物理先验。

更值得关注的是，预测还能反过来检验这份“理解”。模型以为杯子已经抓牢，实际却滑落了，差异就提示它：某些关键的接触信息没有被捕捉，或者原先对状态的判断有误。

由此，理论定义直接转化成了具体的研发问题：训练数据该如何构建么、模型要接入哪些多模态感知信号、结果该如何评测？

定义的价值，就在于让研发有据可循。团队由此提出，面向物理世界的模型，需要具备全模态、异步信号、局部观测三项能力。

走进真实世界，三道题绕不过去

▎眼睛看到了，手未必感受到

假设让机器人给移液器装一个吸头。

画面上，移液器已经对准吸头，机械臂也向下移动了。但吸头究竟有没有装牢，单靠“看着差不多”，很难作出可靠判断。接触时的阻力、手指是否滑动、工具姿态有没有偏移，都可能改变结果。

人在做这件事时，实际上同时以来视觉和手上触觉一起参与判断。机器人同样需要把视觉、力反馈和自身状态联系起来。

这就是全模态的出发点。

物理世界的信息存在于多种信号中。视觉能够观察形状与位置，声音可能提示碰撞或设备运转，力和触觉反映接触，温度则反映热传导等肉眼不可见的变化。世界模型需要能够接入并融合这些多模态信号，才能逐步适应更广泛的物理环境。

关键还在于，它们要能“说到一块儿去”。画面显示手指合拢，受力却没有出现预期变化，模型应当据此重新判断是否抓住了目标。多种模态围绕同一次物理交互相互印证，才能有效减少单一模态带来的误判。

全模态因此是一个持续扩展的方向。首批模型可以先从视觉、自身状态和力反馈等信息入手，再逐步加入更多感知能力。

▎世界持续变化，模块异步执行

采集到了多模态的信息，还会碰到第二个问题：它们并不会同时到达、也不会同步输出。

相机按自己的频率采集画面，力传感器持续反馈接触变化，动作控制也有自己的节奏。与此同时，推演接下来一段时间的变化，通常比调整一下手腕更费计算。

具体说来，多源感知输入的采样频率不同，相机按一个较低帧率采集，力传感器则持续产生高频接触信号。同时，高层未来推演与底层动作控制的计算耗时不同，推演未来一段时间的物理演化，要慢于具体机械臂姿态微调。

如果机器人每次修正动作，都得等完整的未来预测结束，现场可能已经变了。刚才还稳稳拿着的工具开始滑动，接触力突然增大，这些变化需要及时处理。

异步模块要解决的，就是这种时间上的错位。

可以把它理解成我们走路时的状态：脑中保留着接下来往哪里走的打算，脚下仍会根据路面不断调整。踩到一块松动的地砖，不需要从头想一遍整条路线，身体就得先作出反应。

对世界模型来说，较长时间范围的预测可以按较慢节奏更新；动作则需要不断读取新反馈，及时调整。不同过程彼此配合，也保留各自所需的更新频率。

这让“预测得准”之外，又多了一项要求：预测必须赶得上使用它的时刻。真实世界不会因为模型还在计算，就暂停变化。

▎即使根据局部观测，依旧可以展开行动

第三道题更加普遍：机器人永远没有“上帝视角”。

手臂伸过去，可能挡住相机；器皿内部的液体状态，未必能从当前角度看清；有人在视野之外碰了一下桌子，也可能影响眼前的操作。

这就是局部观测。智能体只能获得世界的一部分信息，而它没看到的部分，仍然在发挥作用。

比如，机器人刚刚往容器里倒过液体，随后容器被手遮住。此时，仅凭当前这一帧画面，未必能判断容器里是什么状态。此时，历史观测与刚执行的动作就能提供关键线索。

模型因此需要把历史与当前观测联系起来，推测接下来可能发生的变化，并知道哪些地方仍不确定。等遮挡消失、新的反馈到达，再检查原先的判断是否成立。

未来预测也就有了实际用途：当感知无法覆盖完整物理世界信息时，模型依旧可以根据部分观测推测出物理演化规律，在有限观测上做出可靠的动作决策。

全模态、异步信号、局部观测，最终都指向同一件事：模型要带着有限的感知和计算资源，在持续变化的环境里工作。W0 与 W0-Δ，正是围绕这些要求展开的两项探索。

书生W0：

让机器人手上有感觉，动作跟得上

先看一项实验室里的日常工作：移液。

拿起移液器、装上吸头、吸取液体、贴壁注液，再卸掉吸头、放回工具。熟练的实验员做起来一气呵成，但换成机器人，每一步都有讲究：吸头插太浅容易松脱，用力过猛又会压坏耗材；注液时吸头还要轻贴试管内壁，手上的力道与姿态必须严密配合。整个过程里，“看准位置”只是第一步，接触发生后如何实时控力，才真正考验模型本事。

书生 W0 正是从这类精细交互切入，将视觉、原生力触觉与机器人本体状态统一编码进模型。

比如装吸头，视觉先帮助机器人找到位置、调整姿态；接触发生后，力反馈继续参与判断，帮助它调整插入力度、确认是否到位。到了注液环节，吸头与试管内壁接触，机器人又要根据反馈调整动作，尽量维持轻柔、稳定的贴壁状态。

“手感”由此在模型决策发挥作用。模型既要知道工具在哪里，也要判断它与周围物体处于怎样的接触状态。这正是 W0 对全模态方向的一步探索：让多种信息围绕同一次物理交互相互补充。

但感觉到了，还得来得及反应。

如果每收到一点新反馈，都要停下来重新推演整段操作，移液流程很难流畅进行。W0 为此引入“双工协同”机制：模型输出动作和预测的同时，仍然接收新的观测，并据此调整后续输出。

可以想象实验员一边注液，一边继续看着试管、感受手上的阻力。动作已经开始，观测和判断也没有停下来。

在此基础上，W0 通过“异步异频”机制，让不同计算按各自需要的节奏运行。对接下来一段过程的预测，可以在后台较慢地更新；眼前的动作，则结合最新观测更频繁地调整。这样，机器人保留着对后续操作的预判，也能及时处理当前的变化。

双工解决输入与输出能否同时推进，异步异频协调预测与动作的更新节奏。两者配合，才让“边感知、边预测、边行动”有了具体的实现方式。

在RoboTwin 2.0仿真测试的50项双臂操作任务中，W0的平均成功率达到93.12%，其轻量化高速变体W0-Flash的动作延迟降低到17.56毫秒，兼顾了复杂任务的高成功率与实时控制的高频响应。

走出基准评测，W0 已接入书生·端砚科学发现平台，与书生科学多模态大模型 S2 等协同，参与连接科研规划与真实实验执行。对科学智能而言，这一步很具体：屏幕上的实验方案，需要有人把移液器拿起来，把液体送进正确的试管，再把执行结果带回科研流程。

W0 的探索，就落在这段从方案到操作的距离里。全模态和异步信号，也因此从路线图上的概念，变成了实验台上一次次接触、调整与执行。

书生W0-Δ：

把对未来的预判，用在当下这一动作里

有了更多感知、更及时的响应，机器人仍然要面对一个现实：它看到的，始终只是世界的一部分。

一张画面能告诉它杯子在哪里，却未必足以判断水位正在怎样变化；试管已经移到支架上方，接下来的动作能否顺利完成，也要结合此前的移动过程和当前的空间关系来判断。

书生 W0-Δ 沿着这个问题继续往前走：能不能让模型从有限观测中学到对未来变化的预判，并把它直接用来生成动作？

第一步，是别让模型只盯着眼前这一帧。

W0-Δ 用锚点帧、近期帧和当前帧组成“稀疏视觉记忆”，同时保留任务起点、近期过程与当前状态，为下一步决策提供连贯的时序上下文。视觉语言模型（VLM）则负责理解场景语义与任务指令，把初始状态是什么、刚刚发生了什么、接下来要完成什么串联起来。

接下来，是把对未来的预判直接转化为当下的动作。

视频模型从大量动态画面中学到了物体如何运动、场景如何变化，但机器人不能只停留在“脑海里演练画面”，它必须决定机械臂往哪走、夹爪何时松开。

W0-Δ 的核心机制Causal Imprint（因果印记），搭建的正是这座桥梁。在训练阶段，模型以真实发生的未来状态变化（Δ）作为监督信号，引导模型从历史与当前观测中提取出能反映后续演化的预测表征，并将其对齐后输入给动作生成模块（Action Expert）。换句话说，未来的真实变化已经在训练时把“演化印记”烙进了特征提取过程中；到了实际部署推理时，模型无需耗费算力先生成一段未来视频，仅凭历史与当前画面就能直接形成蕴含未来趋势的表征，指导动作输出。

W0-Δ 的核心机制 Causal Imprint，中文称为“因果印记”，就在做这层连接。训练时，模型以真实发生的未来变化为参照，学习从已有观测中提取对后续变化有用的信息，再把这些信息交给动作专家。

可以把它理解成一种带着结果回看过程的学习：当时看到了什么，后来发生了什么，哪些线索值得保留。真实未来只在训练时充当监督；到了实际执行时，模型依靠当下和此前的观测形成预测表征，无需先生成一段未来视频，就能让动作利用学到的动态知识。

为了让这种判断遵循空间依据，团队还引入了4D几何与运动知识，即三维空间结构加上时间维度的运动轨迹。这部分空间几何先验，物体是什么空间结构，又怎样随时间运动，都只在训练阶段通过知识蒸馏注入主干网络。实际部署的时候4D模块被跳过，做到涨能力不涨算力。

在零样本消融实验中，引入Causal Imprint（因果印记）及特征对齐将LIBERO-Plus 成功率从69.08%提升至76.45%，加入4D蒸馏后进一步达到 78.37%，说明这些设计为模型的鲁棒性提供了核心的支撑。这些设计也有效解决了如何局部观测指导机器操作的问题：模型利用历史信息补充当前的局部观测，用学到的变化规律帮助判断下一步，最大化利用有限的观测信息。

这种能力背后，还有一项不太显眼、却至关重要的基础工作：构建高质量预训练数据。

不同机器人的关节构型、夹爪和控制方式千差万别，人类操作视频也无法直接照搬。为此，团队将多源异构数据映射到统一的状态与动作表征空间，经过时序对齐与质量过滤，并将部分人类操作视频转化为机器人可用的训练样本，最终构建了超过2万小时的高质量多源预训练数据集，为不同本体和下游任务提供了共享的物理先验基座。

效果怎样，要放到复杂多变的测试环境里检验。加载预训练权重后，W0-Δ在LIBERO-Plus基准上的总体成功率达到 92.8%。在考察抗干扰泛化能力的RoboTwin 2.0评测中，模型仅使用标准环境下的无干扰示范数据进行后训练，直接迁移到视觉与物理随机化环境中测试，成功率依然达到 71.9%。而在高难度的RoboDojo复杂交互基准上，W0-Δ的平均成功率达到 23.91%，约为此前开源最优模型（SOTA）的2倍。

真机演示则让这件事更直观。接水任务的后训练示范只覆盖一个标记水位，部署演示中，模型能够按照其他指定目标水位接水；插试管任务只用单个试管操作训练，演示时则连续完成了两个试管的插入。这些案例显示，模型有机会把学到的操作经验用到示范之外的条件中。

在更贴近科研的鲁米诺实验中，经过预训练、再进行该任务后训练的模型，20 次测试成功了 19 次；省去预训练、仅做任务后训练的对照模型，20 次均未成功。这个对照让预训练的价值变得具体：此前积累的知识，确实帮助模型学会了后续的实验操作。

目前，W0-Δ已在 4 个机器人平台、11 项任务上接受真机检验。这些实验都从同一预训练模型出发，再针对相应任务和平台进行后训练，展示了这一基础的适配能力。

从 W0 到 W0-Δ，研究关注点由多种感知如何及时参与动作，进一步延伸到预测知识如何服务动作。两条路线也在这里相接：让机器人利用能获得的信息，判断世界正在怎样变化，并把判断落实到下一步操作中。

两条探索路线，最终要走到一起

看过两款模型，再回到开头那个问题，上海人工智能实验室的世界模型布局就清楚了。

W0 重点探索多种物理信息怎样共同参与判断，以及较慢的预测如何与更快的动作更新协同；W0-Δ 重点探索有限观测怎样形成对未来交互有用的表征，让训练中学到的预测知识直接服务动作生成。

它们各有侧重，也有交叉。对 W 系列而言，首批模型的意义，在于把定义中的要求拆成可以研究、可以测试、可以继续改进的问题。

下一步，是让这些探索逐步融合。

可以设想一个更完整的实验操作过程：机器人结合视觉和力反馈判断工具状态，在部分画面被遮挡时仍能利用历史信息预判变化；较长流程的预测继续提供参考，当前动作则随接触反馈及时调整。一旦实际结果偏离预期，新的观测就进入下一次判断。

这里需要的，是几种能力在同一个物理状态上相互配合。感知补充预测，预测指导动作，动作结果再帮助模型修正对现场的理解。把这套关系真正建立起来，才是后续融合需要解决的问题。

定义论文给出的路线图，也沿着这一方向展开：先推进统一多模态建模，再形成共享的物理表征，进一步发展可交互模拟环境。未来，智能体有望在实际执行前探索不同动作的后果，再把真实操作的结果带回模型，检验和更新原有判断。

从机器人到科学仪器，从单次操作到连续实验，这种能力都有具体的用武之地。跨平台适配与轻量化部署，也将决定世界模型能否进入更多现场。

回头看，为世界模型“正本清源”的落点，就在这条从定义通向实践的路径上。W 系列将沿着已经明确的三项特征继续探索和融合，让模型对物理世界的认识，经得起一次次真实交互的检验。

开放之后，让更多实验来回答

世界模型这道题，不是一个团队能做完的。

W 系列希望通过开放，让更多研究者有机会亲手试一试。

目前，W0-Δ 的模型权重和训练代码已经向社区开放。研究者可以从复现评测开始，也可以用自己的任务数据训练模型，再部署到机器人上，看看它在不同条件下的表现。

这样的尝试，也会给团队带来新的线索。同样是移液，换一种吸头、调整一下相机位置，模型还能不能准确判断？一段操作在熟悉的环境里很顺畅，到了另一张实验台前，又会卡在哪一步？评测数字之外，这些具体问题同样值得追问。

前面提出的定义和三项特征，也需要接受这样的检验。哪些信息对操作判断最有帮助，预测和动作怎样配合才更有效，有限观测下的推测又有哪些局限，都要放到更多任务中去看。目前，W0-Δ 的模型权重、训练与评测代码已率先向社区开源。后续团队还将分批开放 W0 模型及配套数据工具链，让研究者少花时间重复搭建基础流程，把更多精力放在探索新问题上。

团队也希望，随着模型、代码和配套工具逐步开放，研究者能少花一些时间重复搭建基础流程，把更多精力放在新的问题上：补充新的感知信号，尝试新的预测方法，或者验证多能力融合是否可以提升机器人的执行成功率。

从提出定义，到发布 W0 和 W0-Δ，再到开放模型与代码，W 系列正在把这条研究路线变成可以动手验证的工作。接下来，更多实验台上的结果，将帮助团队判断哪些方法值得继续推进，哪些地方还需要重新思考。

为世界模型正本清源，落点在实践，也在同行者。上海人工智能实验室希望和同行们一起努力，共同创造物理智能的未来。

为了方便大家抱团交流、互通会议消息，我们专门建了IROS2026参会交流群！进群你会解锁这些「福利」

会议情报站：投稿 DDL、格式规范、评审进度……关键节点第一时间送达，再也不怕错过 deadline，投稿准备稳稳的。
同行茶话会：天南海北的同行都在群里，聊心得、碰思路、攒人脉，科研路上我们同行。
前沿补给站：最新研究成果、热点方向实时同步，结合会议主题帮你捋清投稿脉络，给论文灵感加满油。
现场后援团：（会议期间专属开启）：到了会场也不用慌——
路线导航：场馆分布、报告厅怎么走，群里随时问；
议题共读：热门 session、Keynote 探讨，错过也能追；
Poster 汇编：现场海报精华整理，一键收藏不遗漏；
约局广场：约饭局、采访局、交流局……想唠嗑、想合作、想面基，群里发起就成。