机器之心发布
机器人明明抓空了，世界模型却预测它成功抓起了水果。
这是 WorldOracle 展示的一个案例：给定真实操作的初始画面和动作序列，模型生成了一个看起来合理、却与实际执行不同的结果。画面里的成功，现实中并未发生。
世界模型究竟是在预测未来，还是在「脑补」一个最常见的成功结局？近日，来自普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA 和智元的研究人员共同提出 WorldOracle，以相同初始画面和动作序列对应的真实执行为参照，检验世界模型的预测能力。
研究对包括 DreamDojo、Cosmos 3、IRASim、GE-Sim 2.0等七种代表性模型开展评测，发现了两类突出问题：机械臂的移动路径预测得较准，物体的位置和运动却仍可能偏离现实；短时表现较好的模型，在完整操作序列中可能明显退化。
10 月 16 日，面向动作驱动的世界模型的评测平台 WorldOracle 向开发者正式开放。研究团队已经预先采集真实操作过程，记录画面与动作，开发者只需使用评测集提供的初始画面和动作序列生成预测视频并提交平台，再由平台与对应的真实执行记录对照评分，就可以判断模型是否准确预测了动作后果，并据此定位短板、验证改进。
- 论文：《WorldOracle: Benchmarking Action-Conditioned World Models against Real-World Executions》
- 论文链接：https://arxiv.org/abs/2610.18826
- 项目主页：https://worldoracle-benchmark.github.io/
一、首批成绩单：七种世界模型
谁能对上真机？
01 机械臂动对了，物体却未必跟得上
机械臂伸向水果、合拢夹爪的过程，可能与真实画面接近，但水果是否被带起来、随后移动到哪里，模型却可能预测错误。为区分这两类表现，研究团队分别比较预测视频中机械臂和物体的位置、运动与真实记录的吻合程度，并给出评分。
机械臂与操作物体的空间对齐得分。
结果显示，五个参评模型的机械臂得分均高于物体得分，也就是说，画面中的机械臂即使较好地跟随了给定动作，物体的位置与运动仍可能偏离现实。IRASim 的机械臂得分为 78.8，操作物体只有 29.1；Cosmos 3 的两项得分分别为 89.4 和 45.4。其余模型也存在不同程度的差距。
02 预测时间拉长，准确性明显退化
另一项挑战来自时间。机器人完成一段连续操作，往往需要多次抓取、放置和调整。前一次交互留下的物体状态，会成为后一次操作的起点。模型能否持续贴近现实，需要放到完整过程中检验。
WorldOracle 同时评估轨迹前 30 秒和完整长序列，模型表现如何？
同一模型在两种评测时长下的单视角综合分
结果显示，在同一组机器人遥操作数据上，五个模型的单视角综合分均有所下降。其中，DreamDojo 的得分从 50.56 降至 27.08，Cosmos 3 从 53.99 降至 26.60，两者下降均接近减半。 GE-Sim 2.0 在这组测试中的得分则从 73.86 降至 63.33，短时与完整长序列得分均为五种模型中最高，长序列下的降幅也相对较小。
模型之间的相对次序也发生了变化：IRASim 的前 30 秒得分低于 Ctrl-World、DreamDojo 和 Cosmos 3，但完整序列得分高于这三个模型。
二、WorldOracle 是怎么出题、怎么判分的？
01 在这里，准确预测失败也能得高分
WorldOracle 的评测从预先采集的真实操作记录出发：向模型提供初始画面和动作序列，由模型生成预测视频，再与同一组动作对应的真实执行进行比较。
模型需要预测的，包括真实操作中的抓空、掉落和洒水。即便现实中的操作失败了，如果准确预测这次失败，也是正确的预测。
失败案例因此成为一类重要的测试样本：它能够检验模型是否遵循给定动作及其后果，还是把操作过程补成了一个常见的成功版本。
评测覆盖智元 G2、YAM 两种机器人本体，以及第一视角人手操作场景。水果抓取、挂毛巾、倒水和开合抽屉四类任务，分别涉及刚体、柔性物体、流体和关节物体交互，各本体的具体任务覆盖以评测集为准。
其中，人手场景面向能够接收手部动作输入的世界模型，检验模型能否根据记录的手部姿态序列，预测后续物体变化和交互结果。具备相应第一视角世界建模能力的模型，在这一场景下接受零样本评测，不使用平台提供的额外人手适配数据。
四类任务的真实执行画面
数据包含两类来源：一类由人工完成任务采集，包括机器人遥操作轨迹和人类手部操作轨迹；另一类是机器人策略自主执行轨迹（policy rollout），由策略控制真机运行产生。
机器人自主执行时，可能出现不同于人工操作的停顿、抖动和动作修正。纳入这类数据，有助于检验世界模型面对不同来源的动作，能否仍然预测准确。
平台设置三条赛道：
- WorldOracle-Core：评估人工采集轨迹前 30 秒的预测表现。
- WorldOracle-Policy：评估模型对机器人策略自主执行完整过程的预测表现。
- WorldOracle-Long：评估人工采集的完整长序列中的持续预测表现。
在目前的具身世界模型评测基准中，WorldOracle 是唯一同时覆盖动作序列输入、真实执行数据、失败案例、长时序交互、多本体、多视角及策略自主执行轨迹的基准。
02 把预测误差拆开，既看结果，也看过程
机械臂位置相近，水果可能没有被抓住；最终状态相似，中间的移动路径也可能不同。单一分数很难说明这些差别。
WorldOracle 用四项互补指标检查预测：
- 物理状态正确性：检查每次交互结束时的物体位置、抓取状态、液体转移等是否与真实结果相符。
- 交互空间对齐度：检查物体、机械臂或人手的位置及移动路径，是否与真实过程一致。
- 关键交互区域保真度：聚焦物体、夹爪和人手等区域，综合像素、感知与语义相似度，减少大面积背景对评分的干扰。
- 多视角动作一致性：针对支持多视角输出的模型，检查各同步相机画面中的机器人运动是否与真实执行对齐。
前三项指标等权平均，形成单视角综合分；多视角评测加入第四项后，再等权平均。分项成绩同时保留，让开发者能够区分状态预测、运动轨迹和局部细节上的问题。
为验证指标的合理性，研究邀请 119 名参与者比较 128 对预测视频，发现四项指标对预测优劣的判断，与人类选择的一致率为 88.1%—93.2%。
当然，这套评测也有明确边界：它衡量的是预测与一次真实执行记录的匹配程度。对于流体、柔性物体和随机接触，同样的动作可能产生多种合理结果，单次参照尚不能完整描述这些可能性。
不同本体的训练支持也不相同：G2 使用专门采集的训练集，YAM 使用公开数据，人手场景采用零样本评测。因此，三个场景的成绩不宜直接用于判断本体难度或跨本体泛化能力。
三、考场今日开放
平台开放提交，为模型迭代提供具体反馈
WorldOracle 支持开放权重与闭源模型参与。开发者完成注册和审核后，可根据模型支持的本体或操作场景选择赛道，按提交指南生成并上传预测视频，查看综合分、分项成绩及对比结果。
对于模型迭代，这些反馈可以落到具体问题上：一次改进是否让物体运动更准确？是否减少了对失败操作的误判？预测时间拉长后，提升是否仍然成立？
世界模型生成的未来是否可靠，需要放到真实执行面前检验。WorldOracle 将这种检验转化为统一的任务、数据和评分方法，为开发者比较模型、识别误差和验证改进提供依据。
- 项目主页：https://worldoracle-benchmark.github.io/
- 提交指南：https://worldoracle-benchmark.github.io/submission/
热门跟贴