全球首个机器人任务原生3D世界模型：跨维UNITAS让机器人学会物理直觉，横扫多个榜单|原生3d世界|机器人任务

大语言模型为什么能 scale？一个重要基础是，海量来源各异的知识，被统一进了同一种输入输出空间 —— 文本。输入是文本，输出也是文本，主干模型在这个统一空间中学习、组合与迁移知识。那么，具身智能要获得类似的泛化能力，通往 Physical AGI，它的 “原生统一空间” 是什么？

今天的具身智能，感知、动作与世界变化往往采用不同的表示方式：从输入图像到不同本体的动作表征，再到世界变化，一直在不同的特征空间里来回 “翻译”，不同的相机参数不同的本体本质上还具有不同的映射关系。同一个推杯子的动作，换个相机视角，像素变化就会不同；相同的像素位移，也未必对应相同的物理距离。模型的能力，被消耗在了 "翻译" 而不是 "理解" 上。

跨维智能（DexForce）最新论文UNITAS（A 3D-Native World Action Model for Embodied Manipulation）给出的回答是：三维物理世界本身。它将机器人看见什么、自己怎么动、世界因此怎么变化，统一放进同一个三维物理表示空间，用点的位置与随时间变化的轨迹在统一的输入输出三维空间里描述观察、动作和环境响应。

就像文本为大模型提供了共同的输入输出空间，UNITAS 尝试让 Physical AI 的输入输出，都生长在统一的三维物理空间里。

这不仅是一个技术思路，UNITAS 已在多项机器人操作评测中展现出 “屠榜” 实力：仅凭1.7B（17 亿）参数，在 LIBERO 上取得99.8%的平均成功率、在 LIBERO-Plus 上达到89.1%，并在 RoboTwin 2.0 双臂操作的 Clean 与 Randomized 设置中分别取得92.94% 和 93.04%的成功率，超越参数规模达6B（60 亿）的 Fast-WAM、8B（80 亿）的 Motus，以及 π0.5、LingBot-VA、PointWorld 等模型，在多项基准测试中全面夺冠，进一步在真实机器人操作执行上同样表现突出，任务平均成功率达到 85%

论文地址：https://arxiv.org/abs/2610.12099
项目地址：https://dexforce.com/technical-report/#/unitas-wam
开源代码：https://github.com/DexForce/UNITAS

一、同样是世界模型，3D 原生改变了什么？

看到 "3D"，也许你会好奇，机器人领域已经有不少方法引入了三维信息。UNITAS 的“3D 原生”（3D-Native）究竟意味着什么？

关键区别在于：3D 是作为辅助信息存在，还是作为模型理解世界的基础。

过去的一些方法可以称为3D-aware World Action Model（3D 感知世界动作模型）。它们会引入深度、点云或几何约束，帮助模型获得额外的空间信息，但模型的核心表示仍然建立在二维视觉或其他潜在特征之上。换句话说，模型能够 “感知” 三维信息，但三维并不是它理解世界的原生语言。

例如，视频世界模型主要通过连续图像预测未来状态。它可以判断画面中的物体如何变化，但物体之间真实的距离、空间关系以及运动规律，需要模型从二维视觉变化中进一步推断。

部分 3D 方法进一步增强了空间理解能力。比如 PointWorld 能够预测三维场景变化，但动作轨迹由外部输入，模型更接近一个预测环境变化的模拟器（Simulator），而不是同时理解 “为什么行动” 以及 “行动后世界如何变化” 的统一模型。

包括蚂蚁灵波的 LingBot-VA、英伟达的 DreamZero，主要沿着二维视觉建模的路线展开，将未来视频预测与机器人动作生成结合。这条路线能够利用视频中的丰富经验，但描述世界变化的主要载体仍是二维画面及其潜在特征，物体之间的距离、位置与运动关系，需要模型从中学习和推断。

而在 UNITAS 探索的 3D 原生的思路中，核心变化在于：它不再让模型从二维视觉中推断三维世界，而是直接让模型在三维物理空间中学习世界，简而言之，“世界” 模型直接作用在统一坐标系下的三维 Token 上，而不通过图片 Token 作为桥梁。

UNITAS 的主干模型直接处理三维 Token，将三维空间作为机器人观察、行动和理解环境变化的共同表示：

观察（Observation）：视觉信息对应到三维位置；
动作（Action）：操作本体上三维点随时间变化的轨迹；
环境变化（Scene Dynamics）：观测点在相同时间空间里的运动轨迹。

拿起杯子时，夹爪怎样靠近、杯子如何离开桌面、最终移动多远，都可以在同一个具有真实距离尺度的坐标系中表达。模型既能根据任务生成可执行动作，也能预测给定动作带来的场景变化，将机器人控制与世界预测连接起来。

据论文作者调研，UNITAS是全球首个机器人任务原生3D世界模型。UNITAS 探索的，是让机器人从 “观察世界的影像”，走向“理解世界的物理规律”。

UNITAS 总览。(a) 多本体数据：仿真、真机、人类双手；(b) 一个世界坐标接口：动作流与场景流在同一坐标系中联合建模；(c) 以 1.7B 参数在多项基准上领先（来源：UNITAS 论文 Figure 1）

二、“机器人怎么动” 和 “世界会怎样”，是同一个问题

常见的策略模型学习的是 "我应该怎么动"；传统世界模型学习的是 "世界接下来会怎样"。这被当作两个异构的问题，用两套目标分别优化。

但从物理世界的角度看，机器人伸手拿杯子与杯子被移动，本来就不是两个问题，是整体且因果关系的事件

UNITAS 用三维点的轨迹描述这个过程：

动作流（Action Flow）：人手或机器人夹爪上的点如何随时间移动。
场景流（Scene Flow）：以这些点为条件，杯子等场景中的点如何移动。

于是在模型眼里，在任务指令条件下，预测这个物理世界里所有相关的点接下来会怎样运动。论文的消融实验发现：Scene Flow 监督之后，动作策略本身的性能还在继续提升——"理解世界会发生什么"，帮助机器人 "更好地知道自己该怎么做"。

预测的动作流以及对应的场景流

要实现这样的联合建模，并在各种各样的本体、数据集上进行联合学习，首先需要解决 “深度缺失” 和 “轨迹时间 / 频率不对齐” 的问题。

1. UNITAS 提出 “世界对齐的 3D 位置嵌入”（World-Aligned 3D Position Embedding）模块，为观测、动作流和场景流引入统一三维坐标编码；针对深度缺失数据，模型可在视锥范围内学习补全深度，从而支持 RGB-D 与 RGB 数据的训练和推理。

2. 针对不同数据集存在轨迹时长（Long Horizon vs. Short Horizon）和频率差异（10Hz vs. 30Hz）的情况，UNITAS 提出了 “物理时间轨迹编码器”（Physical Time Trajectory Tokenizer）模块，该模块将不同参数的轨迹按照轨迹上逐点的实际物理时间进行点时间编码，使用 FiLM 调制的方式将一条轨迹编码到一个统一的 token 里，使不同轨迹在主干模型中对齐到同一物理时间特征空间。

3. 解决了以上数据异构之后，UNITAS 的主干模型 Point Dynamics DiT就可以在统一的特征空间（Observation: 同空间下的三维点；Action Flow: 同空间下的操作本体上采样点轨迹 Token + 初始点位置编码； Scene Flow: 同空间下的场景点轨迹 Token + 初始点位置编码）上进行学习泛化。UNITAS 还兼具机器人控制与场景预测能力：策略模式根据任务生成可执行动作；模拟器模式根据给定的动作轨迹，预测场景接下来如何变化。

三、人手、仿真、真机轨迹，在模型眼里是同样的 “语言”

人用手拿杯子，机器人用夹爪拿杯子，身体结构和控制方式都不同。但如果把目光放在运动本身，两者都可以用操作端上的点经过了哪些位置，来描述接近、抓取和移动的过程。

仿真中的夹爪、真实机器人的夹爪，以及人类双手，虽然来自不同的数据源，却都被表达为三维点的运动轨迹。对 UNITAS 来说，它们是同一种 “语言”。

跨数据源的共享点流表示：仿真、真实机器人、人类双手，在 UNITAS 内部都是同一坐标系中的点轨迹；右图显示混合数据训练持续降低末端执行器误差（来源：UNITAS 论文 Figure 3）

UNITAS 以这些三维点轨迹为共同表示，让人手、不同机器人以及仿真中的操作数据能够一起参与训练。模型由此可以从不同来源的经验中，学习接近、抓取和移动等交互过程。

论文将九个数据来源用于混合预训练，再针对具体任务微调，观察到了操作性能的提升。在 LIBERO-Plus 上，混合预训练使整体成功率提高了 2.6 个百分点；其中，机器人初始状态扰动下的成功率从 84.8% 提升至 94.2%。

四、凭 1.7B 参数跑赢 8B 模型！UNITAS 全球多项评测领先

在具身智能领域，模型能力的竞争，最终要回到可比较的评测结果。UNITAS 以 17 亿参数，在 LIBERO、LIBERO-Plus、RoboTwin 2.0 和 VLABench 等多项机器人操作基准中全面夺冠

99.8%——LIBERO 平均成功率达到 SOTA。长程任务子集 LIBERO-Long 也达到99.4%，在需要连续完成多步操作的任务中保持高成功率。
92.9% / 93.0%——RoboTwin 2.0 双臂操作成功率。分别对应 Clean 和 Randomized 设置，超过 Fast-WAM（6B）和 Motus（8B）等参数规模更大的视频世界动作模型。
89.1%——LIBERO-Plus 整体成功率。面对相机视角、机器人初始状态等七类扰动，模型依然保持较强的任务完成能力。其中，机器人初始状态扰动下的成功率达到 94.2%，展现出对物理条件变化的适应能力。
0.427 厘米 —— 场景运动预测误差降低约 35%。在 RoboTwin 仿真测试中，运动点平均轨迹误差由 PointWorld 的 0.656 厘米降至 0.427 厘米，误差不超过 1 厘米的预测准确率达到 92.31%，四项场景预测指标全部领先。这检验的是模型对 “动作之后，物体会怎样运动” 的预测能力。

RoboTwin 动作条件场景预测：UNITAS 在全部四项指标上领先，Moving ADE 从 0.656 cm 降至 0.427 cm（来源：UNITAS 论文 Table 4）

真实机器人测试则进一步检验 UNITAS 在实际物理环境中的执行效果。

在论文报告的真实任务中，UNITAS 平均成功率达到 85%，其中在 Organize Books（整理书本上架）上达到 90% 成功率，在 Pack the Ball（装球并拉上拉链）上达到80%

综合来看，UNITAS 的成绩并非某一项指标的突破，而是体现了标准操作、双臂协作、扰动适应、场景运动预测和真实机器人执行等多方面综合实力。

更值得关注的是，UNITAS 仅有 1.7B 参数，却在多个指标和表现上均超过参数规模更大的对比模型。这说明 UNITAS 的价值不仅仅停留于 “3D 原生” 的技术理念，它已经将机器人操作能力带到了真实物理环境中，为机器人从多源学习提供了真正行之有效的路径。

UNITAS 以小胜大的关键：消融实验逐项验证设计

把视觉 3D 位置编码、动作流监督、动作流历史 token 这三项 3D 原生设计全部去掉，模型即退化为常规 VLA 基线，整体成功率从 86.47% 跌到 67.58%—— 近 19 个百分点的差距，全部由表示方式本身贡献。论文在 LIBERO-Plus 上逐项验证：

3D 位置编码—— 去掉后相机视角扰动下成功率从 79.11% 跌至 66.73%，对齐的三维信息是跨视角泛化的关键。
动作流监督—— 去掉后整体成功率从 85.74% 降至 78.89%，对齐输入观测和输出动作空间是学习可泛化机器人动作控制的核心。
动作流历史 token—— 去掉后机器人初始状态扰动下成功率骤降 19.87 个百分点，历史动作上下文增强了模型鲁棒性。
场景流监督—— 在上述三项之上叠加后整体成功率从 85.74% 升至 86.47%，"看懂世界会怎样" 反过来让 "自己该怎么动" 更准。

四个组件各司其职、彼此增益：参数省下来的每一分，都是被更贴合物理世界的表示方式省下来的。

五、TaskAnchor：给基模挂载长程任务能力

除了理解空间关系，机器人执行长任务时还需要知道自己已经做过什么。

例如，“把红块放到蓝色垫子上，再放回原位” 这项任务中，同样是夹着红块停在垫子上方，下一步该放下，还是送回原处？答案取决于此前的操作，只看当前画面可能无法判断。

跨维智能的另一项研究TaskAnchor（Grounding Task State in Reactive VLAs for Long-Horizon Manipulation），关注的就是这种 “任务状态混淆”。它从执行历史中提取上下文，一方面通过语言输入告诉模型任务进行到了哪个阶段，另一方面为视觉特征补充历史线索，帮助视觉语言动作模型（VLA）选择下一步动作。

这一轻量模块可以接入不同基础模型，无需改变原有动作生成机制。接入 π0.5 后，TaskAnchor 在 RMBench 上将平均成功率从 14% 提升至 79%，在 RoboMemArena 上将累积成功率从 38.7% 提升至 64.7%，增加的参数约为 2700 万，单次策略调用的额外延迟约为 2 毫秒。

在 Human-Cued Matching 真机任务中，人先拿起并放回一个物体，机器人随后根据此前的线索，抓取对应目标。它展示的是利用历史上下文调整行为的能力，与 UNITAS 对空间交互的建模形成互补。

真机任务。(a1-a3) Human-Cued Matching：人以动作示范给出线索，机器人据此匹配目标并完成操作；(b) 连续三次举红块；(c) 薯片袋结账（来源：TaskAnchor 论文 Figure 3）

项目地址：https://taskanchor.netlify.app/

两篇论文从不同角度回应了机器人如何更好地利用经验：UNITAS 让观察、动作与环境变化有了共同的 “三维语言”；TaskAnchor 则帮助机器人结合此前的经历，判断当前任务进行到了哪一步、接下来应该怎么做。团队表示，未来计划将 TaskAnchor 的相关能力整合进 UNITAS，让模型在理解空间交互的同时，也能利用历史上下文完成更长的任务。

六、统一表示 × 生成式仿真：Physical AI 的数据飞轮

UNITAS 探索的 3D 原生世界动作模型路线，不仅改变了机器人学习和理解物理世界的方式，也进一步拓展了 Physical AI 技术链条中各环节的价值。

过去，机器人学习高度依赖真实环境采集的数据，但复杂物理场景中的数据获取成本高、覆盖范围有限。当模型开始以三维物理空间作为统一表示，机器人所需的经验形式也随之变化：物体的位置、运动轨迹和交互过程，不再只是训练数据，而成为描述和传递物理经验的重要载体。

在这一趋势下，仿真的角色也进一步拓展 —— 它不再只是数据补充，而成为连接数据、模型与真实应用的重要环节。跨维自研的 DexVerse® 仿真引擎能够根据语言、图像等输入生成三维场景，结合物理仿真与传感器模拟，生产合成数据。EmbodiChain则将场景生成、数据扩增与模型训练连接起来，通过改变物体属性、场景布局和观察条件，让机器人在多样的虚拟环境中积累操作经验。

这恰好契合 UNITAS 的训练需求。真实相机难以直接记录 “同一个点下一刻去了哪里”，仿真却能根据物体状态计算连续轨迹，为模型学习动作与环境响应提供监督。仿真生成的三维运动过程，正是 UNITAS 学习物理交互的基本语言。

至此，跨维已形成 “仿真生成 — 模型学习 — 真实验证 — 数据再生成” 的 Physical AI 数据飞轮，推动经验跨视角、跨本体、跨场景迁移，并探索 Physical Token 经济学所关注的核心方向：持续降低机器人掌握下一项能力的成本。

论文也展示了这一方向的潜力：UNITAS 的场景流监督仅来自仿真，但在 DROID、RH20T 的真实观测上，给定夹爪运动轨迹后，仍能预测出合理的场景变化。