多模态基础模型可以通过互联网规模的图像与语言学习「看」和「说」，但具身智能没有同样的捷径。机器人必须进一步理解物理状态与动力学，判断动作如何改变环境，并在真实世界中执行连续行为；这要求训练数据同时连接观察、状态、动作与物理后果。
围绕「什么数据能够支撑具身基础模型」这一核心问题，北大联合多家机构提出了具身操作数据金字塔的具体定义，将现有数据生态组织为 5 个互补层级：真机数据、UMI 式数据、自我中心与外部视角数据、仿真数据，以及通用视觉语言数据。
该框架以「可规模化程度」和「机器人对齐程度」之间的张力为主线，并从质量、多样性、可复用性和物理保真度 4 个补充维度分析每一层数据的价值与边界。在此基础上，研究者进一步从数据配方与动作表征出发，系统梳理具身大脑模型、视觉语言动作模型和世界动作模型如何选择、对齐与混合异构数据，并总结触觉、失败恢复、规模化采集、跨本体动作对齐、自我中心数据迁移和数据配方设计等开放问题。
- 论文题目：Data Pyramid for Embodied Manipulation
- 合作机构：北京大学、南洋理工大学、香港科技大学、新加坡国立大学、香港中文大学、香港大学等
- 论文链接：https://arxiv.org/abs/2607.24744v1
- 项目主页：https://jasper-aaa.github.io/embodied-data-pyramid/
- 开源仓库：https://github.com/worldbench/awesome-embodied-data-pyramid
1. 研究背景与挑战：
具身智能无法直接复制「互联网预训练」
近年来，多模态基础模型依靠海量图像、视频与语言数据，获得了广泛的感知、语义和推理能力。将这一范式扩展到具身智能时，问题发生了根本变化：机器人不仅需要识别场景和理解指令，还必须理解物体状态、接触关系和环境动力学，并将高层意图转化为可执行的控制序列。由此，具身预训练的关键不再只是「数据是否足够大」，而是数据是否包含与物理交互相关的监督。
据此，论文提出了两个贯穿全文的问题：第一，如何在可规模化程度、机器人对齐程度、物理保真度和可迁移性差异显著的前提下，收集、组织、比较并整合异构具身数据；第二，如何针对具身大脑、VLA 与世界动作模型的不同能力目标，选择并组合这些数据。
▲ 图 1｜论文整体框架。工作首先构建五层具身数据金字塔，随后分析异构数据在具身大脑、VLA 与世界动作模型中的使用方式，最后总结数据采集、对齐与配方设计的未来方向。
2. 数据金字塔：
以规模与机器人对齐组织五类数据
数据金字塔由两个核心轴组织。「可规模化程度」衡量一种数据在硬件依赖、人力投入、环境复位、安全监督和边际生成成本等方面的扩展效率；「机器人对齐程度」衡量其观察、表征和监督信号能够多直接地支持物理机器人的学习与执行。
二者通常存在张力：真机轨迹与目标平台最一致，却需要真实硬件、操作人员和反复复位；通用网络数据最容易扩展，却无法直接提供动作与接触监督。
除上述两条主轴外，本文进一步以质量、多样性、可复用性和物理保真度刻画数据的实际效用。质量关注轨迹、标注和同步是否可靠且具有信息量；多样性关注任务、物体、场景、视角、本体、传感器、行为和结果的覆盖；可复用性关注数据能否跨任务、环境、本体和模型迁移；物理保真度则关注接触、摩擦、顺应性、传感噪声、控制延迟和物体运动是否被真实记录。
从金字塔顶端到底部，5 类数据依次为真机数据、UMI 式数据、自我中心与外部视角数据、仿真数据和通用数据。这个顺序体现了数据从更强的物理落地能力与可执行监督，逐步过渡到更高的可访问性与规模。需要强调的是，该排序是 6 个维度的综合结果，并不意味着所有单项属性都严格单调变化。
▲ 图 2｜五类数据的规模演化。不同数据来源均在快速扩展，但其「规模」具有不同含义：机器人、UMI 和仿真数据通常以轨迹计，自我中心数据常以小时计，通用数据则可由问答对、图像或标注规模描述。
金字塔的核心逻辑
向下移动并非简单地「降低数据质量」，而是在放松某种机器人耦合的同时，换取更大的覆盖范围。UMI 移除了采集环节中的机器人，但保留了末端执行器监督；人类视频移除了夹爪，却保留了真实物理与开放世界交互；仿真恢复了可执行动作和特权标签，但对真实物理进行了近似；通用数据进一步放弃机器人动作，换取网络规模的语义、感知与推理覆盖。
3. 五类数据的关键洞见
3.1 真机数据：最直接的可执行监督，代价是硬件与采集闭环
真机数据位于金字塔顶端。它在同一物理闭环中记录视觉或多模态观察、机器人状态、控制动作与执行结果，因此能够直接反映真实传感噪声、控制延迟、接触动力学和硬件约束。对学习可部署的操作策略而言，没有其他数据来源能够提供同等程度的目标平台对齐。
其核心瓶颈是采集成本。每一段轨迹都依赖真实硬件、操作者或自动化策略、场景复位、维护与安全监督，难以像网络数据或仿真数据一样低成本并行扩展。不同机器人在形态、传感器、坐标系和动作空间上的差异，也使跨数据集整合远比统一文件格式更困难。
本文进一步强调，数据多样性往往比轨迹数量本身更关键。即使同一任务拥有大量示范，如果初始状态、路径、接触序列和执行速度高度重复，模型覆盖的状态—动作分布仍然有限。因此，真机数据的发展应同时关注任务、场景、本体与模态的扩展，以及任务内部的轨迹级多样性。
面向未来，真机采集需要沿 3 条路径推进：更直观、平滑且保留细粒度反馈的遥操作接口；覆盖开放环境、对象和条件变化的在野采集；以及从纯人类示范转向策略自主滚动与人在环干预，使策略自身遇到的失败状态能够转化为纠错和恢复监督。
▲ 图 3｜代表性数据集的轨迹多样性可视化。关键动作帧的空间分布揭示，即使数据量很大，不同数据集在工作空间覆盖、轨迹聚类和任务内变化上仍可能存在明显差异。
3.2 UMI 式数据：在机器人之外采集「接近机器人动作」的真实世界演示
UMI 式数据使用便携式、机器人无关的操作接口采集真实世界演示。典型系统将腕部相机、位姿追踪、夹爪状态，以及可选的力觉或触觉传感集成到手持工具中，使人类可以在日常环境中自然操作，同时记录与末端执行器近似一致的视觉和动作结构。
但 UMI 并未消除本体差距。相机视角、末端几何、运动学约束、动力学和接触条件，仍需通过标定、逆运动学和重定向解决；视觉追踪在遮挡、快速运动或低纹理环境中可能失效；数据中通常也缺少目标机器人特有的本体状态和执行器动态。因而，UMI 更适合作为真机数据的规模化补充，而不是完全替代真机数据。
3.3 Ego-centric 视角数据：以人类为智能体，获得开放世界与灵巧手先验
Ego-centric 数据来自人类在真实世界中的长期活动。这一层的关键价值不仅是「视频更多」，而是人类作为成熟智能体所产生的交互先验。手部关键点、腕部轨迹、接触序列、抓取选择、工具使用策略和任务分解，均具有跨机器人复用潜力。例如，人类五指轨迹可以为两指夹爪提供抓取与接近方向，也可以为灵巧手学习提供更高维的动作与接触结构。
其主要矛盾是规模与标注精度之间的权衡。仅依赖 RGB 的视频易于扩展，但存在遮挡、运动模糊、视角漂移，以及缺少精确手势或接触标签等问题；可穿戴追踪、IMU、触觉、力觉和 EMG 能够提供更直接的几何与交互测量，却会增加成本、标定负担和对自然操作的干扰。同步外部相机可以补足身体和场景信息，但会降低采集的移动性。
▲ 图 5｜自我中心与外部视角数据的采集和监督。视觉、运动追踪、触觉、EMG 与外部相机可进一步转化为语义、几何、多模态和面向机器人的监督。
3.4 仿真数据：最可规模化的机器人对齐层，但「生成得多」不等于「覆盖得广」
仿真数据是金字塔中最具规模化能力和成本效率的机器人对齐来源。仿真器能够并行、重复地生成观察、动作和任务结果，并自动提供物体位姿、分割、接触、物理参数、成功信号和稠密奖励等特权标签。对于可拆分的原子操作，自动化流程可以反复采集精确动作片段，使模型集中学习某一技能。
仿真数据的价值依赖完整的数据基础设施，包括机器人与传感器模型、场景和对象资产、物理与渲染后端，以及人类遥操作、轨迹回放、规则专家、运动规划、强化学习策略或大模型辅助生成等采集流程。近年来，世界模型也开始承担学习型模拟器的角色，用于策略训练、评估和合成交互数据。
其核心限制是物理保真度。真实部署要求策略掌握物理世界运动规律，例如接触力，以及因受力而产生的物理运动。而这些因素无法被现有仿真动力学完全复现。另外，观察层面的纹理、光照、深度噪声和传感响应差异，也会进一步形成 sim-to-real 鸿沟。
3.5 通用数据：为机器人建立语义、空间、时序与推理底座
通用数据包括网络规模的图像、视频、语言、视觉语言、三维与推理数据。它们的主要任务不是教某一台机器人如何移动，而是建立机器人在学习动作之前所需的认知基础：识别对象和属性，理解指令与常识，定位可交互区域，理解三维空间，记忆长视频中的事件，分解任务步骤，并判断物理结果是否合理。
因此，本文不按数据集名称罗列通用数据，而是按能力将其组织为视觉语言、分割与定位、三维空间、规划、视频时序、物理与失败推理、抓取等类别。不同监督并非重复：语言数据提供语义与常识，定位数据把概念落到区域与部件，三维数据提供尺度和可达性，视频提供状态变化与感知记忆，规划数据提供子目标结构，物理与失败数据则帮助模型判断后果。
通用数据的优势是规模、覆盖范围和跨本体复用性，但它几乎不包含机器人本体状态、执行器动力学、接触力和真实动作后果。自动生成的标注、计划与问答还可能存在幻觉、歧义或物理不可行性。因此，这一层最适合被视为广泛的感知与推理先验，再由更高层的机器人对齐数据将其落实到物理执行。
▲ 图 7｜通用数据的能力构成。视觉语言、OCR、时序、空间与三维、规划、物理推理、定位和抓取等监督，共同形成机器人基础模型的认知底座。
4. 从数据分类到数据配方：
不同基础模型如何使用五层数据
数据金字塔提供了静态的类别组织，但具身基础模型真正面对的是动态的数据配方问题：哪些数据用于预训练，哪些用于后训练；各层数据如何采样、对齐和混合；不同动作空间、坐标系和本体如何进入同一模型。
论文梳理的模型演化显示，训练流程正在从以真机轨迹为主，逐步转向真机、仿真、通用、自我中心以及 UMI 数据的异构组合。
这一趋势并不意味着「数据来源越多越好」。一些主要依赖机器人数据的模型仍可取得较强表现，而当前研究缺少统一计算预算下的类别级消融，尚不能确认某一种固定配方具有普适优势。
更可靠的结论是，不同层数据提供互补能力：通用数据支撑语义与推理，自我中心和 UMI 数据扩展场景、视角与人类行为覆盖，仿真数据强化可控技能，真机数据完成可执行动作与真实动力学落地。
Ego-centric 数据正在成为尤其显著的增长方向。它既比普通网络视频更接近机器人视角和物体交互，又比直接采集真机数据更容易扩展，因而逐渐从辅助数据转变为连接通用知识与机器人动作的重要预训练底座。
与此同时，部分新工作开始重新评估低质量轨迹或失败轨迹的价值，说明未来的数据利用可能从简单过滤转向显式建模质量、意图与结果。
▲ 图 8｜具身基础模型的数据使用演化。早期系统更多依赖真机轨迹，近期模型逐步探索真机、通用、仿真、自我中心和 UMI 数据的联合训练，并从 VLA 扩展到世界模型增强与统一世界动作模型。
4.1 动作空间对齐：统一张量并不等于统一语义
异构数据联合训练首先需要处理动作空间差异。本文将现有方法概括为 3 类：保留各机器人原生控制接口，并通过本体特定投影或动作头共享主干表示；使用固定维度的动作向量，对缺失维度进行零填充和掩码；建立具有固定物理含义的语义动作槽，使不同本体在对应维度上共享控制语义。后一种方式比单纯的形状对齐提供了更强的跨本体一致性。
几何坐标系构成第二层对齐问题。相同的末端运动在机器人基座、相机或腕部坐标系中会得到不同数值。机器人中心表示便于控制器执行，但容易耦合平台安装方式与工作空间；相机中心表示有助于把视觉上相似的运动映射到更一致的数值；腕部中心表示则可分离局部手指运动与全局腕部位姿。
无论选择何种表征，坐标原点、轴方向、左右手系、工具中心点、绝对动作或增量动作、旋转参数化和物理单位，都应作为一等元数据。
4.2 三类模型的数据角色并不相同
具身大脑模型主要面向感知、空间与时序推理、可供性、记忆和高层规划。大量无动作标注的通用多模态数据与自我中心视频，可以帮助模型建立对物理世界的理解；真机、UMI 和仿真数据中的交互信号，则通常被转换为可供性位置、抓取位姿、轨迹路点、动作边界和子任务标签，用于将认知能力落实到物理结构。
5. 挑战与未来方向：
从「扩大体量」转向「提升信息覆盖」
论文将未来问题归纳为「收集什么、如何收集、如何使用」3 组问题。它们共同表明，具身数据研究的重心正在从单纯追求更大规模，转向提高数据的信息覆盖、采集效率和异构经验的有效利用。
面向下一阶段的数据观
机器人学习的数据问题，正在从「有没有更多轨迹」转向「数据是否覆盖关键状态，是否包含接触与失败，是否能够跨本体复用，以及是否在正确的训练阶段被正确采样」。规模仍然重要，但规模只有与信息量、对齐方式和模型目标共同考虑时，才会转化为可部署能力。
6. 总结
《Data Pyramid for Embodied Manipulation》提供了一套面向具身操作的数据中心框架。它以可规模化程度与机器人对齐程度为主轴，将真机数据、UMI 式数据、自我中心与外部视角数据、仿真数据和通用数据组织为 5 个互补层级，并用质量、多样性、可复用性和物理保真度解释每一层的价值与边界。
在此基础上，论文将异构数据与具身基础模型连接起来，讨论不同数据如何支持感知与推理、动作生成和世界预测，以及动作空间和坐标系如何影响跨本体联合训练。
其核心结论并非寻找一种能够取代其他来源的数据，而是建立面向能力、架构与训练阶段的数据组合原则。
热门跟贴