SYNWorld V0.5：从 Scaling Engine 到具身原生基础模型|scaling|动作|基础设施组件|实验|模态|视觉|轨迹

通用物理 AI 需要更强、更具泛化能力的基础模型，以应对真实世界中广泛而长尾的任务。在实际生产生活中，机器人面对的物体、工具、摆放方式和操作条件都在变化。为每一种情况单独采集数据、训练模型，很难覆盖如此多样的需求。基础模型需要从已有数据中学到不同任务共通的操作规律，在遇到新物体、新环境和新要求时，能够借助少量示教学会如何完成任务。

SynapX 选择了具身原生的世界模型路线，将图像、视频、人类活动与机器人操作数据纳入统一训练。我们希望模型从中学习世界动力学与因果演变：物体如何运动，动作如何改变物体和环境，以及这些变化会怎样影响后续操作。通过联合学习视觉与动作，模型既要理解当前场景，也要预测动作可能带来的结果，并据此生成完成任务所需的动作。

为支撑这条路线的持续扩展，我们对数据链路、模型训练与部署评测进行了协同设计，逐步搭建起 Scaling Engine。SYNWorld V0.5 是依托这套基础设施训练的首个版本，通过少量示教即可学习多种真机操作任务，并在真机与仿真评测中取得了领先表现。

为什么从 Scaling 出发

把 Scaling 作为研发选择

我们选择建设能够持续利用数据与算力的学习系统。Sutton 在 The Bitter Lesson 中强调了可随计算资源扩展的通用学习方法的长期价值。对具身智能而言，下一阶段应该扩大模型、增加数据，还是补充模态和任务，需要通过实验判断。

在系统设计之初，我们就考虑了如何接入新数据和新模态，以及如何支持更大模型和更长序列的训练。这样，后续扩展就能沿用已有的数据流程与训练系统。

Scaling 是各向异性的

模型、数据、模态和任务覆盖的扩展都有潜在收益，但同等投入带来的能力提升并不相同。我们需要通过实验找到当前阶段收益最大的扩展方向，也就是最大的 scaling 斜率。

我们沿四个方向推进：

模型容量：增大模型，让它能够学习更复杂的操作规律。
数据规模：增加高质量训练数据，让模型更充分地学习不同操作过程。
模态覆盖：从视觉、动作扩展到触觉等信号，让模型获取接触状态等信息。
任务与场景：覆盖更多物体、环境和任务组合，让模型能处理训练中没见过的情况。

我们会综合考虑这四个方向，在比较实际任务表现提升的同时，评估数据质量以及训练与推理成本。随着模型能力和数据分布变化，最值得投入的方向也会变化。

Scaling 的数据支持

第一人称人类活动数据（Ego）记录了多种日常操作与场景，是我们扩展数据的重要来源。这类视频记录了多指协同、接触调整和工具使用的过程，模型可以从中学习人手如何完成任务。为降低采集门槛，我们研发了肌电全模态数据采集方案，通过腕部手环信号重建手部姿态并估计触觉信息。后续，我们计划将包含肌电手部姿态的 Ego 数据用于基础模型训练。

不同来源的数据提供不同形式的监督。自然活动视频帮助模型学习物体、场景和运动，Ego 数据则提供近距离的人手操作过程。不过，人手的姿态与轨迹不能直接作为机器人的控制指令，视频也难以完整恢复接触信息。真机数据能提供直接的动作监督，但采集成本较高，且通常与特定机器人本体绑定。我们结合这些数据开展预训练，再用真机数据针对具体任务进行后训练。

手脑一体设计

大量工具和工作空间都是为人手设计的，许多复杂任务需要手内调整、多点接触和多指协同等能力才能完成。因此，我们坚定选择灵巧手作为面向广泛生产生活任务的核心执行形态，走手脑一体的路线，协同优化数据、模型和硬件。

具体研发中，我们根据任务需求和硬件能力，确定要采集哪些手部状态、模型要输出哪些动作。随后，通过实际执行检验模型预测，并根据结果改进数据、模型和硬件。支撑手脑一体设计的基础设施已用于 SYNWorld V0.5 的研发，更完整的协同开发内容将在后续发布。

数据系统：支撑持续 Scaling 的数据基础设施

Scaling Engine 将数据准备、训练输入和分布式训练连接起来，支撑模型与数据持续扩展。数据系统以可组合流水线组织异构算力，将不断增长的原始数据转化为可追溯、可复用的训练输入。

数据配方与覆盖范围

目前，SYNWorld 的数据金字塔由广到深：通用图像与视频提供世界知识、视觉结构和时间动态；Ego 第一视角数据覆盖人类行为、交互过程和长时任务；UMI 数据连接状态、动作与结果；真机任务数据聚焦精细操作、困难样例和能力边界。训练数据总规模为 30+ 万小时，目前每日新增 1 万小时+，覆盖 1K+ 场景与 10+ 种机器人本体。

数据层

公开规模

主要内容

通用图像/视频

>10 万小时

世界知识、视觉结构、时间动态

Ego 第一视角数据

≈10 万小时

人类行为、交互过程、长时任务

UMl 数据

>5 万小时

状态、动作、结果

真机任务实采数据

≈3万小时

精细操作、困难样例、能力边界

可组合的分布式流水线

自研 Ray-based 分布式流水线将解码、筛选、标注与编码组织为可组合阶段，各阶段独立配置资源与并发。样本状态和产物独立持久化，使处理模型、执行任务与计算资源可以分别演进。

计算、网络与存储协同优化

异构硬件与算子优化按 GPU 架构选择算子、精度与 batch 配置；敏感算子采用高精度回退，并对照参考输出校验误差。网络优化结合拓扑感知与数据就近处理，减少传输、序列化和内存拷贝；存储与 I/O 优化结合分片与批量读写、本地缓存与异步预取，让数据搬运与计算重叠执行。

弹性执行与持续自动优化

自适应流控与弹性计算让数据处理与训练共享资源池，依据队列需求和可分配资源调整并发、扩缩数据 worker，并以背压控制中间数据量。自动调优试跑 batch、并发、预取与硬件配置，在精度和质量达标后应用更高效的参数。

Agent 辅助监控与运维关联日志、资源指标和样本进度，完成瓶颈诊断与实验编排；实验记录和有效配置构成持续上下文，支持长任务跨会话推进。

训练系统：支撑多模态模型持续 Scaling

Scaling Engine 的训练层将多样的任务组织为高效的分布式计算，让模型、序列长度与训练规模共同扩展。训练基础设施的系统级优化，带来整体 10 倍的训练效率提升。

可组合的统一训练框架

组件化框架将模型、模态、条件、Loss 与优化过程解耦，通过配置组合多任务与不同训练范式。冻结编码分支复用输入与编码配置匹配的离线特征与缓存；需更新的分支和原始输入增强走在线处理与增强。两条路径按任务组合，共用预训练与后训练循环。

联合采样、变长训练与负载均衡

联合采样动态控制数据源、任务与模态配比；变长训练通过长度分组与 Sequence Packing 减少 Padding，保留样本边界、Mask 和位置坐标。Shard Balance结合序列长度、Mask 与计算成本分配跨 Rank 负载，按 Token 预算动态调整 Micro-batch；跨 Rank 对齐同步步骤，按全局目标权重归一化 Loss。

自定义 Attention Mask × CP × Varlen

优化 Attention 算子联合支持自定义结构化 Mask、上下文并行（CP）与变长序列（Varlen）。样本隔离、跨模态可见性与各样本的位置坐标在切分后保持一致；Mask 感知调度、融合计算与 KV 通信重叠共同支撑长序列训练。

多维并行与执行效率

TP、PP、EP、CP 与 HSDP按模型结构、集群拓扑和实现兼容性组合。BF16／FP32 精度策略、选择性激活重计算与状态分片控制显存；融合算子、编译优化、参数预取及计算通信重叠提高训练效率。

异步保存与可靠运行

Async Save先完成一致性快照暂存，再允许训练修改对应状态；后台写完全部分片与元数据后提交 checkpoint。恢复时加载模型、优化器、调度器、随机数与采样进度，并支持跨规模重分片加载。异常检测与性能诊断关联 Loss、梯度、慢 Rank 和通信状态，持续观测 MFU、有效 Tokens/s 与 Step Time。

SYNWorld V0.5

在同一架构中处理语言、视觉和动作

前置问题

设计选择

作用

语言与连续视觉、动作采用不同表示

语言、动作与视觉保留模态专属参数，通过注意力交互语言通过逐层 K/V 提供条件

保留语言理解与连续生成各自的表示，同时让任务指令参与生成

视觉和动作具有不同采样率

用三轴 mRoPE 将视觉与动作映射到共同时间轴

让同一物理时间范围内的变化建立对应关系

不同数据源缺少相同的动作字段

统一动作布局，并用有效性掩码标出可监督字段

共享接口，同时避免把缺失值当作真实零动作

任务的已知条件与预测目标不同

将条件掩码、目标掩码与注意力规则分开控制

在同一骨干上表达视觉生成、动作条件预测和联合生成

SYNWorld V0.5 的架构设计考虑了四类差异：语言、视觉和动作的表示方式不同；视频与动作的采样率不同；各数据源包含的动作字段不同；不同任务的条件和预测目标也不同。为此，模型采用了Mixture-of-Transformers（MoT）架构。动作和视觉保留各自的模态参数，并通过跨模态注意力交换信息；语言模型则将描述和任务指令编码为逐层 K/V，为动作与视觉生成提供条件。

动作经过坐标转换与归一化后形成 59 维固定长度表示，具体信息如下：

切片

维数

字段

含义

[0:9]

pos(3)+ rot(6)

Ego 相机/身体的运动

[9:19]

pos(3)+ rot(6)+ gripper(1)

左腕位姿与左夹爪开口

[19:34]

5x pos(3)

左手五个指尖在左腕坐标系下的位置

[34:44]

pos(3)+ rot(6)+ gripper(1)

右腕位姿与右夹爪开口

[44:59]

5x pos(3)

右手五个指尖在右腕坐标系下的位置

用物理时间对齐不同模态

视频帧、VAE 压缩后的 latent 帧和动作序列通常具有不同采样率。模型采用三轴 mRoPE，为视觉 token 保留时间、高度和宽度坐标，为动作 token 分配时间坐标；两者按采样率映射到共同时间轴上。这样，模型可以在注意力中关联同一物理时间内的动作与视觉变化。

通过条件与目标的分配统一学习任务

模型使用 flow matching 学习连续视觉与动作的生成。对需要预测的目标，把数据与高斯噪声按噪声水平插值：

模型预测数据到噪声路径上的速度，生成时再从噪声端向数据端积分。作为条件的观测或动作保持不变，损失只计算在需要生成且有效的目标元素上。视觉和动作分别使用独立的输出头与损失。

这一接口让不同任务共用骨干网络：视觉生成以图像或视频为目标；动作条件预测以未来动作为输入，预测未来视觉；联合生成则同时预测未来动作和视觉。条件与目标的选择决定加噪范围，有效目标掩码决定损失范围，注意力规则单独控制可见范围。

从视觉生成到动作—视觉联合学习

预训练分为两个阶段。第一阶段使用通用图像和视频学习视觉生成与时序变化，称为 GV（Generation of Video）；第二阶段在沿用视觉接口和生成目标的基础上，引入 Ego、UMI 与机器人数据，并加入动作预测，称为 GVA（Generation of Video and Action）。GVA checkpoint 是后续不同任务后训练的共同起点。

令表示视觉 latent，表示动作序列，和为对应的二值有效目标掩码。表示当前任务的全部动作与视觉输入，表示观测、语言或动作条件。构造时，条件保持干净，各生成目标按加噪。模态的速度头读取共同输入，损失仅计算该模态的有效目标；防止零分母：

两个阶段的区别在于输入组织、生成目标与条件。只包含视觉输入；包含视觉与动作，两种目标在同一次前向中交互并分别计算损失。

从 GVA checkpoint 出发，可以分别后训练得到 WAM 与 ACWM。WAM 根据观测历史和任务条件生成未来动作及视觉预测；ACWM 则根据历史观测和未来动作预测环境变化。两条路径共享预训练基础，之后独立更新参数并保存 checkpoint。

WAM 后训练仍使用联合目标。包含观测历史与待预测的未来动作、视觉，历史保持干净，未来目标共同参与去噪：

ACWM 训练以真实的未来动作为条件，预测对应的未来视觉。若划分为 K 个时间块，以第 k 块视觉为目标；包含初始观测、可见的真实视觉历史、给定动作与语言。推理时，视觉历史替换为此前生成的结果：

推理效率：减少重复计算并适配分块生成

WAM 推理包括动作—视觉 Transformer 的多步去噪和视频 latent 解码。基线配置下，Transformer 单步执行耗时 263 ms，30 步去噪共耗时 7,934.61 ms。采用编译、FP8 计算和 CP4 并行后，单步耗时降至 64.63 ms，加速 4.07×；再用两步 DMD2 将完整去噪压缩至 131.28 ms，相较基线 30 步流程加速 60.44×。视频解码经过编译、宽度切分、CUDA Graph 和 Winograd 优化后，耗时从 1,418.14 ms 降至 149.64 ms，加速 9.48×。

推理部分

主要优化

基线

优化后

WVAM 单步推理

编译、FP8、CP4

263 ms

64.63 ms (4.07x)

WAM 完整 denoise

采用两步 DMD2

7,934.61ms(30步)

131.28ms(2步，60.44x)

视频解码

编译、宽度切分、CUDA Graph、Winograd

1,418.14 ms

149.64 ms(9.48x)

评测：检验预训练能否提升下游任务能力

我们通过三类评测考察预训练能力向下游任务的迁移：

在真实机器人任务中，以预训练模型初始化网络，并用不同数量的样本进行 WAM 后训练，比较任务表现和数据效率；
在 LIBERO-Plus 仿真环境中进行多任务 WAM 后训练，比较模型在多种扰动下的成功率；
通过双盲人工偏好测试，比较基座模型的视频生成与世界预测表现。

真机任务：不同数据预算下的后训练

真机评测覆盖摆放餐具、倒豆子、摞盘子和叠衣服四项任务。每项任务分别使用 50、100、200 或 400 条示教轨迹进行后训练，并比较 SYNWorld V0.5、π0.5 与 Cosmos3 Nano 三种预训练模型。主要指标为可靠任务效用分（0–100），由各分解步骤得分和整体任务完成率加权计算。