让一次真实经历成为可以反复训练的世界，让世界中学到的能力回到真实现场。
具身机器人已经来到3.0时代。1.0时代做本体，2.0时代是模型和数据，3.0就是规模化落地。2026年底，具身机器人的场景落地成了热门话题。
但在具身机器人的实际落地过程中，不能只依赖更多演示和数据，还需要能够持续生产有效经验的训练环境。
YeeGooAI在采集和数据处理体系EgoEasy轻松采的基础上，推出了全栈自研的Real to Sim to Real的技术架构体系：WorldSeed。
此技术体系以自研低成本同步双目设备为入口，通过逐台精密标定、头手运动恢复、自研纯视觉精准三维建模与变梯度透镜渲染，将真实空间、人的动作、任务进程和物理约束统一为 World Seed（世界种子）。它既是世界模型的训练样本，也是可实例化为机器人训练环境的基础资产。[1–2]。
而这些基础资产，将结合本体和模型，成为具身机器人落地的必要条件。
核心突破，是把低成本视觉采集与高保真物理世界连接起来：在已验证的玻璃、反光并存场景中，解决影响视觉建图的结构错位与漂移问题，同时实现照片级渲染，使机器人感知的场景与实际交互的空间相互对应。[2]
目前，系统已在面向有毒有害受限空间清洁的内部任务验证中，完成现场重建、仿真训练与真机自主执行，打通 Real2Sim2Real——从现实进入仿真，再把能力带回现实 的任务级闭环。[2] 在此基础上，海量 Seeds 将进一步用于训练世界模型，生成更多符合物理约束的新世界，让经验供给从逐次采集走向持续生产。
一、机器人缺少的不是世界影像，而是可信的行动经验
一段清洁视频能够记录工人如何握持工具、瞄准表面、调整身体。但机器人执行同一任务时，还必须回答：工具离目标多远，身体能否通过通道，接触会发生在哪里，换一种动作又会产生什么后果。
视频保留了一个已经发生的结果；机器人需要学习的，是在不同条件下如何做出选择。仅仅增加观看次数，不会自动提供那些当时没有尝试过的动作及其结果。
现有数据模式的约束由此显现。真机示范接近部署，却需要反复投入硬件、人力与现场复位；普通第一视角视频容易积累，但未经标定和重建，像素不会自动成为真实尺度与可执行动作；人工搭建的仿真能够重复运行，却要先建立环境、配置物理属性，再处理其与现场的差异。[1,7]
生成式世界模型扩大了场景供给，但仍需要区分三个层次。
视觉交互，不等于物理交互。Genie 3 支持交互式世界生成，但 Project Genie 的官方说明仍列有物理一致性与控制局限。生成一段合理的“工具接触表面”的画面，与让工具在明确尺度、接触边界和运动约束下执行操作，是两种不同的能力。[3]
空间存在，不等于任务成立。World Labs 的 Marble 支持三维世界与资产导出，其发布说明将碰撞网格定位于粗粒度物理模拟。对操作训练，知道物体在哪里之后，还需要知道它如何响应动作、机器人能否够到目标，以及任务完成与否如何判定。[4]
能够仿真，不等于已经解决经验供给。Isaac Sim 提供物理运行机制，RialTo 探索数字孪生中的策略强化；World Labs 后续的 R2S2R 与 Atlas 也已进入机器人训练与迁移。[5–7] 因而，更有意义的竞争标准，是能否以低成本持续获得现实依据，把空间、动作与任务一起转化为可训练的世界，并最终交付真实作业能力。
我们的路线由此明确：不只提高生成世界的能力，更要建立真实世界进入训练体系的生产能力。 低成本采集解决来源，精准建模解决真实性，物理交互解决经验扩展，真机执行检验最终价值。这四步必须连接成同一条链，而不是四个互不相干的演示。
二、World Seed 连接现实，World Model 承载学习
World Seed（世界种子）不是一段文字描述，也不只是一张静态的房间模型图，而是一份可以反复训练的真实世界记录：它把现场环境、人的动作、任务进程和物理约束，用同一套尺度、坐标和时间基准完整记录下来，形成一份有真实观察依据的世界样本——现场长什么样、人怎么做、任务怎么推进，都有据可查。[1]
它在系统里承担两个角色：一颗 Seed 是一个“训练场”——可以被变成一个机器人能观察、能动手、能反复重置的训练世界（World）；大量 Seed 是一套“教材库”——共同构成训练世界模型（World Model）的样本库，让模型从真实样本中学习不同场景共有的结构、关系与任务变化规律。[1]
系统里有两层相互衔接的学习：世界模型负责“造世界”——学习如何构建新的训练世界，让机器人有更多环境可以经历；策略模型负责“学干活”——学习如何在训练世界中完成任务，把交互经历转化为真实的作业能力。
整条技术链遵循一个连续过程：
设备标定与自然工作采集 → 头手轨迹及位姿（位置与朝向）恢复 → 精准实体建模与真实渲染 → 动作、任务和物理约束对齐 → World Seed → 仿真训练 → 真机自主执行。
先打通一段真实经历进入仿真、再回到现实的闭环，才能进一步用海量 Seeds 训练生成模型，把一个现场的成功扩展为更多场景的训练机会。
三、低成本双目与精密标定：让普通视觉硬件留下高质量世界证据
3.1 设备轻量化，采集不脱离真实工作
自研帽式设备集成两颗同步相机与惯性测量单元 IMU。整套头戴系统重 98 g，其中新增采集硬件仅 52 g。双目画面提供空间测量依据，IMU 提供头部运动与重力参照；采集者无需手持专用装置、布置定位标记或额外扫描房间，只需正常完成工作。[1]
图片1：YeeGooAI EgoEasy采集系统
我们采用低成本双目方案，并把核心能力放在标定、视觉计算和世界构建算法中，而不是依靠堆叠昂贵传感器。自然转头、走动和操作形成连续多视角观察，同一次工作既留下专家动作，也为现场重建提供素材。[1–2]
轻量化因此不只是佩戴体验的优化。它让采集有机会进入持续发生的真实工作流，而不是每增加一个场景，都重新组织一次专门实验。硬件负责让现实容易被记录，算法负责让记录真正成为可用的世界。
3.2 低成本不等于低标准：逐台建立尺度与时间基准
两路图像同时录下，并不代表它们天然对齐。相机相对位置影响深度尺度；相机与 IMU 的时间偏差，则会让快速转头时的图像与运动对应错误。误差继续向后传播，就会影响墙的位置、手的位置和机器人的动作判断。[1]
因此，系统采用 3 m × 2 m 级带编码图案的视觉标定背板（AprilGrid）与全自动运动控制台，逐台求解相机成像参数、双目相对位置、相机与 IMU 的空间关系、时间偏移及噪声模型。每台设备拥有独立参数，并与原始数据身份绑定；不是同型号设备共用一套近似配置。[1]
这一步使低成本硬件输出的数据，能够进入同一个具有物理意义的计算体系：同一把尺子衡量距离，同一个坐标描述位置，同一只时钟连接动作。
3.3 先定位观察者，再恢复操作者
头戴相机随人移动，画面中的手部位移同时包含转头、行走和手本身的运动。系统先建立整段经历的世界轨迹，再将双目恢复的手部骨架转换到这一坐标中，从而区分“人转头看向工具”和“手真正伸向工具”。[1]
具体而言，双目提供米制位移依据，IMU 提供快速转动与重力参照，全局图像对应连接不同时刻对同一空间的观察；在此基础上，每只手的手腕与五指共 21 个三维关节点，都与头部的位置、朝向和环境几何对齐。得到的不再是屏幕上的关键点，而是手在真实空间中的运动。[1]
四、Real2Sim：用自研建模与渲染，让低成本双目进入高保真世界构建
4.1 精准建模的核心：不是把图像拼好看，而是把实体放正确
双目提供了深度依据，但从连续工作中恢复完整空间，还必须处理动态遮挡、跨视角差异和长程累积误差。我们的自研几何融合体系先分离手、身体等动态区域，再以公制双目约束表面位置，通过跨视角与跨模型复核检验一致性。[1]
全片只使用一把全局尺度，不靠逐帧缩放把错误结构拼得好看。 未参与建模的真实视角被保留为检查依据，反过来检验已经构建的几何。这让重建从“视觉上像一个房间”，推进为“新的真实观察仍然能够与它对上”。[1]
已有技术版本披露了以下代表性测试结果：
上述结果分别对应公开版本中的标定、轨迹、骨架与表面一致性测试。[1] 它们共同建立了一条可检查的测量链，使后续渲染与机器人交互具有明确的空间依据。
4.2 攻克玻璃与反光难题：把光学外观与实体位置同时放回正确的位置
玻璃和反光表面的困难，不是画面“不够清楚”，而是画面中看到的内容，不一定就在表面所在的位置。玻璃后方的物体、镜面里的虚像和随视角变化的高光，都可能干扰视觉对应关系。视觉同步定位与建图（视觉 SLAM）的相关基准研究也观察到，反射会造成真实结构与虚像混入重建，部分方法的轨迹误差随之增加。[8]
这类错误一旦进入地图，影响就不止于画面：虚像可能变成错误空间，表面可能出现重复结构，定位与后续动作也会失去可靠参照。
我们的最新迭代，将自研纯视觉精准建模与变梯度透镜渲染贯通，在已验证的透明、反光并存场景中，解决了这类表面引起的建图失效、漂移与结构错位，同时保留其真实视觉表现。[2]
这里的技术要求是双重的：玻璃在视觉上应当保留透明关系，在物理上仍然有实体边界；反光可以随视角改变，但不能让实体位置跟着反射内容漂移。看得透，不等于走得过；看见倒影，不等于那里还有一个房间。
因此，这项突破不是简单过滤掉“难处理的像素”，而是让复杂表面既能被真实呈现，又不破坏世界的空间约束。对机器人而言，这比单纯提升画面清晰度更重要：它决定了感知所见能否成为行动依据。
4.3 变梯度透镜渲染：不是让场景具有真实风格，而是忠实复现眼前的现场
精准几何回答“物体实际在哪里”；渲染则回答“从这个位置看过去，机器人会看到什么”。两者缺一不可：只有几何而缺少现场观感，感知仍要适应另一套视觉环境；只有逼真画面而缺少准确实体，动作则会落在错误位置。
自研的变梯度透镜渲染技术，将米制空间呈现为照片级真实的视觉世界。它以现场的材质观感、透明关系、反光表现和空间层次为复现对象，而不是把图像套成某种“真实风格”。最新实拍与仿真对照展示了玻璃结构、金属框架、地面纹理及背景层次的高保真呈现。[2]
交付物因而不止于稀疏点云或粗糙网格，而是具有真实观感、可从不同位置观察的三维现场。对机器人，这意味着练习不必被原始拍摄视角锁住：它可以从自身传感器的位置观察目标，再决定如何接近和操作。
低成本双目是输入，照片级视觉与米制实体的一致世界是输出。 核心价值来自自主掌握的专有建模与渲染技术，而不是采集硬件的价格。我们把这一体验概括为：看到即建模，所见即渲染；眼前的真实，不只留在画面里。
4.4 从可观看的场景，进入可执行的物理世界
为了让机器人真正行动，实体几何还要与碰撞、摩擦、机器人关节约束及任务状态共同运行。几何规定表面和距离，物理层计算接触与状态变化，渲染层将当前状态呈现给机器人；动作发生后，下一时刻的观察必须来自变化后的世界。[1–2]
系统同时区分已观察实体、已确认自由空间与未知区域，并结合机器人身体尺寸、净空及障碍余量构建可达区域。机器人不是被“放进画面”，而是必须用自己的身体通过通道、绕过障碍、接近目标。[1]
Real2Sim 的交付标准，至此从“把现场展示出来”，提升为“把现场变成能够承载行动的环境”。
五、从 World Seed 到仿真学习：示范给出方向，交互产生新经验
空间和动作已经对齐，系统还需要明确“正在做什么”。自动标注将任务目标、操作对象、关键动作和状态变化绑定到同一时间轴；对关键边界回看源画面取证，并为结果保留设备、标定、时间及质量来源。[1]
至此，一颗完整 Seed 同时保留了世界、动作、任务与证据。空间说明在哪里做，动作说明如何做，任务说明为什么做，物理条件约束什么能够发生。它既能提供专家示范，又能成为机器人继续探索的起点。
人的动作进入机器人训练，还必须经过本体映射，即根据机器人的关节结构、运动范围与身体尺寸，把示范转化为它能够执行的动作。公开版本已将连续移动和操作映射到机器人关节树，在具有实体碰撞结构的重建环境中完成避障穿行与操作衔接。[1]
这一步解决“示范能否在机器人身体上成立”，仿真训练进一步解决“机器人能否自己决定下一步”。训练不再停留于播放动作：策略根据当前观察选择行动，环境返回新的状态与任务结果，再通过反复练习改进行为。最新清洁任务已沿此链路完成仿真训练与真机部署。[2]
在人类示范之外，可运行世界还允许改变起点、接近方向和操作顺序，探索原视频没有提供的结果。示范保存人类已经掌握的经验，仿真交互拓展尚未发生的经验。 二者共同把一颗 Seed 从静态数据变成持续可用的训练资产。
六、Sim2Real：把迁移对齐前移到建模，把最终验收落在真机
仿真到现实的差距，即 Sim2Real Gap，不只来自画面，还涉及几何、物理响应与机器人本体。我们的做法，是从 Real2Sim 阶段就按部署需求组织这些条件，而不是先在任意合成环境中训练，再集中补救差异。[1,7]
在视觉上，训练观察以真实现场为依据，保留与任务有关的材质和复杂表面；在几何上，目标距离、通道尺度与碰撞边界使用统一米制空间；在动作上，机器人遵守自身关节与可达约束；在交互上，任务通过物理状态的变化推进。[1–2]
这条链路把几何和视觉偏差的处理前移，也让物理交互与本体约束在训练阶段就进入系统。机器人学习的不是一个任意搭建的替代场景，而是部署现场的高保真数字对应物。Real2Sim 建得准确，Sim2Real 就少一层本可避免的重新适应。 最终，是否完成迁移，由真机任务结果验收。
已打通的任务闭环：面向有毒有害受限空间清洁
这一技术首先面向的，是有毒有害受限空间清洁。此类作业可能存在中毒、缺氧，以及可燃气体或粉尘引发的火灾爆炸风险。机器人的价值不仅是提高效率，更是减少人员必须承担的危险暴露。[9]
在面向这一应用的内部任务验证中，我们已把现场重建为训练世界，在其中训练机器人，再将训练结果部署至真机，由机器人自主完成清洁任务。从握持、瞄准、扫动到动作收束，连续操作进入仿真，并最终回到真机执行。项目提供的实拍、仿真及真机材料，记录了这一任务从人类操作到机器人执行的对应过程。[2]
这不是一个以渲染画面结束的系统，而是一条以真实作业结果结束的技术链。采集留下的尺度、建模保留的实体、渲染还原的观察、训练形成的策略，最终共同接受同一个检验：机器人能否在现场完成工作。
现实中的一段操作进入系统时是数据，经过仿真学习再回到现场时，已经成为机器人可以执行的能力。Real2Sim2Real 的闭环由此成立。
七、从一个成功闭环到海量训练世界：World Seed 的规模化意义
打通一个现场，证明了这条技术链能够工作；让大量现场进入同一条链，才是 World Seed 的长期价值。
下一阶段，系统将首先围绕单颗 Seed 改变布局、障碍、物体状态、机器人起点和任务目标，生成共享现实依据的世界家族。每个分支都要重新检查尺度、支撑、碰撞、可达性和任务可执行性，并能独立保存、重置和运行。[1]
随着 Seeds 积累，世界模型的学习对象将从一个现场扩展到跨场景关系：什么布局支持什么操作，目标与障碍如何共同决定行动条件，任务又如何随着状态变化推进。输入不再只是几张图片，而是标准化、可计算的真实世界样本。[1]
由此，模型将能够根据机器人本体、目标能力和希望覆盖的场景，生成此前未被采集的新布局、新组合与新任务。模型学习现实中可以如何变化，物理约束规定这些变化能否成立。新世界可以不同于任何一个原始现场，但尺度、支撑、接触与可达条件不能被随意改写。[1]
这也解释了世界模型与机器人策略为何需要同一套 Seed 底座：前者负责扩展环境，后者负责探索行动；每个生成世界既是模型对现实关系的应用，也是机器人获得新经验的场所。
当这些世界能够并行运行，一小时采集的价值便不再被原视频长度限定。视频可以重复观看，世界却可以改变条件、产生新的行动结果。拍摄结束，不再意味着经验生产结束。人类贡献真实依据与稀缺技巧，算力承担大量重复练习。
进一步，真机部署中出现的困难将指导下一轮世界生成：接近角度不合适，就扩展相关空间条件；任务衔接不稳定，就增加相应状态变化；需要专家技巧，就定向补充高价值示范。一次现实问题，由此成为下一轮针对性训练的入口。[1]
低成本设备扩大采集入口，自研建模与渲染提高世界质量，Seed 库为生成模型提供现实依据，真机反馈决定最值得增加什么经验。规模化不再只是扩大文件数量，而是扩大可训练的世界与可迁移的能力。
八、五项核心突破
1. 低成本双目与高保真世界构建的贯通。 以轻量同步双目为主要几何输入，通过逐台标定与自研计算体系输出米制实体和照片级视觉，把采集可扩展性与世界质量放进同一条技术路线。[1–2]
2. 透明、反光复杂表面的建模与渲染协同。 在已验证场景中攻克相关表面引起的建图失效、漂移与结构错位；既保留真实光学观感，又保持实体位置和交互边界，避免“看得真”与“建得准”相互脱离。[2]
3. 世界、动作与任务的统一表示。 头手轨迹、实体空间、可达区域、任务语义和证据来源共享尺度、坐标与时间，使自然劳动留下的不是零散素材，而是完整的 World Seed。[1]
4. 从高保真重建到真机自主执行的任务级闭环。 世界不是展示终点，而是训练起点；通过本体映射、仿真学习与真机验收，已在面向受限空间清洁的内部验证中完成 Real2Sim2Real。[1–2]
5. 从消耗记录到持续生产经验的数据机制。 以 Seeds 为现实依据，以世界模型为生成能力，以训练世界为练习载体，再以部署反馈确定下一轮方向，为机器人经验沿算力扩展建立基础。[1]
结语
这套技术真正连接的，是三件过去常被分开处理的事：用低成本设备记录现实，用自研算法把现实变成可训练的世界，再让机器人把学到的能力带回现实。
核心成果不只是重建出一个逼真的现场，而是已经把“记录现场”与“自主完成工作”连接起来。 World Seed 则让这条闭环具有继续扩展的基础：一次真实经历可以反复使用，一批真实现场可以沉淀为生成依据，更多新世界可以承载更多学习。
现实提供种子，模型生成世界，机器人把能力带回现实。让反复试错更多发生在仿真中，让自主能力走向需要它的现场——尤其是那些人类不应反复冒险进入的地方。
参考文献与资料
[1] 项目公开技术说明：《EgoEasy：让真实世界成为机器人的数据引擎》及英文版 EgoEasy: Reality as a Seed for Infinite Robot Worlds，2026。本文设备、标定、动作恢复、几何测量指标与 World Seed 路线据此整理。公开英文版 https://vectrue.ai/blog/egoeasy。
[2] 项目组提供的最新技术与内部验证资料：低成本双目纯视觉精准建模、变梯度透镜渲染、透明与反光场景建模改进、实拍与仿真对照，以及面向有毒有害受限空间清洁的仿真训练和真机自主执行说明。本文最新技术表现与任务级闭环依据这些团队材料表述。
[3] Google DeepMind / Google Labs. Project Genie: Experimenting with Infinite, Interactive Worlds. 2026-01-29。参见物理一致性与控制局限说明。原文 https://blog.google/innovation-and-ai/models-and-research/google-deepmind/project-genie/。
[4] World Labs. Marble: A Multimodal World Model. 2025-11-12。参见“Exporting Worlds to 3D and Video”。原文 https://www.worldlabs.ai/blog/marble-world-model。
[5] World Labs. Building Worlds That Train Robots. 2026-07-28；Atlas: A World Model for Spatial Intelligence. 2026-09-01。R2S2R 技术说明 https://www.worldlabs.ai/blog/real-to-sim-to-real；Atlas 技术说明 https://www.worldlabs.ai/blog/atlas。
[6] NVIDIA. Isaac Sim Documentation: Physics / Physics Simulation Fundamentals. 6.0 文档。参见物理状态更新、碰撞、摩擦与关节约束。官方文档 https://docs.isaacsim.omniverse.nvidia.com/6.0.0/physics/index.html。
[7] Torne, M., Simeonov, A., Li, Z., et al. Reconciling Reality through Simulation: A Real-to-Sim-to-Real Approach for Robust Manipulation. arXiv:2403.03949，2024。论文 https://arxiv.org/abs/2403.03949。
[8] Herbert, P., Wu, J., Ji, Z., & Lai, Y.-K. Benchmarking Visual SLAM Methods in Mirror Environments. Computational Visual Media, 10, 215–241，2024。DOI: 10.1007/s41095-022-0329-x。论文 https://link.springer.com/article/10.1007/s41095-022-0329-x。
[9] OSHA. Permit-Required Confined Spaces, 29 CFR 1910.146(b)。参见危险气氛定义及中毒、缺氧、可燃气体和可燃粉尘风险。标准原文 https://www.osha.gov/laws-regs/regulations/standardnumber/1910/1910.146。
|（注：部分内容由豆包工作 AI 生成）
热门跟贴