NVIDIA GR00T 2 发布:看完 40 万小时"人类干活"视频,机器人学会了预测世界

导读(放文首摘要位):2026 年 11 月,NVIDIA GEAR 团队发布第三代机器人基础模型 GR00T 2。它不再只是一个"输出动作的策略网络",而是一个同时预测"世界将如何变化"和"自己该如何行动"的世界-动作模型(WAM):零样本完成 50 个从未见过的任务,5 条演示 + 30 分钟微调把成功率拉到 95%,甚至能看清画面、给机器人"指哪打哪"。本文沿着 GR00T N1 → N1.5 → N1.7 → GR00T 2 的进化脉络,把架构、数据、能力和评测一次讲透。

0 | 先说结论:这次升级改变的是什么

2026 年 11 月,NVIDIA GEAR 团队发布了 GR00T 2。先看几个最抓人的数字:

预训练数据43.6 万小时,其中92% 是人类第一视角视频——机器人数据(2.35 万小时)反而成了配角;

在 50 个目标机器人从未见过的任务上,零样本成功率40%;每任务只需5 条演示(不到 3 分钟数据)、在单张 RTX 5090 上微调 30 分钟,成功率拉到95%;

双 22 自由度灵巧手能把GB300 服务器的内存条插进插槽,成功率 **85%**——官方原话:上一个版本的模型做不了这些任务;

与大模型智能体配合,三种玩具各连续装配 100 次,合计成功292 次;

轻量版 GR00T 2 Turbo(2B 参数)直接跑在 Unitree G1 人形机器人本体的 Jetson Thor 上,单次预测124 毫秒,机器人边走边干活的全身移动操作成为可能。

但数字之外,更值得注意的是范式变了:GR00T 2 的身份,从"视觉-语言-动作模型(VLA)"变成了"世界-动作模型(World-Action Model,WAM)"。要理解这一步为什么关键,我们得先回头看看 GR00T 1 系列走过的路。

打开网易新闻 查看精彩图片

GR00T 系列进化时间线

1 | 回顾 GR00T 1:双系统的"大脑-小脑"架构 N1:第一个开放的人形机器人基础模型

2025 年 3 月的 GTC 大会上,NVIDIA 发布了Isaac GR00T N1——官方称之为"全球首个面向人形机器人推理与技能的开放基础模型",2B 参数权重开源在 Hugging Face 上。

N1 的架构灵感来自卡尼曼《思考,快与慢》,是典型的双系统设计:

系统 2(慢思考):一个基于 Eagle-2 的视觉-语言模型(VLM),负责看懂场景、理解指令、拆解任务,输出"规划 token";

系统 1(快思考):一个扩散 Transformer(DiT),用流匹配(flow matching)实时生成连续动作。

打个比方:**大脑想清楚"做什么",小脑负责"怎么动"**。这个设计让 N1 能做多步骤、双手协调的任务,而且用少量真机或仿真数据微调就能适配新任务、新本体。同一时间,NVIDIA 还配套发布了与 Google DeepMind、Disney Research 合作的开源物理引擎Newton,以及从少量人类演示合成训练数据的GR00T Blueprints——"模型 + 数据管线 + 仿真"的组合拳从这时就打好了基础。

打开网易新闻 查看精彩图片

架构演进:从"双系统串联"到"一个 Transformer 同时预测世界与动作"

N1.5 与 N1.7:快速迭代的一年

N1.5(2025 年 5 月):升级到 3B 参数,语言指令理解、新物体/新环境泛化能力增强,新增 Fourier GR-1 人形本体,并接入 Flux 生成的合成轨迹数据;配套的 GR00T-Dreams 蓝图可以把少量演示批量"想象"成合成训练数据。

N1.7(2026 年 4 月):第一个可商用版本——代码 Apache 2.0、权重采用 NVIDIA Open Model License;3B 参数的推理型 VLA,开始正式支持灵巧手控制,训练数据覆盖双臂、半人形、人形多类本体。

一年左右的时间里,N1 系列走完了"开源立标杆 → 快速迭代 → 商用许可"三步。但双系统架构有一个绕不开的"接缝"问题:

系统 2 输出的是语言化的"规划",系统 1 只管照着执行。两个系统对世界的理解并不共享——VLM 的规划是抽象的,DiT 并不真正知道"照做之后世界会变成什么样"。如果执行过程中世界偏离了预期,系统 1 自己发现不了,系统 2 也只能靠外部的视觉反馈事后纠偏。

GR00T 2 的核心转变,正是从这个"接缝"下手的。

2 | GR00T 2:从"策略"到"世界-动作模型(WAM)"

GR00T 2 是一个基础世界-动作模型:用一个扩散 Transformer,**联合去噪"未来视频"和"机器人动作"。

什么意思?模型每一拍同时生成两样东西:

未来视频——"如果我这么做,接下来 2.5 秒世界会变成什么样"(三个相机视角的画面);

动作块——"未来 t 到 t+H 时间段的关节目标序列"。

预测世界的动作,而不是只输出动作,这一步棋带来三个连锁收益:

人类视频变成了"养料":普通视频里没有动作标签,以前的 VLA 学不到太多东西;但 GR00T 2 学习的是"物理交互如何展开",看人类干活就能学会物体的运动规律和操作逻辑——这正是它敢把 40 万小时人类视频灌进预训练的前提;

动作有了"意图"可检查:模型输出的不再只是关节角度序列,还有一段可看的"想象视频"。计划对不对,人能看、智能体也能看;

可以被更高层的智能体指挥:因为它预测的是"自己正朝着什么结果行动",外部推理模型可以把 GR00T 2 当一个工具来调用——这一点在后面的"智能体控制"部分会展开。

架构细节上(见上面对比图右侧):模型读取3 个相机(头部 + 左右腕)最近 0.8 秒的观测(320×224 分辨率)、语言指令(经 cross-attention 注入)和机器人本体状态;扩散 Transformer 联合去噪过去/未来视频,动作 token 同时注意过去与未来视频;输出动作块交给**各本体的专用小任务头(per-robot head)**转成电机指令,执行完一块,读入新观测,循环往复。

打开网易新闻 查看精彩图片

模型的真实输入:头部相机 + 左右腕相机,共 0.8 秒历史(Dexter 双手装配玩具卡车)

值得强调的一个细节:官方演示视频里的"未来"画面,是模型在那一刻生成的三相机视频,不是真实录像——相当于我们第一次能直接"看见"机器人脑中的计划。

3 | 数据引擎:43.6 万小时,人类视频占 92%

GR00T 2 的预训练配方由三部分组成:

数据类型

规模

人类第一视角视频(Human-1M)

402,730 小时

人们工作时的头戴相机视频

手持 UMI 夹爪演示

10,184 小时

覆盖 2,897 个任务

机器人遥操作

23,500 小时

YAM 双臂、Franka、Sharpa/Wuji 灵巧手、Unitree G1

其中机器人数据细分:YAM 15,146 h;YAM 上的 ABC-130k 数据集 3,591 h;Sharpa 灵巧手 2,890 h;天机(Tianji)臂上的 Wuji 手 1,256 h;DROID(Franka)350 h;Unitree G1 275 h。另外,10 万小时人类视频已以 Human-1M-100K 的名字在 Hugging Face 开放下载——对研究者来说这是个不小的礼包。

打开网易新闻 查看精彩图片

GR00T 2 的预训练数据配方

人类视频到底有没有用?官方做了一个非常干净的 scaling 实验:分别在 0、1%、10%、100% 人类视频上预训练四个模型,然后在 72 个下游 Dexter 任务上评估:

打开网易新闻 查看精彩图片

人类视频越多,任务进度单调上升:视频 rollout 64%→77%,真机 50%→70%

结论一目了然:每一个数量级的视频扩展都带来了真机收益。这也是"WAM 范式"最硬核的证据——因为只有学会预测世界,互联网规模的人类视频才能为机器人所用。数据不再受限于昂贵的遥操作,机器人的"教科书"第一次和 LLM 一样,指向了互联网级的数据海洋。

4 | 三大新能力:迁移、灵巧、快适应 4.1 X-Adaptability:人类教,机器人学

GR00T 2 最有趣的能力叫跨形态适应(cross-adaptation,官方简称 X-Adapt):目标机器人自己不需要看过任何这个任务的演示。

人类 → 机器人:化学实验的四个任务(衬滤纸、滴管移液、载玻片涂抹、传送带投掷包裹)全部只由戴手套的人类演示,机器人零遥操作数据。结果:GR00T 2 四个任务全部完成(65% / 30% / 10% / 50%),而 GR00T 1.7 和"去掉跨形态预训练"的消融版本几乎全军覆没(0%)。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

上:人类演示(戴头显+手套,衬滤纸);下:Dexter 双手自主完成同一任务

手持 UMI → 机械臂:只用 GEAR 的手持 UMI 夹爪演示,YAM 机械臂(自身夹爪构型都和 UMI 不同)完成了传送带分拣投掷(86%,50 件物品的分拣比例;GR00T 1.7 只有 28%,π0.5 为 0%)、玩具自卸卡车端到端装配(60%,长程任务,可达 4 分钟)和 NIST 板拆卸(50%)。

可穿戴外骨骼 → 灵巧手:DexUMI 是与机器人手关节一一对应的可穿戴外骨骼,人的手指动作直接映射给机器人。仅凭 DexUMI 演示,双 XHAND1 手的机器人学会了做早餐(香蕉酸奶 + 舀格兰诺拉)和划火柴点灯、再把火柴插进水里熄灭这类高动态任务。

4.2 灵巧操作:能插 GB300 内存的"手"

在 Dexter 平台(天机体 + 双 22 自由度 Sharpa 灵巧手)上,每任务只用少量遥操作数据后训练(约 6 个 epoch),GR00T 2 完成了一组"上一个版本做不了"的长程灵巧任务:贴快递面单 60%、手电筒换电池 55%、玩具卡车组装 65%、粗盐过滤 85%、显微镜操作 55%、**GB300 内存条安装 85%**。作为对比,π0.5 和 GR00T 1.7 在这些任务上几乎全部接近 0。

打开网易新闻 查看精彩图片

Sharpa 灵巧手把内存条插入 GB300 服务器(成功率 85%)

更妙的是"人类 → 仿真 → 真实"的路线:从仅一条人类使用锤子的演示出发,先在仿真中重建任务、用强化学习打磨,再把学到的技能直接迁移到真机灵巧手上——单条演示也能淬炼出手中工具使用的技能。

打开网易新闻 查看精彩图片

50 个未见任务:零样本 40% → 1 条演示 71% → 5 条演示 95%

在 50 个"只出现在其他机器人数据或人类视频中"的任务上:零样本(只给指令)成功率 40%,且40/50 个任务至少成功一次;失败案例多数不是"不知道该做什么",而是某一步执行精度不够。补上几条演示,这个缺口迅速合拢——1 条演示 → 71%,5 条演示(<3 分钟数据)→ 95%,其中 37 个任务全试全成。每次适应只是单张 RTX 5090 上 30 分钟的 LoRA 微调。

补一步,更狠的:真机强化学习。只用"任务成败"这一信号,三个富接触插入任务(固定管件 / 线缆 / 充电器)从监督后训练的 66% / 76% / 40% 提升到88% / 94% / 96%(GRPO 诱导的自我模仿)——真机 RL 正在变成后训练的常规武器。

5 | 智能体化:大模型当"指挥官",GR00T 2 当"双手"

如果说前面的升级都在"模型内部",那 Agentic GR00T 2 展示的是"模型外部"的玩法:前沿推理智能体 + GR00T 2 分工协作。

智能体(System 2,指挥官):把长任务拆成步骤、检查进度、必要时写代码;通过WAM API调用 GR00T 2;

GR00T 2(System 1,执行者):负责脚本难以写出的富接触操作。

工程上一个值得关注的细节:整套系统跑在MCP 工具服务器上——智能体的工具箱里除了 wam_act(调用 GR00T 2),还有 get_image、localize_object 等观测工具,以及 move_to_pose、set_gripper 这类CaP(code-as-policy)技能(后端是 SAM3 + cuRobo)。当零件掉落、进度卡住,智能体会调 CaP 技能"修复现场",再把控制权交还给 GR00T 2。

结果:每次装配试验都先把所有零件倒乱在桌面上(开局分布是后训练数据里没见过的),智能体加持下三种玩具各 100 次连续装配,成功98 / 97 / 97 次——合计 292/300。同一个策略不用智能体只有 71~84 次,纯监督后训练只有 23~69 次。智能体还能把真机 RL 学的插入技能串成长任务:换用 RL 策略后,5 根网线插交换机 12/20 → 19/20,5 个充电器插人手指定的插座 2/20 → 20/20。

打开网易新闻 查看精彩图片

视觉引导示例:YAM 上玩汉诺塔,规划器在相机画面上标出环和目标柱

视觉引导(Visual Steering)是另一个亮点。语言指令常常说不清"抓哪个、放哪里、用哪只手",尤其在杂乱场景。现在规划器直接在 GR00T 2 的相机画面上标注抓取点和释放点(颜色区分手臂),接近、抓取、搬运、释放的其余动作由 GR00T 2 自主生成;每步之后规划器再看一眼,决定继续、重试还是停止。效果:YAM 上"做什么+在哪里"类指令成功率40% → 92%,长程垃圾分类从 0 完成到17/20。训练还不需要任何新数据——标记直接从已有演示的夹爪状态里提取。

打开网易新闻 查看精彩图片

智能体把 RL 插入技能组合成"5 根网线依次插交换机"的长任务

当然也要诚实记录局限:画面标记表达不了物体的最终朝向和抓-放之间的运动方式(倒水、擦拭),这些仍靠语言;Dexter 上的长程垃圾分类还很少能完整跑通——这是官方承认的系统当前上限。

6 | GR00T 2 Turbo:跑在机器人身上的"轻量版"

完整版 GR00T 2 很强,但人形机器人要在全身移动、保持平衡的同时精确放置双手,推理必须够快。于是有了GR00T 2 Turbo:2B 参数的视频-动作联合 Transformer + 高压缩视频编码器,动作时域与完整版一致。

经过推理优化后,单次预测延迟(中位数):

配置

优化前(eager BF16)

优化后

G1 · Turbo ·Jetson Thor(本体)

720 ms

124 ms

G1 · Turbo · RTX 5090

225 ms

38 ms

YAM · GR00T 2 · RTX 5090

551 ms

180 ms

Dexter · GR00T 2 · GB300

219 ms

48 ms

124 ms 意味着 Turbo 每秒规划一次 1.6 秒的全身运动 token,再交给SONIC 全身控制器以 50 Hz 执行——"推理模型选任务 → Turbo 想象与规划 → SONIC 出关节目标",官方称之为"慢思考、快行动"。于是我们看到了这样的画面:G1 穿着围裙,在咖啡厅自主舀爆米花、装杯,再走到休息区递给同事——48 次试验全部成功;清桌(多样物品)成功率 93.3%。

打开网易新闻 查看精彩图片

GR00T 2 Turbo 本体驱动 Unitree G1:舀爆米花、递送,全程自主

Turbo 并非处处不如完整版:YAM 上固定管件 90%、断路器插线 100%,反而高于GR00T 2;但多数灵巧任务上仍是完整版更强。另外官方验证了仿真数据的威力:加入仿真后,Turbo 的分布外真机成功率从 **6.7% 拉到 63.3%**——"世界-动作模型更会用仿真数据"。

打开网易新闻 查看精彩图片

G1 弯腰拾起毛巾放进洗衣篓:行走、弯腰、抓取一气呵成,控制器全部跑在机器人身上

7 | 仿真闭环:数字孪生里的"预演"

GR00T 2 的开发流程里,仿真不再只是训练数据的来源,更是评估与开发的先遣队:

用智能体辅助的real-to-sim工作流(输入真机视频、3D 扫描、照片,借助 SimFoundry 工具重建几何、外观、碰撞),为真实任务搭建高保真数字孪生;

仿真评估与真机表现强相关(成功率 Pearson 0.92 / Spearman 0.89,Elo 相关系数 0.93 / 0.90);

于是,数据管线的改动先在仿真里做小规模验证,推理设置先在仿真里筛选,再上真机。

这相当于给机器人模型的迭代装上了"风洞"——**开发闭环从"真机试错"前移到"仿真预演"**。

打开网易新闻 查看精彩图片

真实任务在仿真中的高保真重建(Isaac Lab)

8 | 脉络与思考:三条主线看懂这场进化

把 N1 → N1.7 → GR00T 2 串起来看,有三条非常清晰的主线:

① 架构:从"双系统串联"到"一个网络想象世界"。N1 用 VLM 规划 + DiT 执行,两级系统之间靠"规划 token"衔接,各有各的世界观;GR00T 2 把"预测世界"和"预测动作"合进一个扩散 Transformer,规划与执行共享同一个想象——系统 2 的角色则外化给了外部推理智能体。这其实是把 LLM 领域"模型 + Agent"的分层架构搬到了机器人上:**模型越来越像"小脑+世界观",智能体承担"大脑"**。

② 数据:从"机器人数据为主"到"人类视频为主"。N1 时代的主角是跨本体遥操作数据;GR00T 2 的配方里 92% 是人类第一视角视频,且 scaling 实验证明每一步扩展都有真机收益。机器人学习的瓶颈第一次从"没有数据"转向"如何消化数据"。

③ 系统:从"单模型"到"模型 + 智能体 + 仿真"的闭环。智能体负责长程规划与容错恢复,GR00T 2 负责灵巧执行,仿真负责评估与预演;LoRA 少样本适配(30 分钟、单卡)和真机 RL(GRPO 自我模仿)成为后训练的标准动作。

冷静一点看,离"可靠劳动力"仍有距离:零样本 40% 意味着一半以上的未见任务仍会失败;灵巧任务还需少量真机数据;视觉引导表达不了复杂运动语义;Turbo 与完整版在能力与速度上仍需取舍。但方向已经足够清楚——当机器人开始"想象未来",它就同时获得了从人类视频学习、被智能体指挥、在仿真里预演这三种加速方式。

对从业者,笔者认为有三个可带走的实操启示:

数据管路可以分层建设:人类视频(便宜、海量)→ 手持 UMI(中等成本、任务聚焦)→ 遥操作(昂贵、本体精确),三层配比是可以显式优化的对象;

"预训练底座 + 少样本 LoRA + RL 打磨"正在成为机器人版的标准微调工作流,30 分钟单卡微调的成本结构会改变行业玩法;

给模型留"被指挥"的接口(如 WAM API、画面标记),比把所有智能塞进一个模型更现实——这可能是机器人版"MCP 时刻"的起点。

参考

GR00T 2 项目主页(含白皮书 PDF、全部演示视频):https://research.nvidia.com/labs/gear/gr00t-2/

GR00T N1 论文:arXiv 2503.14734;N1 发布新闻稿:NVIDIA Newsroom(GTC 2025)

GR00T N1.5 研究页:research.nvidia.com/labs/gear/gr00t-n1_5

GR00T N1.7:Hugging Face 博客(huggingface.co/blog/nvidia/gr00t-n1-7)、GitHub NVIDIA/Isaac-GR00T

Human-1M-100K 数据集:Hugging Face(nvidia)

Mbot具身智能实验室

让尖端科技触手可及,人人皆可探索未来

打开网易新闻 查看精彩图片

Mbot基础交流群等你加入,下方扫码联系

具身-杰西

Mbot具身-小助手

Mbot-视频号

Mbot-公众号