把香蕉放到盘子里,这句话对人来说不值一提。对机器人来说,它要拆成一串动作:找到香蕉、找到盘子、选一个接近角度、合上夹爪、移到盘子上方、松开、再确认结果。视觉、空间推理、运动、结果,四件事必须串起来。

打开网易新闻 查看精彩图片

NVIDIA Cosmos 3 Edge 是 Cosmos 3 家族里约 4B 参数的成员。它的工作流不止于多模态观察,还包括动作轨迹、世界理解、未来预测和动作推理。这里有个区分值得记住:视觉语言模型描述世界现在长什么样,世界动作模型(WAM)则把动作和世界可能怎么变联系起来。

“把手往右移”不是可直接执行的电机控制。机器人指令是随时间变化的数值表示,按机器人和控制接口不同,可以编码平移、旋转、关节目标或夹爪状态。轨迹在概念上就是一连串按时间排布的目标点。Cosmos 3 使用跨具身的共享几何表示,涵盖平移、旋转和操作状态,所以输出可以不止是一句描述动作的话,还能给出动作轨迹。

为什么要用动作块

Cosmos 3 Edge 的机器人策略材料提到,所引用工作流每次推理生成 32 个动作。系统不去为每一个微小移动都请求一次大模型推理,而是预测一段运动,交给控制器执行。

Jetson AI Lab 的指南描述了在 Jetson Thor 上用 640 × 360 的观察生成动作,并通过反复重规划保持与任务对齐。模式是这样的:观察当前场景,预测接下来一块动作,开始执行,收集新观察,重规划下一块。

底层机器人控制需要的更新频率,往往远高于大模型能生成的频率。动作块的作用就是把这两个时间尺度接上。单步策略并非不可能,这里要解决的实际问题是:别让每一次底层控制更新都去等一次慢吞吞的大模型调用。

1.53 秒与 2.13 秒

把摄像头观察发到远端 GPU,会带来网络延迟、带宽要求和连接依赖。端侧推理让策略离机器人的观察和执行器更近。

在相关部署示例中,经过后训练的 Cosmos 3 Edge 策略跑在 Jetson AGX Thor 上。报告的动作块生成耗时约 1.53 秒,而每个动作块对应约 2.13 秒的机器人运动。这给系统留出了一个窗口:当前运动还没结束,下一块已经可以准备。

报告里的 15 Hz 是动作执行速率,不是每秒做 15 次完整模型推理。动作分块加滚动时域控制,才让持续运动和重规划同时成立。这些时间数字描述的是被引用的那次部署,不是每一台 Jetson、每一台机器人。

Jetson 的角色也在变。早先的边缘视觉应用多是识别导向:摄像头、Jetson、检测器、物体标签。物理 AI 在机器人执行下一个动作之前,加上了任务推理和动作生成。它不再只是一台“看见”的设备,而可以成为理解观察、支撑决策的板载平台。软件兼容性仍取决于模块和 JetPack 版本,要按实际设备选对应的栈。

22.9% 这个数字

能生成动作,不等于下载一个模型、插上一只机械臂,就得到一个自主工人。

NVIDIA 关于端侧机器人控制后训练的文章报告,所引用的后训练策略在 RoboLab 闭环任务上的成功率为 22.9%。该评估包含 120 个语言条件操作任务。这个结果属于特定基准和特定配置,不是所有机器人应用的通用成功率。

策略仍然需要任务和具身相关的数据与后训练。已发布的 Cosmos3-Edge-Policy-DROID 使用的是 DROID 数据集。换机械臂、换摄像头位置、换动作空间、换任务,都可能需要大幅适配。世界动作模型提供的是基础能力,不是通用机器人控制器。物理世界不会因为提示词写得漂亮就变得配合。

从跑通模型到搭出有用的系统,可以分成五层:

  • 世界理解:认出桌上的香蕉。
  • 世界预测:把候选动作和场景可能的变化联系起来。
  • 动作生成:产出一段建议的运动序列。
  • 闭环控制:在机器人上执行这段运动。
  • 物理反馈:发现抓取失败、物体被移动或其他变化,然后重新观察和规划。

最后一层尤其难。真实世界是动态的,充满扰动。再精细的仿真,也无法复现每一次微小接触、传感和机械细节。

值得关注的不是 4B 这个参数相对小,而是世界理解和动作推理能进入机器的板载工作流。机器人观察周围的物理环境,边缘计算机对看到的东西做推理、预测后果、支撑下一个动作。AI 成为机器的一部分,而不只是摆在旁边的服务器。

但“能在边缘跑”和“能可靠控制物理世界”仍是两件不同的成就。22.9% 这个数字把区别摆在了明面上。往前走需要更好的机器人数据和演示、更强的动作预测、更快的推理、更好的闭环控制、安全机制,以及仿真与真实世界的双重评估。

有用的循环还是那五步:观察、理解、预测、行动、再观察。