机器人要在真实世界里干活,能不能不等云端那一趟来回?这是物理AI(Physical AI)落地的第一道坎。英伟达给出的答案之一,是把世界模型直接搬到边缘设备上——Cosmos 3 Edge,一个约40亿参数的边缘优化世界模型。

打开网易新闻 查看精彩图片

它把多模态理解、图像与视频生成、机器人动作能力塞进了同一个模型。CAVEDU 的 Cosmos 系列第一篇,讲的就是这个模型是什么、在 Jetson 上怎么部署、推理性能如何,以及从视觉输入到决策的那条路径。

为什么非要放在 Jetson 上

现实中的机器人没法总等云端往返。抓一个正在移动的物体,或者对突然出现的行人做出反应,延迟和连接可靠性都是硬性系统要求。Jetson 的思路是把推理挪到传感器和执行器旁边,软件栈支持在设备上部署开放模型,不同硬件档位对应不同的内存和算力需求。

但本地推理本身不等于安全保证。模型、控制器、传感器和时序必须协同工作,缺一环都不行。

一个检查点,两条服务路径

Cosmos 3 Edge 是英伟达全模态 Cosmos 3 家族里面向边缘的成员。按描述,它由一个2.4B 多模态推理器加一个基于扩散的生成模块组成,合计约 4B 参数。支持的工作流包括文本、图像、视频理解,图像与视频生成,以及分块的机器人动作轨迹。

同一个检查点支持两种服务方式:

  • vLLM:通过兼容 OpenAI 的聊天接口做文本、图像、视频推理,从完整检查点里加载 2.4B 推理器。Jetson AI Lab 还单独发布了 Cosmos3-Edge-Reasoner。
  • vLLM-Omni:通过其视频接口跑生成和机器人动作工作流,可按负载单独部署,也可与推理器并行。

完整检查点和只部署推理器的资源需求并不相同,选配置前得先看 Jetson AI Lab 的模型指南。

性能数字怎么看

Jetson AI Lab 给出的测试条件是:vLLM 流式聊天接口、BF16、批大小 1、最多 128 个输出 token、贪心解码。单流解码受内存带宽限制,这也解释了 Thor 上结果相近的原因。到八路并发时,Thor T5000 的聚合吞吐约为 293 tokens/s,AGX Orin 约为 171 tokens/s。

这些是基准配置下的数字,不是应用性能保证,也不是端到端的机器人控制速率。

从看到杯子到做出决定

输入可以是文本提示、图像、短视频、机器人视角的观测,也可以选择性地以动作为条件。vLLM 路径返回文本,vLLM-Omni 支持生成图像、视频和动作块。动作块的结构取决于所选策略和配置,别默认所有端点共享同样的动作维度或时间跨度。

一条物理AI推理流水线,概念上分四步:

  1. 准备兼容的 Jetson 和软件栈。预构建的 Docker 容器能省掉依赖配置的麻烦,但容器和模型仍要与硬件、内存、软件版本对上。
  2. 提供多模态观测。摄像头给出机器人的视觉输入,帧或视频观测喂给模型,DeepStream 这类工具可支撑传感器处理管线。
  3. 对场景做推理。设想一段视频:有人把咖啡杯推向桌沿。目标检测器认出人、桌子和杯子,世界理解模型则去推理它们之间的关系,预测杯子可能掉落。这是示意场景,不是实测的成功拦截演示。
  4. 把结果接到下游决策。应用可以用 NVIDIA Agent Toolkit 这类工具组织决策和下游调用。一个假设性的决定可能是让机械臂伸向杯子,但真实执行仍需要机器人专属的控制、时序和验证。

作者也提到,小的 SO-ARM 速度足够慢,想看清、理解并真正接住掉落的杯子依然很难。Reachy Mini 的交互是另一个可尝试的方向。

和 Cosmos 3 Nano 差在哪

按描述,Edge 是约 4B、聚焦边缘部署、多模态推理和机器人策略的模型;16B 的 Nano 则面向资源更充裕的推理和后训练工作流。至于 8GB 的 Orin Nano,Jetson AI Lab 报告的是 Transformers BF16 多模态推理器配置,这不意味着整个 4B 模型的生成和机器人动作功能都能以同样方式跑在同一硬件上。

把模型跑起来只是开始。下一篇文章要接的是:观测如何变成动作决策,这些决策又怎么随着世界变化而更新。