用GPT这样的通用模型直接生成机器人动作的可能性有多大？英伟达研究团队10月14日给出的答案是：理论上可行，但太慢了，而且很贵。
这项研究证实在没有用机器人数据做专门微调的情况下，GPT-6 Astra可以直接根据视觉信息和任务指令，控制机器人执行任务。GPT-6 Astra是OpenAI今年9月3日发布的通用多模态模型，也是整个GPT-6系列中性能最强的。
Astra动作生成准确率超过60%，超过机器人专用模型π0.5
英伟达研究团队给Astra设计的任务主要是通用物体的抓取与放置：例如把食物放进容器、按要求整理物品等。
然后，他们让Astra用3种方式控制机器人——结果显示，在3种不同控制策略下，Astra平均都有60%以上的动作生成成功率：
- 直出模式（Direct Policy）：Astra裸模直接输出动作。成功率66.3%，平均推理延迟18.56秒；
- 智能体模式（Agentic Policy）：Astra与Codex协作、在一个Agent环境中根据交互历史调整动作。成功率74.8%，平均推理延迟13.37秒；
- 编排模式（Orchestrated Policy）：英伟达Cosmos世界动作模型生成动作，Astra审查动作。成功率66.5%，平均推理延迟11.50秒/2.74秒。
其中，Astra在与Codex协作的Agent框架中完成任务的成功率最高，因为Agent框架帮模型记住了之前试过什么计划、动作进展到哪一步、拿错过什么；这一模式的成功率甚至高过英伟达Cosmos世界动作模型负责动作生成，Astra负责审查的模式。而且，即便是Astra模型直接输出动作，成功率（66.3%）也高过机器人公司Physical Intelligence（Pi）的专用机器人模型π0.5（28%）。
Astra零样本直出动作模式（Direct Policy）在通用抓取放置任务上准确率超过机器人专用模型π0.5。
只有Astra达到了超过60%的机器人动作准确率，市面上其他模型都没有达到，其中Luna只有2%。
从机器人专用模型到通用模型
过去，机器人通常依赖视觉语言模型（VLM模型，比如GPT-4）理解环境与指令，通过视觉-语言-动作模型（VLA）将指令转化为动作。英伟达这项研究表明，通用多模态模型不再只是能理解环境和任务，还能直接生成机器人动作——可以被视作原生的VLA模型。
Thijs Simonian给Astra接上机械臂后让它绘画。
英伟达发布这项研究前，开发者Thijs Simonian已经尝试将Astra接入一套带有摄像头和画笔的机械臂，让它尝试绘制金门大桥：Astra会规划约一分钟的动作，观察执行结果，再逐步调整操作。
Robocurve团队也曾让Astra控制机械臂，把红色积木放进碗里，以及将拼图块插入对应的凹槽——在抓积木的测试中，Astra尝试20次，成功了19次；但在需要精确插入拼图的任务中，Astra尝试20次，仅成功2次。
宇树科技创始人王兴兴也在10月12日举行的第26届上海工博会开幕式圆桌论坛上称，GPT-6发布后，宇树将其用于不同机器人的任务测试，效果「非常不错」。他还认为，明年GPT-7发布后，有可能突破具身智能当前的瓶颈。
但生成速度慢、token消耗惊人
不过，推理延迟仍是通用多模态模型直接控制机器人的障碍。英伟达的研究显示，Astra的推理时间占了模型总运行时间的97.0%，大部分测试时间都用于等待下一个动作生成。比如直接输出动作策略中，Astra生成一个动作的平均推理延迟为18.56秒。作为对比，机器人公司Physical Intelligence（Pi）的π0.5模型的中位延迟为46.96毫秒。
例如，在酸奶抓取任务中，如果将模型推理耗时计算在内，Astra完成任务需要3分57秒，而机器人实际执行动作的时间约为5.2秒，剩下3分52秒都用在了推理上。
生成效率上，机器人专用模型（比如π0.5）的动作更快。
而且，用Astra生成动作的成本高昂。其中，一次成功的直接输出动作（Direct Policy）平均消耗16万个token（1.96美元），Astra负责规划、由机器人模型执行动作（Orchestrated Policy）的策略平均消耗1100万个token（17.72美元），而让Astra根据交互历史调整动作（Agentic Policy）的策略生成一次成功动作则平均消耗3090万个token（36.40美元）。
英伟达这项研究表明，通用模型与专用机器人模型的边界正在变模糊，通用多模态模型有潜力承担原本由专用机器人模型完成的工作。但从具备能力到实现实时控制，GPT这样的通用模型生成机器人动作的速度和成本都远不能商用。
至于说通用模型Astra已经打败了机器人专用模型π0.5，还为时尚早。别忘了英伟达的任务设置——仅仅是让模型控制机器手臂把食物放进容器、按要求整理物品，并不包含机器人行走、跑跳或复杂的工业装配任务，后面这些任务涉及更复杂的插接、装配、长时程移动、需要毫秒级反应。
https://research.nvidia.com/labs/srl/projects/astranomy/
热门跟贴