专门为机器人开发的模型,开始在机器人任务上输给通用模型。
英伟达 10 月公布的一项仿真测试显示,通用模型 GPT-6 Astra 直接生成机器人动作,成功率达到 66.3%;使用智能体系统后,成功率进一步升至 74.8%,远超专用机器人模型的表现。理解场景、判断下一步、根据执行结果纠错,这些过去需要机器人研究者专门处理的工作,正在进入通用模型的能力范围。
这些变化的影响正在传导至 OpenAI 的研发组织。最近,OpenAI 向《财富》(Fortune)确认,由于通用模型已经展现出直接用于部分机器人任务的能力,公司希望进一步整合机器人研发与通用模型研究,将撤销独立机器人团队,将相关人员转入核心研究和应用部门。
机器人要想理解环境、选择动作和纠正错误,原本需要单独训练专用的模型;如今,面向语言、代码和视觉等广泛任务发展的模型,开始侵蚀二者间原本泾渭分明的边界。
数据瓶颈与机器人研究的回归
其实在这次整合之前,OpenAI 已经因训练数据不足而叫停过机器人研究。
2019 年 10 月,OpenAI 公布了机械手解魔方的研究。团队在仿真环境中训练神经网络,通过强化学习,让系统根据动作结果改善控制方式,再把能力迁移到真实机械手上。为缩小虚拟环境与现实的差异,研究人员不断改变魔方尺寸、质量、手指摩擦等参数,让模型适应不同条件。
这个项目展示了学习系统处理复杂物理操作的潜力,但机器人研究很快就遭遇了数据瓶颈,OpenAI 不得不停止继续推进当时的机器人研究。2021 年,联合创始人沃伊切赫·扎伦巴(Wojciech Zaremba)在播客中解释,机器人缺少适合预训练的大量数据,而其他领域的数据丰富得多,更有利于公司推进通用人工智能(AGI)。
沃伊切赫所说的预训练,是先让模型从广泛数据中学习可重复利用的知识和表示,再用于不同任务。语言模型可以通过预测后续文字学习表达与知识,机器人则需要把观察与身体动作对应起来:手该往哪里移动,夹爪何时闭合,接触后物体会怎样变化。这类交互记录远少于互联网文本,采集还需要硬件、操作者和现场维护。
同时,机器人领域也已经开始利用互联网预训练的知识。2023 年,谷歌 DeepMind 提出视觉—语言—动作模型(VLA)RT-2,把视觉语言任务与机器人轨迹数据结合训练。它让语言和视觉知识参与动作预测,改善对新物体、新指令的理解,同时仍然使用机器人数据建立观察与动作之间的对应。
2024 年,OpenAI 重建机器人团队,并与人形机器人公司 Figure 签署合作协议,计划结合自身模型研究与对方的机器人硬件、软件经验,开发人形机器人模型。经历数年的通用模型发展后,公司再次为机器人配置专门的研究资源。
视频模型也提供了新的入口。同年发布的视频生成模型 Sora,其技术报告把生成视频描述为探索物理世界模拟器的一条路径。视频呈现物体运动和相互作用,有望帮助模型获得可以用于物理任务的知识。机器人仍需要把这些知识转化为自身能够执行的动作。
OpenAI 早期试图直接从机器人的行动中发展智能,后来转向数据更丰富的领域。随着通用模型能力增长,公司开始看到另一种可能:机器人所需的部分智能,可以从更广泛的模型训练中获得。
Astra 开始承担机器人模型的工作
今年 9 月,OpenAI 推出 Astra,重点展示了编码、计算机操作、科学研究等能力。随后,外部团队开始尝试将它连接到机器人,以此探究一个更具体的问题:能读取图像、推理和处理反馈的通用模型,能否根据摄像头画面和机器人状态,直接生成动作,承担机器人策略的工作?
研究人员向模型提供任务指令、机器人规格、图像和当前状态,模型通过控制接口输出机械臂末端的位置、朝向或关节目标,再由控制系统转成实际运动。动作执行后,新图像和执行结果回到模型,它据此决定下一步。
这些实验进一步向动作生成延伸,例如,给出机械臂位置目标、调用已有抓取技能和直接控制电机,分别要求不同层次的能力;实验采用的控制接口,决定了模型具体承担哪些工作。
研究人员通过提示提供机器人信息和任务要求,考察模型在不额外进行任务专用微调的条件下能做到什么。动作格式、身体约束可以写进提示,执行反馈则为模型修正动作提供依据。
英伟达(NVIDIA)10 月公布的研究,在包含 120 项抓取和放置任务的 RoboLab-120 仿真基准上测试 Astra。直接生成动作的成功率为 66.3%;使用持续保留历史的编码智能体 Codex 后达到 74.8%,高于页面列出的最强专用策略参照的 51.0%。
会话历史保存了计划、动作与反馈,帮助模型跟踪任务进展。不过,在子集实验中,额外开放代码执行、图像检查等工具的提升有限。
真实硬件上的案例,则显示出通用推理能怎样改变动作选择。商汤科技(SenseTime)的日日新(SenseNova)联合研究团队,把同一个 Astra 接到单臂、双臂、移动机器人和人形机器人等 8 种平台上。
在双臂机器人的插花任务中,夹爪竖直握住花茎,持花机械臂自己的腕部摄像头看不到花瓶口。单臂配置下插入失败;在双臂配置中,模型移动空闲机械臂,让另一台腕部摄像头看清瓶口,随后完成插入。
团队还发现,模型处理刚性物体的抓取、堆叠较可靠,柔性物体、精密接触和长距离移动操作更困难。实验仍依靠人工提供的机器人约束与控制接口,但跨平台的场景理解、行动判断和反馈纠错,已经能由同一个通用模型承担。
这样的能力会改变机器人软件的开发方式:过去,任务变化常常需要补充示范、重新训练或调整专门流程。通用模型能够在执行中理解新的目标、发现视野受阻并选择补救动作,使一部分变化可以在运行过程中处理。开发者仍需定义身体能够执行的指令,但处理任务变化的能力开始由更通用的模型提供。
随着能力持续迭代,机器人能力的增长也出现在其他通用模型中,11 月,Anthropic 发布 Claude Fable 5.2 和 Claude Mythos 5.2,展示前者控制真实机器人拧瓶盖、解益智方块和绘画。在公司内部采用相同运行框架、各模型最高可用推理强度的 RoboDojo Sim 双臂机器人仿真评测中,Fable 5.2 得分为 64.9%,上一代 Fable 5.1 为 27.6%,Astra 为 29.8%。
谷歌则同时推进两条路线。通用模型 Gemini 4 Argon 的发布中,谷歌展示其通过动作接口控制机械臂摆正杯子、放入纸巾,还让它为波士顿动力(Boston Dynamics)的 Spot 四足机器人构建垃圾桶的仿真模型,练习踩踏板开盖后,再到真实环境中投放易拉罐。
近日,谷歌发布新一代机器人动作模型 Gemini Robotics 2.5。在梅赛德斯-奔驰(Mercedes-Benz)工厂开展的汽车零件分拣装盘概念验证中,具身推理(embodied reasoning)模型负责跟踪工作流程,动作模型负责控制手臂。谷歌表示,Argon 还通过构建仿真环境和分析失败过程,帮助加快这款机器人模型的开发。
三家的公开动作中,OpenAI 把机器人研究进一步纳入通用模型体系;Anthropic 把机器人操控纳入旗舰通用模型的能力展示与评测;谷歌在发展通用模型能力的同时,继续训练机器人动作模型,并用前者帮助开发后者。
理解一项操作和以合适的速度持续执行,需要不同的资源配置。机械臂接触物体后,要及时处理位移、受力和碰撞;机器人本地计算能力、网络条件和任务节拍,也会限制模型的规模与运行方式。
OpenAI 这次把研究人员并入主模型团队,折射出它对研发资源的重新安排:部分机器人问题可以进入通用模型的能力建设,相关进步也能由多个应用共同利用。硬件与控制工程继续处理具体身体的约束,模型研究则进一步扩大能够统一解决的问题范围。
因此,独立机器人模型公司要继续生存,就必须证明自己的独特价值。目前市场中,Physical Intelligence 通过 API 提供模型微调和托管推理,为客户提供高效的新任务适配;另一家初创企业 Generalist 依靠自采物理交互数据训练模型,并适配夹爪等不同机械臂末端工具,独有数据能带来多大执行优势,将影响其竞争位置。
当然,这些公司也在追求跨任务、跨机器人的通用能力。随着前沿模型不断进入物理行动领域,竞争将更多落到相近条件下的实际表现:完成同一项工作,需要多少新数据、多久适配时间,以及多高的运行成本。
总体来看,机器人仍然需要在真实世界中积累经验,但越来越多的理解、推理和行动判断,正逐渐成为通用模型的领地。
参考内容:
https://fortune.com/2026/11/13/openai-disbands-robotics-team-as-its-general-models-start-running-robots/
https://research.nvidia.com/labs/srl/projects/astranomy/
https://www.sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence
https://www.anthropic.com/claude-fable-and-mythos-5-2
https://developers.googleblog.com/en/gemini-4-argon-for-robotics/
https://deepmind.google/blog/gemini-robotics-2-5-accelerates-real-world-physical-intelligence/
注:封面/首图由 AI 辅助制作
热门跟贴