GPT-6 Astra的测试结果和成本都排第一。
作者 | 刘俐杉
编辑 | 许丽思
机器人前瞻10月15日报道，昨天，美国AI基准测试公司Artificial Analysis发布新基准测试，AA-Robotics v0.1。
该公司称，目前该评测仍是一个研究预览版本，主要用于评估前沿大语言模型在物理世界中的理解、规划和执行能力。
团队在v0.1中设计了抓取、物体摆放、按按钮等8项桌面操作任务，让GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon等前沿大语言模型，通过写代码直接控制一台6轴机械臂，完成操作。
▲桌面操作任务
该研究团队公布了8项任务的测试结果。在AA-Robotics v0.1中，GPT-6 Astra以69分排名第一。
随后依次为GPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5和Claude Fable 5.1。
GPT-6 Astra平均完成每项任务需要30分钟，成本为16.36美元（约合人民币109.49元）。
尽管模型能够控制机械臂了，但从测试结果看来，目前其速度和成本仍然无法达到生产应用的要求，和人类基准相比，差距接近两个数量级。
01.
8项桌面操作任务，
测试大模型对机械臂的控制能力
自2026年初以来，前沿大语言模型控制机械臂的能力取得了巨大进步。
研究团队认为，未来的机器人很可能会由强大的通用智能体驱动。因此，该团队设计了AA-Robotics v0.1基准测试，用来验证这一方向。
评测让运行在编码智能体框架中的大语言模型，直接控制机械臂。
此次测试只会给模型提供简短的操作说明，包括如何通过一个HTTP API连接机械臂，机械臂是哪一台，以及如何提交任务并宣布完成。
评测中使用的机械臂是Hiwonder NexArm，一台6轴机械臂，包括5个关节和1个夹爪。
模型可以通过4个摄像头观察场景，其中3个摄像头安装在桌子周围，另一个安装在机械臂的腕部。
观察完场景之后，模型还可以在隔离的代码运行环境中编写并运行代码，用于进行运动规划，并将运动指令发送给机械臂。
▲AA-Robotics v0.1任务流程
在AA-Robotics v0.1评测中，主要包含8项桌面操作任务，包括
- 控制与灵巧操作，精准抓取和操作物体，例如进行积木整理；
- 空间推理，理解不同物体之间如何相互作用，例如把饮料倒进杯子里；
- 适应能力，用于评估模型面对意外情况时的应对能力。
▲桌面操作任务
当模型提交任务后，系统会根据任务设定的通过标准对最终状态进行评分。
完成任务可获得100分，如果任务没有完全完成，则会根据完成程度获得相应的部分分数。
在评测过程中，所有任务均尝试采用零样本（zero-shot）方式进行，模型没有针对每项任务进行专门训练，只是根据任务要求完成操作。
02.
模型能控制机械臂，
但问题在于操作时间过长
从测试过程来看，模型已经能够控制机械臂了，目前问题在于，模型控制机械臂完成任务需要花费大量的时间和成本。
评测结果显示，目前的语言模型完成AA-Robotics v0.1任务的速度，大约只有人类的1/100。模型平均每项任务完成时间约为30分钟，而人类平均只需要20秒。
从整体来看，5个测试模型中有4个表现比较接近，平均每项任务约需要30分钟，其中Gemini 4 Argon最慢，平均需要52分钟。
▲任务完成平均时间
其原因是，模型在任务开始阶段，会花费大量时间校准机械臂并理解场景，这一过程会一直持续到模型采取第一次行动。
在第一次行动之后，大部分时间都用于运动规划。相比之下，机械臂真正执行动作的时间反而比较短。
不过，不同模型之间也存在差异。例如，GPT-6 Astra只用2.2分钟就按下了红色按钮。
▲按下红色按钮任务
相比之下，Claude Fable 5.1花了约10分钟理解场景并进行规划，之后才采取第一次行动。
在摆放一个鳄鱼玩具的任务中，这种差距更加明显。
▲摆放鳄鱼玩具任务
GPT-6.1 Sol在任务开始5分钟后就宣布完成，但Claude Opus 5.5则花了45分钟。两者完成时间相差9倍。
在所有任务中，Gemini 4 Argon是任务完成最慢的模型。它平均需要花费21分钟观察场景并进行推理，之后才会开始采取第一次行动，这一完成时间几乎是其他模型的两倍。
同时，测试中研究团队还发现，模型在已经达到任务通过状态后，往往仍会继续优化操作，甚至持续很长时间。例如，GPT-6.1 Sol在约17分钟时已经搭建出一座符合要求的塔。但随后它继续操作，最终反而导致任务失败。
这个例子也暴露出，让机器人完成任务，需要解决的不只是“怎么做”的问题，还有“做到什么程度才算结束”的问题。
模型未来能否进一步提升对物理空间中任务完成状态的判断能力，还有待观察。
03.
GPT-6 Astra拿下第一，
但成本最高
抓取和精细操作是AA-Robotics v0.1重点测试的能力。在抓取和精细操作测试中，GPT-6 Astra和Claude Fable 5.1的表现最好，两者成功完成任务的比例最高，约为45%。这表明它们具备一定程度的精细控制能力。
▲抓取和精细操作测试中各模型表现
GPT-6.1 Sol的表现最差，成功率仅为28%。Gemini 4 Argon的成功率为36%，处于两者之间。
与此同时，速度和成本仍然是模型进入生产场景最大的障碍之一。与时间差距相比，人类与模型之间，成本差距较小。
在成本上，成本最低的模型，其完成任务的成本约为按照美国平均时薪计算的人类成本的10倍。而在时间上，模型与人类之间的差距接近100倍。
此外，不同模型之间的成本也存在差异。尽管GPT-6 Astra的表现最好，但同时它的成本也是最高的。
▲任务完成平均成本
GPT-6 Astra平均每项任务成本为16.36美元（约合人民币109.49元）。而成本最低的模型GPT-6.1 Sol，平均每项任务成本仅为1.93美元（约合人民币12.92元）。
在成本上GPT-6 Astra是Sol的8倍，但最终得分只高出4分，分别为69分和65分。
值得注意的是，目前模型大部分成本都来自输入，因为考虑到机械臂和测试场景都比较新颖，同时模型需要处理大量视觉信息，所以约70%的成本用于处理上下文信息。
04.
结语：时间、成本、判断力，
大模型操控机器人的三道门槛
在AA-Robotics v0.1测试中，模型通过摄像头观察环境，结合视觉信息进行推理，控制机械臂完成了任务。
但对于模型和机器人来说，时间和成本依旧是实际操作和落地过程中的硬伤，与人类操作相比仍存在明显差距。
同时，模型对于物理空间中任务完成状态的判断能力也仍需增强。
在研究团队公布出的失败案例中，有的机械臂将物体摆放在对应的位置，明明已经完成了任务，却又将物品反复抓取，无法判断任务是否已经完成，还延长了操作的时间。
更重要的是，当机器人进入真实环境后，还需要处理更多的不确定性，面对包括物体位置变化、抓取失败以及任务状态判断等问题。
因此，如何提高模型的操作效率、降低使用成本，并提升其对任务完成状态的判断能力，仍是后续需要解决的问题。
热门跟贴