一台机器人叠衣服失手了，另外95台机器人却因此变得更聪明。
这听上去像科幻情节，却是一项新研究的真实结果。
中国清华大学、智元机器人与无问芯穹的联合团队提出了一种名为"集体经验学习"的新方法，让已经部署的机器人共享执行经验，共同改进同一套控制策略。
相关论文已发布在预印本平台上。
在手机包装、插花、叠衣服等五项真实操作任务中，最终策略的成功率达到93.3%至99.2%，平均表现超过了人类远程操作。
一、人类"监工"跟不上机器人规模
机器人在真实世界中的每一次执行，都会产生宝贵的经验。可如何把这些经验利用起来，一直是个难题。
传统做法依靠人工纠错。远程操作人员盯着机器人干活，一旦发现策略出错，就立刻接管，示范正确动作。
这种模式在几台机器人身上还能维持。但当机器人集群扩大到几十台、上百台，人工监督迟早会跟不上。
就像一位老师可以手把手教几个学生，却很难同时照看一百个学生。专家的精力，成了机器人规模化学习的瓶颈。
研究团队的思路是：既然机器人越来越多，为什么不让它们彼此学习？
在集体经验学习中，人类只需为每次执行标注"成功"或"失败"，并把环境复位，动作本身全部由机器人自己提供，不再需要额外的专家示范或纠正动作。
二、成功提供榜样，失败决定学什么
这一方法的核心算法，叫作"失败引导的经验检索微调"。它的思路可以概括为一句话：成功提供模仿对象，失败决定学什么。
整个流程分为四步。首先，集群中的机器人持续自主执行任务，每条轨迹都被标注为成功或失败。
成功的轨迹进入共享经验库，成为学习素材。失败的轨迹并不提供动作，只作为"检索线索"，这样系统既能从失败中学习，又不会模仿错误动作。
接着，系统把视觉信息和机器人关节状态编码成统一的表示，让不同机器人之间的经验可以相互比较。
第三步是整个方法的关键。一个"失败"标签只能说明任务没完成，却无法指出问题出在哪里。
为此，系统截取失败前约3秒的观测画面作为查询，在成功经验库中寻找情境相似、时间对齐的成功片段。通俗地说，就是回答一个问题："在类似的情况下，别的机器人是怎么做成的？"
最后，这些检索到的成功片段会获得更高的学习优先级。反复出现的失败情境，会让对应的成功动作被更频繁地学习。
同时，优先级会随时间逐渐衰减，让学习始终聚焦于策略当前最容易出错的环节。
研究团队还从理论上证明，这种更新方向与提升任务成功率的目标是一致的。
三、每22分钟坏一台，系统照样不停
算法之外，工程难度同样不小。在96台机器人的实际运行中，平均每22分钟就有一台出现故障。
机器人需要在毫秒级时间内拿到动作指令，而训练所需的数据动辄以GB计。如何让推理、采集和训练互不干扰，是一道现实难题。
为此，团队构建了一套"容错异步训练系统"。它采用双平面架构，一个负责数据传输与共享推理，另一个负责集群管理与故障恢复。
当某台机器人出故障时，系统会就地重启对应进程，重放被中断的调用，其余机器人完全不受影响。
过期的动作指令会被识别并丢弃，防止错误数据污染训练。
结果相当可观。96台机器人在近8小时运行中共采集了9834个回合，期间发生30起故障，却只造成1.3%的机器人时间损失。
作为对比，如果采用同步采集，采集量只剩实测的33%。如果每次故障后整体重启5分钟，也只能保住86%。
四、机器人越多，学得越好
实验使用的是智元机器人的双臂机器人AgiBot G2，基础模型为开源的π0视觉语言动作模型。
五项任务各有难点：插花考验柔性物体处理，叠衣服涉及可变形织物，手机充电要求精确对齐，凳子组装需要使用工具，手机包装则是耗时两三分钟的多阶段任务。
在最大集群规模下，传统的监督微调方法平均成功率只有36.3%。
引入人工纠错的多机器人方法提升到81.0%，而新方法在不使用任何额外专家数据的情况下，将平均成功率推高至97.3%。
其中，手机充电任务的成功率从60.0%跃升至97.5%。手机包装任务在使用96台机器人学习后，成功率从79.2%提升至98.3%。
新方法在五项任务上全面超过人类远程操作，平均高出16.7个百分点。它也领先两种强化学习基线方法，平均优势超过11个百分点。
更值得关注的是扩展规律。在每台机器人采集时长固定、只增加机器人数量的情况下，新方法的成功率总体持续上升。
在手机包装任务中，训练集群从16台扩大到96台，成功率从86.7%升至98.3%。
相比之下，依赖人工干预的方法在集群扩大后出现饱和甚至回落。
原因不难理解：人类的监控能力有限，成了性能的天花板。而机器人自己的经验，会随着集群规模自然增长。
消融实验也验证了关键设计的价值。
去掉"按失败情境检索经验"这一环节后，成功率从86.7%骤降至64.2%，是所有测试中降幅最大的一项。
当然，这项研究也有局限。评估仅限于单一机器人平台上的五个专用任务，更广泛的任务、不同型号的机器人以及长期环境变化，都有待后续研究。
此外，在集群规模较小时，新方法的表现也可能低于初始策略，因为成功经验还不足以覆盖各种失败情境。
但这项研究已经指出了一种新的部署逻辑：机器人集群贡献的不只是劳动，还有可以共享的经验。
未来，工厂里的机器人越多，或许就不只是产能越大，而是整体越学越聪明。
热门跟贴