2022 年,一篇看似没有提出复杂新算法的论文,成为多智能体强化学习领域最有影响力的工作之一。
这篇论文叫 MAPPO。研究者发现,只要把已有的强化学习算法 PPO 用好,调整训练和实现中的一些细节,就能在多智能体协作任务中取得相当出色的效果。这个结论如今看起来并不难理解,但在当时,学术界更看重新算法和理论创新,MAPPO 因为方法过于简单,经历了多次投稿受挫。
论文的主要作者于超,当时还是清华大学电子工程系的一名博士生。如今,这项工作的引用量已接近 5,000 次,成为该领域广泛使用的基准方法之一。于超目前是清华大学深圳国际研究生院助理教授、博士生导师,同时也是物理智能公司正行创新(Striding AI)的联合发起人。
谈起自己的科研经历,于超并不觉得自己是一个特别有天分的研究者。她说,自己早期也缺乏成熟的科研判断,很多认知都是在做研究、经历失败的过程中慢慢形成的。MAPPO 对她的影响尤其深刻,她开始发现,一项研究有没有价值,比起论文能否发表,更重要的是它能否真正解决问题。
此后几年,她的研究逐渐从数字空间走向真实世界。
博士毕业后,于超留在清华继续从事博士后研究,开始将强化学习应用于无人机。2025 年,随着具身智能兴起,她又带领团队开发了大规模强化学习框架 RLinf,并尝试将过去在仿真中积累的方法应用到真实机器人上。
最近,她与团队完成了一项涉及百台真实机器人的实验,提出群体经验学习(Collective Experience Learning,CEL)方法,让机器人能够从其他机器人的成功经验中学习,减少对人类持续指导的依赖。在一项手机打包任务中,随着参与训练的机器人数量从 16 台增加到 96 台,任务成功率从 86.7% 提升至 98.3%。
这一结果让于超开始思考,机器人数量能否成为具身智能 Scaling Law 的一个新维度。未来随着机器人部署规模扩大,每台机器人在真实环境中积累的操作经验,都有机会帮助其他机器人提升能力。
与此同时,通用大模型的进步,正在为机器人提供另一条学习路径。
今年 7 月,于超团队提出 Harness VLA,尝试让 Coding Agent 承担高层任务规划,协调不同的机器人控制策略,并通过外部记忆积累和利用经验。过去,机器人学习主要依靠训练来改变模型参数;如今,随着大模型规划和长上下文处理能力增强,机器人也开始有机会通过调用工具、检索记忆等方式完成复杂任务。
于超当时就提出了一个判断:具身智能或许正在进入 Token 时代。未来机器人的能力提升,可能越来越需要借助云端大模型,而不再完全依赖机器人本体上的模型训练。
两个月后,GPT-6 Astra 发布。通用大模型在机器人任务规划中展现出的能力,让更多研究者开始探索 Agentic Robotics,也印证了于超团队此前的一些判断。在她看来,Astra 的出现或许让机器人的 GPT 时刻比预想中更近了一步,但仿真与现实之间的差距、真实环境中的学习效率等问题,仍然有待解决。
随着具身智能研究越来越依赖真实数据、硬件和大规模训练资源,她也开始尝试借助产业界的力量,将实验室里的研究推进到真实工业场景。今年,于超也入选了2026年度《麻省理工科技评论》“35岁以下科技创新35人”亚太区名单。
从 MAPPO 到百台机器人的群体学习,再到最近对 Agentic Robotics 的探索,于超一直在研究智能体如何通过交互和反馈提升能力。如今,机器人既可以在物理世界中积累经验,也开始借助通用大模型理解任务、规划行动,强化学习本身的形式也在随之变化。
近日,DeepTech 与于超进行了一次深入交流。她谈到了 MAPPO 投稿时的曲折经历、百台机器人实验中的发现,以及 GPT-6 Astra 发布后自己的复杂心情。对于具身智能可能进入的下一阶段,她也分享了自己的判断和仍未解决的疑问。
以下是我们与她的对话。
从 MAPPO 开始,重新理解什么是好的科研
DeepTech:你从最初的自动化专业,到机械系、电子系,后来又从多智能体强化学习走向具身智能。回头看,是什么推动你不断转换研究方向?
于超:我觉得主要还是好奇心驱动。我比较喜欢做有趣的事情,如果对某个东西感兴趣,就会想自己研究一下。
我本科是北京理工大学自动化专业,2016 年保研到清华机械工程系,跟随刘辛军老师研究机器人。当时实验室主要做机器人本体设计,刘老师觉得机器人不能只有本体,还需要智能,所以让我负责智能相关的研究。
我最开始做过图像识别、机器人高速分拣,后来又转向 SLAM(即时定位与地图构建),把深度学习和机器人导航结合起来。2019 年硕士毕业后,我去了清华电子工程系读博士,跟着汪玉老师研究协同智能。
当时我考虑过几个方向:机器人本体、感知和决策。我觉得做本体,自己的机械功底还不够;做感知,又已经有很多很优秀的计算机视觉研究者,所以最后选择了决策,也就是多智能体强化学习。
后来很幸运,汪玉老师帮我联系上了吴翼老师,让我有机会跟着他做研究。
我后来做无人机、做具身智能,也是类似的想法。我会很好奇,过去在数字空间里做的东西,放到真实世界里会怎么样?机器人真的能够通过和物理世界交互,学到新的能力吗?现在回头看,我在自动化、机械、电子工程和计算机这些领域都接触过一些东西。这些背景对我今天做具身智能都有帮助。
DeepTech:MAPPO 应该是你博士期间最有影响力的一项研究。它当年投稿很不顺利,一些审稿人认为只是把已有算法做好了,缺少突出的理论创新。这段经历对你后来的科研取向有什么影响?
于超:影响非常大。我觉得 MAPPO 是一个大道至简的工作。它没有提出特别新的算法,而是把已有的方法研究透彻,把各种参数和实现细节调整好,结果就能解决很多问题。
但这和当时多智能体强化学习领域的科研氛围有些格格不入。那个时候,如果没有理论证明,或者比较新颖的算法设计,论文就很难发表。
MAPPO 的投稿过程非常曲折。我当时科研经验还不够丰富,也不知道该怎么把这样一项工作讲清楚,甚至一度担心论文无法发表会影响毕业。
我记得当时有位朋友建议,可以尝试给论文补充一些理论证明,增加发表的机会。我确实很心动,因为那时候最直接的压力就是毕业。但后来我去跟吴翼老师商量。他提醒我,要想清楚自己做研究究竟是为了什么。论文能不能发表固然重要,但更关键的是,这项研究有没有真正为领域作出贡献。
这件事对我触动很大。因为 MAPPO 在被正式接收之前,已经有很多研究者开始使用,反馈也很好。我也是因为这个方法被很多人认识的,而不是因为发表了一篇论文。这让我真正体会到,一项研究的影响力和它能否发表,确实是两回事。
汪玉老师也给了我很多支持。他从来没有催促我赶紧发表论文,愿意让我花一两年时间去做好一项工作。我觉得这种科研环境非常难得。
DeepTech:所以你后来做 RLinf 这样的开源基础设施,也延续了这种想法?但长期维护一个开源项目,可能会占用大量原本可以用来发表论文的时间。
于超:对。我觉得自己算是一个长期的科研主义者,不太喜欢打一枪换一个地方。比如 RLinf,维护一个开源社区需要非常长期的投入。在做这个项目的时候,我的论文发表其实停了很长一段时间,因为人的精力总是有限的。
但是我觉得这件事情值得做。它是一个能够帮助很多研究者开展强化学习训练的基础设施,我希望能够真正把它做好。
当然,这种选择也有风险。尤其在国内现有的科研评价体系下,一项工作对行业很有价值,但如果没有对应的论文成果,不一定能得到认可。我觉得最难的是找到真正有价值的问题,然后有足够的科研定力把它做出来。
百台机器人一起学习,意外发现了什么?
DeepTech:过去多智能体强化学习主要在仿真环境中进行,为什么这次要把实验规模扩大到上百台真实机器人,还希望它们能够彼此学习?
于超:这个想法其实很直接。过去我们做强化学习,很多实验都在仿真环境里完成。仿真的一个重要优势是能够大规模并行,同时运行成千上万个环境,收集大量交互数据,再用这些数据训练模型。
但到了真实世界,很多研究还停留在单台或少量机器人上,也有人认为真机实验很难规模化。我当时就很好奇,为什么真实机器人不能规模化?虽然很难达到仿真中上万台的水平,但几十台、上百台有没有可能?如果真的让一百台机器人同时学习,又会发生什么?
真正开始做之后,我们发现最困难的问题其实不是机器人本身。在中国,生产一百台机器人并没有想象中困难,更大的挑战来自现有的学习方法对人类指导的依赖。
比如机器人抓杯子失败了,需要操作员接管控制,示范正确的动作,再让机器人学习这段经验。这种方式在少量机器人上是可行的,但如果扩大到一百台,就需要大量能够熟练操作机器人、及时纠正错误的人员。
我们当时发现,这样的操作员其实很难找。一个任务最多只能找到八个比较熟练的人,真正能够高质量完成操作的通常只有三个人,我们还开玩笑说,每个任务都有自己的“遥操三剑客”。
所以,当机器人数量增加到一定规模时,人类能够提供的高质量操作经验,反而成为限制学习效率的重要因素。
我们就开始考虑,能不能换一种学习方式?如果少量人类指导已经帮助机器人掌握了基础能力,接下来能不能让它们从其他机器人的经验中继续学习?
比如一台机器人遇到了困难,另一台机器人可能已经在类似场景下成功过。如果能够把这些经验共享出来,机器人就有机会从整个群体中找到解决问题的方法。这就是我们提出群体经验学习(Collective Experience Learning,CEL)的出发点。
DeepTech:实验中还有一个值得讨论的现象。当参与学习的机器人只有四台时,训练效果反而下降,但扩大规模后,算法开始发挥作用。这是否说明群体学习需要达到一定规模,才能体现优势?
于超:对,这也是我们在实验过程中逐渐认识到的问题。
正常开展研究,通常都是先从小规模实验开始,验证方法有效之后,再逐步扩大规模。所以最初使用四台机器人时,效果没有达到预期,确实让我们对这套方法产生过怀疑。
后来,我们在进行其他算法测试时,恰好有一批机器人没有安排实验,就利用这些设备进一步扩大了测试规模。结果发现,随着参与学习的机器人增加,算法的表现开始出现明显改善。
我们后来分析,这和群体经验的数量及多样性有关。因为 CEL 的核心思路是从其他机器人的操作经验中检索有用的信息。当机器人数量较少时,积累的成功经验有限,很难覆盖足够多的任务状态,也就不容易找到可以借鉴的经验。
随着规模扩大,不同机器人在执行任务时会遇到更多样的情况,产生的成功经验也更加丰富。当一台机器人遇到困难时,就有更大机会从群体中找到相似场景下的有效操作。
所以这次实验让我们意识到,机器人数量本身可能是影响群体学习效果的重要因素。过去我们习惯先在小规模实验中验证算法,但对于依赖群体经验的方法来说,小规模实验的结果不一定能够充分反映它在更大规模下的表现。
当然,目前这些结论仍然建立在我们测试的任务和机器人规模之上。未来面对更加复杂的环境,是否还会呈现类似的规律,需要进一步研究。
DeepTech:在手机打包任务中,随着参与训练的机器人数量从 16 台增加到 96 台,成功率从 86.7% 提升到了 98.3%。而且最终测试使用的是没有参与训练的机器人。你怎么看待这个结果?
于超:这个结果我印象非常深刻。因为当时我们采用了一套比较严格的独立测试流程。算法同学不能参与测试,只能提交训练好的模型,再由专门的测试人员按照统一的标准操作流程执行。
手机打包任务一共需要测试 120 次。98.3% 的成功率,意味着最终只失败了两次。
我们当时能够在线查看测试记录,每完成一次测试,表格里都会更新结果。因为测试过程持续时间比较长,大家都很关注模型的表现,尤其是出现第一次失败之后,会担心后面的测试是否还能保持稳定。
我还记得,最后一轮测试时,负责算法的同学甚至跟我说,不要告诉他结果,他不敢看。确实有点像考试结束后等成绩,模型提交出去,接下来就只能等待测试报告。
最终 120 次测试只失败了两次,大家还是挺激动的。但我觉得,比成功率本身更重要的是,我们把训练和测试使用的机器人分开了。
过去一些机器人实验,会在采集训练数据的同一台机器人上测试模型。我们这次使用了没有参与训练的机器人,希望检验模型能否将学到的能力迁移到其他本体上。
最终结果表明,至少在我们测试的同构机器人和任务条件下,群体经验学习确实能够帮助机器人提升表现,并且具备一定的跨本体迁移能力。
这也是我认为这项工作比较有价值的地方。随着真实机器人部署数量增加,每台机器人在执行任务过程中积累的经验,都有机会成为其他机器人的学习材料。
至于下一步,我可能不会急着继续增加机器人数量。我们更希望把它们放到室外,或者更加杂乱的真实环境中,尝试完成更复杂的任务,看看现有方法还能解决哪些问题,又会遇到哪些新的挑战。
当大模型开始进入机器人
DeepTech:除了群体学习,你最近还在探索 Agentic Robotics。比如 Harness VLA,让 Coding Agent 负责规划,再调用不同的机器人控制策略。为什么会想到将这套方法用在机器人上?
于超:这也是一个很有意思的故事。有一天,我们团队的一个同学突然跟我说,老师,我给你看一个结果。他自己用 Codex 搭了一套 Agentic 系统,给我演示的时候没有提前解释怎么实现的。我当时看到,觉得它的泛化能力非常强,后来才知道背后用的是 Coding Agent。
我们就开始讨论这个事情。今天的 Coding Agent 已经能够理解比较复杂的任务,自己规划步骤,调用工具,看到反馈之后还会继续调整。这些能力能不能用到机器人上?
当然,最初的系统还有很多不足。比如它完成精细动作的能力不够好,抓取、插入这些操作还是比较困难。
所以我们就在想,能不能把现有的 VLA、基于代码的控制策略,以及 Coding Agent 结合起来,让不同模型负责自己擅长的部分?
后来我们就做了 Harness VLA。我们在今年 7 月把工作放到了 arXiv 上。当时我还给这项研究写过一个标题,叫“具身智能或进入 Token 时代”。
因为我觉得,未来机器人的能力提升,可能越来越需要借助云端大模型。
DeepTech:你还提到过,机器人可以通过 Memory 积累经验。这和过去依靠强化学习改变模型参数,有什么区别?
于超:我觉得可以把它理解为经验的内化和外化。
过去我们做强化学习,主要是通过训练改变神经网络的参数。机器人学会一个任务之后,它的能力就保存在模型参数里。这可以看作经验的内化。
另一种方式是把经验存到外部,比如放进一个数据库。下一次遇到类似任务时,机器人可以检索过去的经验,再决定应该怎么做。这就是外化。
其实过去也有这种方法,但它本质上比较像查表,效率不高,也很难把经验组织得足够好。现在有了大模型,长上下文处理和复杂任务理解能力都增强了,这种外挂记忆的方式才开始变得更加可行。
我觉得两种方法并不冲突。机器人既可以通过训练改变自己的模型参数,也可以通过 Memory 保存和利用已有经验。未来的 Agentic Robotics 系统,很可能需要把这两种方式结合起来。
DeepTech:9 月 GPT-6 Astra 发布后,通用大模型在部分机器人任务中的表现甚至超过了专用模型。你怎么看待这一变化?随着通用模型能力不断提升,未来还需要专门训练机器人基础模型吗?
于超:GPT-6 的出现确实让我很震撼,它把机器人任务规划能力提升到了一个新的水平。当时甚至有人开始讨论,机器人的 GPT 时刻,会不会就是 GPT 本身。
我们在 7 月研究 Harness VLA 时,已经看到了 Coding Agent 在具身智能领域的潜力。当时我们发现,通用大模型能够较好地理解任务、进行规划和调用工具,但在抓取等精细操作上仍有不足。因此,我们尝试将它与 VLA 等模型结合,让不同的模型发挥各自的优势。
这也是我们当时提出具身智能可能进入 Token 时代的原因。未来机器人系统可能越来越多地借助通用大模型的能力,至于它与专用模型最终会形成怎样的分工,还需要进一步探索。
所以看到 GPT-6 发布时,我其实有一点松了口气。因为当你跳出已有的研究范式,投入一个新的方向时,心里难免会有顾虑。尤其作为团队负责人,我最担心的是给学生们指错方向。相比具体执行一个项目,判断什么问题值得研究、未来应该往哪里走,可能更加困难。
Astra 的出现,在一定程度上印证了我们此前的判断。但它也让整个领域的研究节奏突然加快。原本关注 Agentic Robotics 的人不多,我们还可以慢慢探索,把工作做扎实。现在越来越多的团队开始进入这个方向,留给我们推进研究和开源工作的时间也变得紧迫了。
DeepTech:不过,目前大模型在仿真环境里的成绩很亮眼,部署到真实机器人上,表现却可能大幅下降。你怎么看待仿真与现实之间的差距?强化学习未来还能发挥什么作用?
于超:其实这个问题在具身智能领域一直存在。
我比很多人都希望仿真数据能够真正发挥作用,因为我们本身就在做大规模强化学习系统。如果仿真能够很好地替代真实环境,我只需要增加算力、搭建好的仿真器,就可以训练出很强的模型。
但实际做下来,我们发现仿真的局限还是很明显。比如摩擦力,在仿真中,你可以给它设定一个数值,但真实物体表面的每一个位置,摩擦力可能都不一样,很多细节是很难准确模拟的。
我们当时做百机实验,准备了五六套算法,在仿真中都测试得很好。但真正放到机器人上,很多方法就完全不好使了。
所以我们现在会把仿真作为算法验证的第一步。如果一个方法在仿真里都不能工作,那它在真机上成功的可能性通常很低。但在仿真里有效,也不能保证到了真实世界就一定有效。
至于强化学习,我一直比较倾向于从交互和反馈的角度来理解它。机器人通过探索、试错,不断改进自己的行为,这个过程在物理世界中仍然非常重要。
只不过强化学习的具体形式会随着模型和系统发展不断变化。过去我们主要改变模型参数,今天也可能通过 Memory 积累经验。过去在小模型上有效的算法,放到大模型上可能就不一定好用了,训练系统也需要随之改变。
我觉得强化学习会继续发展,但具体会变成什么样,还需要不断探索。
从实验室到真实世界
DeepTech:现在各家机器人模型经常公布很高的 Benchmark 成绩,但外界越来越难判断它们究竟有没有真正进步。你觉得具身智能最需要什么样的评测标准?
于超:我觉得评测这件事情,比我原来想象中复杂得多。
做百机实验之前,我原来觉得测评很简单,把模型放到机器人上,测一百次,看看成功多少次就行了。但测试团队告诉我,不能这么测。桌子的高度、物体的位置、光照的色温和色差,很多东西都要按照标准控制。
我后来才意识到,测试本身也是一项非常耗费时间和人力的工作。有时候训练一个模型已经很花时间了,但测试也可能需要半天,甚至更长时间。
而且真实机器人还有很多容易被忽略的因素。比如机器人运行一段时间后,温度会发生变化,电机的性能、控制精度和稳定性都可能受到影响。
我之前听一位老师讲过,他们实验室有台机器人,拉上窗帘的时候成功率很高,打开窗帘就不行了。一开始大家以为是光照影响了视觉模型,后来才发现,可能是阳光照射导致温度升高,影响了机器人本体的性能。这个事情挺有意思的,很多做机器人智能的研究者,可能根本不会想到温度也是一个重要变量。
所以今天很多实验室里的测试,其实还不够标准。甚至同一台机器人,训练和测试时的状态稍微有点变化,结果就可能不一样。
我觉得未来可能需要让更多模型开放接口,让其他研究者能在自己的机器人上直接验证。与此同时,仿真环境或许也能在标准化评测上发挥作用。毕竟在真实世界里,你上一秒和下一秒测试的,可能已经不是完全相同的环境了。
DeepTech:你今年还参与发起了正行创新。此前汪玉老师曾建议你更适合做科学家,为什么后来又决定参与创业?
于超:我觉得本质上还是希望把实验室里的研究成果真正落地。
汪玉老师以前跟我说过一句话,我印象特别深刻:你的东西既要能上书架,也要能上货架。我读博士的时候,可能只能做到上书架。论文可以发表,技术可以开源,但怎么把它变成真实世界里能够使用的产品,我其实不知道。
后来我当了老师,开始做具身智能,发现整个领域的科研条件也在变化。首先是资源问题,现在大家都在研究具身大模型,需要大量算力、数据和硬件。单靠高校实验室的力量,很难支撑这样的研究。
其次,具身智能有大量硬件问题。我们团队比较擅长算法和系统,但机械、电机、硬件制造这些事情,肯定需要更专业的人来做。
还有一个很重要的原因,就是工业界能够提供真实的问题和场景。
我们以前在实验室里做研究,有时候并不知道真正的工业需求是什么。可能自己想象了一个问题,再设计一套算法去解决。但到了真实场景,你会发现实际的问题可能完全不一样。
所以后来有机会跟姚颂合作,我们就决定联合发起正行创新。目前我在公司主要指导技术研究。
学校和公司的研究也有一些分工。比如具身基础模型的预训练,需要大量算力和数据,也是公司未来的核心技术资产,这类工作会更多放在公司。
而 Agentic Robotics 目前还有很多问题没有解决,距离实际工业应用也还有一段距离,我们就更多放在高校实验室里探索。我觉得这两边可以互相帮助。高校能够做一些更前沿的研究,产业界则提供真实场景、资源和反馈,让研究能够继续向前推进。
机器人什么时候能变得安全可信?
DeepTech:你长期研究强化学习,也会观察生活中的智能现象。比如儿童学习语言、认识物体的过程,有没有给你带来一些启发?
于超:有,而且我觉得还挺有意思的。
比如小孩子学习搭积木,最开始可能不知道不同形状应该放在什么位置,也不知道应该怎么操作。但经过一些演示和鼓励,过一段时间,他可能突然就自己学会了。
我当时观察到这种现象,觉得很惊讶。因为同样是学习操作物体,人类小孩可能很快就能掌握,但我们训练的机器人模型还需要大量数据和尝试。
这让我觉得,人类智能的学习效率确实很高。尤其是通过交互、尝试以及外界反馈不断调整自己的行为,这和强化学习中的一些思想是相通的。
还有一个现象是语言学习。比如小孩子背古诗,你说出前面几个字,他往往能够自然地接出后面的内容。这让我联想到大语言模型里的 Next Token Prediction(下一个词元预测)。
当然,人类的学习机制要复杂得多,但我觉得很有意思的是,我们在人工智能中使用的一些学习方法,似乎能在人类学习过程中找到某些对应的现象。
DeepTech:如果再过三到五年,你最希望机器人真正学会的一件事情是什么?
于超:说实话,人工智能的发展实在太快了,我现在已经很难预测三五年后会是什么样子。之前我曾判断,具身智能的 GPT 时刻可能还需要两年,但随着 GPT-6 的出现,我甚至开始想,这个时刻会不会已经到来了?对此,我也没有明确的答案。
如果说有什么特别期待的应用,我希望未来机器人能够帮我照顾孩子。因为照顾孩子是一项非常复杂的任务,首先就要满足极高的安全要求。机器人需要具备足够精细、轻柔的动作控制能力,能够及时应对各种突发情况,才有可能让家长放心地把孩子交给它。
除此之外,机器人还需要理解孩子的需求,作出恰当的回应,甚至提供一定程度的情感陪伴。这些能力对机器人提出了很高的要求,目前距离真正实现还有很长的路要走。
我不知道未来几年能否实现这一愿望,但人工智能的发展速度已经多次超出我们的预期。如果有一天,机器人真的能够安全、可靠地照顾孩子,我觉得那会是具身智能一次非常重要的突破。
运营/排版:何晨龙
注:封面/首图由 AI 辅助生成
热门跟贴