把西西弗斯的石头推上山，Wolfram Burgard 谈具身智能的三十年探索｜CoRL 2026|burgard|wolfram|具身|智能体|机器人|西西弗斯

他尝试先让机器人摆脱地图、理解语言，再学会用力和触碰。

作者丨吴思梦

编辑丨岑峰

2026 年 11 月 9 日至 12 日，机器人学习会议 CoRL 2026 在美国得州奥斯汀举行，主旨演讲里有一场属于 Wolfram Burgard，题目为《Challenges to RealizeEmbodied Al》。

Wolfram Burgard 时任德国纽伦堡工业大学教授，也是该校计算机科学与人工智能系创办者。经典教材《Probabilistic Robotics》合著者，曾获德国莱布尼茨奖，并担任过 IEEE T-RO 主编及丰田研究院自动驾驶负责人。他是概率机器人与具身智能领域的先驱。

（编者注：《概率机器人》（Probabilistic Robotics）由 Sebastian Thrun、Wolfram Burgard 和 Dieter Fox 合著，于 2005 年出版，是移动机器人领域的经典教材，系统介绍了概率方法在机器人定位、地图构建、感知与运动规划中的应用。）

给他做开场介绍的是合作了三十多年的 Dieter Fox。Fox 在台上讲了个段子：深度学习刚起来那几年，Burgard 常举着那本《Probabilistic Robotics》（以下统称为概率机器人）说，现在可以一章一章撕掉，换成深度学习；他也不知道这本书到今天是不是已经空了。

这场演讲，Burgard 用西西弗斯推石头比喻了机器人研究这三十年的历程。概率方法、深度学习、基础模型，是三次将石头推向山顶的尝试，每次都以为能成，石头却又滚回山脚。他花了大半场时间分析石头为什么会滚下来：高精地图把车锁死在了划定的区域；深度学习要求人先穷举出世界的类别；而今天的基础模型大多只会输出位置，既不知道手上用了多大力，也摸不到东西的手感。

后半场他挑了几件自己组里正在做的事，让机器人不靠地图走路，让它知道一个娃娃该抓哪儿，让它预感到手指按下去会摸到什么，也把导航模型拆开看它到底在看图像的哪一块。结尾他放了一张 AI 生成的图，《概率机器人》在画面里炸开，石头停在山顶。

最后，他说希望有一天我们不再需要这本书。

以下为 Wolfram Burgard 在 CoRL 2026 主旨演讲的中文翻译，AI科技评论依据现场英文逐字稿整理。

▎Challenges to RealizeEmbodied Al

▎Wolfram Burgard

先把致谢放在开头

谢谢邀请，这是我在机器人领域的第一场全会报告，至少在 IEEE 机器人与自动化学会这个圈子里是第一次。

今天想讲的是我个人的一点看法，关于眼下这场围绕具身智能和机器人的竞速，可能会往哪儿走。我会带大家往回走三十年左右，其中有一段还要再往回两三千年。到时候你们会明白我为什么从那儿讲起。

我眼里的机器人，是一件能帮我们解决重要社会问题的工具。驾驶是最容易看见的一环：好几家公司的无人驾驶车已经跑在路上，让交通更高效，也希望更安全。生产是另一块，全球都在比谁的生产效率更高，我们相信机器人能在这场竞争里帮上忙。

再往下是照护，这个维度今天也会谈到，怎么造出能帮忙照顾老人、在家里搭把手的机器人。最后，我们住在一个有限的球面上，人口还在持续增长，这也是机器人该帮着承担的一块。

要做到这些，需要的是智能机器人：能感知自己周围的世界，能对世界做些推理，能建立模型，然后执行动作去达成目标。眼下我们把具身机器人、具身智能当成一条可能的出路，目前大家设想的方案，多数还是用人形机器人来做。

人形之所以被看好，是因为它能让从人工生产到自动化生产的过渡平顺一些，甚至能做混合生产：人和机器人在同一个空间，用同样的工具，完成同样的任务。再往上还有一层。今年我去了中国两趟，那边做人形机器人的初创公司有几百家，做机械手的差不多也有同样多。

要拿工具做灵巧操作，得有一双像样的手；但这不只是机械的事，感知同样重要，后面我会讲到。还有一件事，Peter Stone 今天早上也提过：我们需要大规模算力，规模要超过过去大学研究里能拿到的水平。

不过在所有这些之上，有一件被投资人、甚至被政策制定者普遍低估的事：怎么造出那个能让这些机器人真正把活干完的 AI 系统。过去几年硬件上的进展非常大，人形机器人的进步在我看来简直有点疯狂。可造 AI 仍然是我们面对的难题。我的判断是，机器人学习是唯一的出路。再往下收一层，就是今天在座的这个社区，也就是真正在做这件事的核心人群。我希望答案能从这里出来。

三块石头：从 1995 到基础模型

我们把时间往回拉两千多年。按希腊神话，这是西西弗斯。他因为觉得自己比宙斯更聪明，惹恼了宙斯。顺带说一句，这一点有时也挺像我们这行的想法，研究人员多少都觉得自己是世界上最聪明的那个人。宙斯罚他把一块巨石推上山。图里这块，就是他得一路推上去的石头。光这样还不够，宙斯又让石头在快到山顶时必然滚落，一路滚回山脚，他只能从头再来。

这跟我们的研究有什么关系？我们做的基本就是这件事：找到一种技术，概率机器人也好，深度学习也好，基础模型也好，然后相信这一次总算能把石头推上去。可惜到目前为止，我们并没有真的成功。总像是有哪位神又把石头推了下来，于是重新从山脚开始。我找不到比这更贴合我们这个社区的说法了。

回头看我参与过的技术，这样的石头有三块。第一块从 1995 年前后开始。那时我们真相信，靠概率推理什么都能解决，《概率机器人》就是那个时期写出来的。再往下就是背后的方程，也就是状态估计：给定一张环境地图，算出这辆车在哪儿。

第一块：毫米级定位，和甩不掉的地图

造自动驾驶车，要解决三件事。第一，待在路上，也就是定位；第二，别被撞；第三，别撞到东西。这三件都做到了，事情才开始有意思。这里是它实际跑起来的样子，室内、室外、没有 GPS 的环境都有。

有人会问精度到底多少。几年前我们做过一组实验，想给大家一个直观感受：工厂地面上这些黑条并不参与定位，它们只是标尺，让你能看出这个平台走得有多准。下面的统计里，定位和位姿估计的精度在毫米级。在座有谁相信基础模型现在也能做到这个？没人举手。也许几年后可以，那当然是好事。

概率机器人这一程的产出，就是外面那些自动驾驶车。看一眼典型的软件栈，感知、跟踪、定位、预测、规划、控制，其中建图和定位这一块，我认为受概率方法支撑得尤其明显。

十年前我创办的一家公司，做的就是建筑和古建的三维测绘。有七百年历史的比萨斜塔，我们用这套技术做出了当时最精确的室内外一体模型，对文物保护很有用；还有一座大教堂，也是这样扫出来的。这些既是自动驾驶的重要台阶，本身也成了很好用的工具。

可它也带来一个麻烦。依赖高精地图，车就被绑在了我们说的 L4，也就是限定在地理围栏区域里的自动化。这正是你现在看到的样子：在几座城市里能见到自动驾驶车，但做不到全世界随便跑，那得是 L5。

那么操作任务今天到了哪一级？觉得是 L3 的？有几位。L4？L5？确实有少数应用做到了，可我认为真正的难点，是把它部署到世界上的任何地方。能不能干脆不要地图？这些年这个问题一直是推着我自己往前走的力量。地图一直非常好用。机器人学家爱几何，而地图本质上就是几何；建了图，导航问题就变成了几何问题，接着就得面对复杂度带来的各种约束。

（编者注：Burgard 提到的公司是 NavVis，他参与创办，方向是建筑室内三维测绘与数字孪生。）

第二块：深度学习补上了语义，

也留下了不确定性

回头看第二阶段，概率机器人最不擅长的恰恰是第一步：从传感器数据里读出语义，理解图像，理解点云。深度网络在这一步上提升很大，这是这个领域的第二次革命。这里是一个语义分割的例子，系统对图像的解读明显更好。不过你们大概也同意，它在定位和建图上没那么强。

于是问题就来了：两者能不能合起来？这个讨论最早是在丰田研究院做自动驾驶那段时间和同行开始的。一旦有了这么好用的分割和感知工具，怎么把它们跟概率方法接上。这里需要的是校准后的不确定性，否则滤波器、估计过程都会出问题。到了基础模型，这个麻烦不但没消失，反而更难，因为模型更复杂，估出靠谱的不确定性也更难。

我们做过一个例子，让分割网络不只给出分割掩码，还给出每个位置的语义不确定性；实例分割也能这么做，最后合成一张不确定性的图。在一个常用数据集上可以看到，不确定性升高的地方，往往正是类别交界和物体边缘，这很合理。

再往下，我们把它接进状态估计，这里用的是粒子滤波器：中间需要学一个正则化项，把网络给的不确定性换算成校准过的不确定性。这一步做对了，就能直接基于深度网络的输出，做高精度的概率定位，也能从数据里直接学出分割掩码和其他想要的特征。

那个阶段我们基本相信，深度学习能解决所有这些问题，代价是得按监督方式收一大批数据。更麻烦的是，我们得先替系统把类别体系定好：这个任务里，哪些类别是它该关心的。现在换一个场景，让机器人收拾一间厨房。哪些类别相关，完全取决于这间厨房长什么样。要是它面对的是学生派对之后的厨房，光把环境建成三维模型就已经很难，更别说为了收拾厨房，把该定义的类别一条条列全。

在我看来，深度学习的边界就在这里。它在自动驾驶上非常好用，因为那是一个受控得多的环境；工厂地面和家庭，也是这个区别。所以我判断，这些平台进工厂会比进家里快得多。可大家真正想要的，偏偏是家里。

然后就是第三块石头。我第一次接触基础模型的时候，确实被震了一下，心想，这是机器人学的下一级台阶。到今天我仍然这么认为。我们现在正在推的，就是这一块。

第三块：不用训练就能听懂指令，然后呢

这一阶段早期，我们做过语言地图。当时是把预训练特征嵌入三维体素，让机器人根据语言指令进行语义导航。每次看到这些，我都会想：放在深度学习时代，这大概是一个博士生整个博士期间要做的工作。

让学生实现一个分类器，光是在图像里识别椅子、给椅子分类，就能衍生出很多论文。现在这些任务已经可以零样本完成，不需要额外训练，直接告诉机器人执行导航指令就行。

后来，我们把表示做成分层结构，一栋楼可以拆分到楼层、房间，指令也能变得更复杂，比如去二楼卫生间找马桶，再由系统转化为机器人执行的一系列动作。各种语言表达都能接住。我们在真实楼宇里做过实验，机器人能够根据开放词汇指令稳定导航。

这对自动驾驶可能还不够，但对室内环境也许已经够了。当然，它还不是最优解。如何让机器人在日常运行中持续学习、优化行为，最终找到最优动作序列，仍是一个开放问题。

另一个我很喜欢的例子是扫地机器人。很多人家里都有。据我所知，只有一类扫地机器人做过物体分类，因为厂家发现，一旦机器人碾过狗屎，整个公寓可能都得重新打扫。那家公司所做的一切，或许不过是依托深度网络底层逻辑这类训练方法，用的基本都是能从顶级分销商那里拿到的素材，然后再以较低的成本去操作。

我们想探索另一条路：能否直接向基础模型索要策略，将其置入一段简短的提示词中，然后部署到机器人本机的边缘设备上运行？这样，动作可以直接在本机生成，不必反复请求基础模型，也能为数百万台扫地机器人节省能耗。

其核心思路是：随着时间推移，在针对特定环境的实验性学习中，让这套极度复杂的网络在适配该环境的平台上运行，并在无需大量额外操作的前提下，让机器执行来自基础模型的请求。

以下是训练后的效果：即便面对此前从未见过的未知物体，它也同样适用。简单说，这个分类器的核心逻辑就是：如果它发现自己对当前对象的判断把握度太低，就会主动向基础模型询问行动方向。

随后，这部分内容会被实际加入训练集中。为了真正避免灾难性遗忘，我们还基于该上下文采用了特定的基于语言的聚类方法，以便在训练集中纳入关键样本。

在训练过程中，小分类器逐渐学会适应特定环境，既能在本机高效运行，拿不准时又懂得向大模型请教，我觉得这一点很有意思。

今天早上我有些意外，会上做导航的人这么少。我仍然觉得导航很有意思，其中还有不少难题。概率机器人主要通过几何表示建模环境，再据此避开障碍。但我不觉得自己走路时会在脑子里解一个大矩阵，也不觉得自己拥有一张精确的度量地图。这个厅有多宽，我说不上来，却依然能稳稳走过去。所以我一直在想，能不能不依赖这些几何表示？它们曾经是助力，如今也可能成为束缚，阻碍我们走向 L5 级别的导航和操作。

我们做过一个叫FlowNav的尝试，不建地图，也不存储显式环境表示。实验发现，几何信息仍然需要保留一部分。FlowNav 主要解决泛化问题：面对陌生环境、不同机器人本体和相机，甚至多台机器人协同，都希望能够工作。它采用条件流匹配和深度先验，能够避开玻璃墙、玻璃门等视觉系统难以处理的障碍，也能应对动态障碍物。

但即便有深度先验，机器人有时仍会撞上障碍，因为这些先验不包含真实尺度。许多论文会手动将生成轨迹投射回真实世界，由作者自行选择缩放系数，系数不合适就会影响导航。为此，我们提出 MetricNet，在原有策略上增加一个能够预测真实尺度路径点的网络，经过调整后，导航表现明显改善。这是朝着无显式表示、不依赖 SLAM 的导航迈出的一步。我希望未来能逐渐摆脱这些刚性表示，让机器人在陌生环境中也能稳定工作。

还有一组有意思的工作，是用基础模型为机器人编程，完成比单一基本技能更复杂的任务。这很重要，因为机器人在中小企业的应用仍然受制于编程成本：每部署一个任务都要重新编程，面对小批量、多品种的生产场景，尤其需要灵活的编程方式。机器人学习或许能帮助这些平台更广泛地落地。

我们的做法是，先用带语言标签的玩耍数据训练开门等复杂基本技能，再让大语言模型充当编程助手，根据图像输入把这些技能组合成机器人可以执行的程序。有了场景上下文，机器人就能完成更抽象的任务，比如收拾桌面，具体执行哪些动作取决于桌面上的物品。

这里还有一个值得讨论的问题：把任务写成程序，让大语言模型充当编程助手，究竟是不是正确的方向？还是应该直接用视觉语言动作模型端到端完成任务？我希望这个社区未来能给出答案。

该抓哪儿：语义、触觉和力

会上有大量操作方面的论文。但我常思考另一个问题：机器人该怎样与世界里的物体打交道？比如，到底该抓哪个部位？

这事起于我拿 ChatGPT 玩。我问它抓面前的娃娃该抓哪？它说可以抓胳膊或脖子，总之别抓头。受此启发，我们开发了语义抓取系统（LAN-grasp）：把物体写进提示词，由视觉语言模型生成三维点云，结合抓取工具在语义分割区域内采样稳定的两指夹持点。

该系统不需要额外训练，就能对不同物体进行零样本抓取。比如它似乎能推断出插在烛台上的蜡烛不稳定。我认为基础模型的价值正在于此：能从真实物体中推断语义，有时甚至觉得它真的开始理解世界了。用户调研也显示，系统给出的抓取位置极接近人的选择。面对复杂物体，放置任务同样可以通过语言指令完成。

我想借此说明，具身智能不只是位置和图像。视频里看不到一个人操作时用了多大力，也摸不到东西的手感，这部分目前很缺失。有些视觉研究者认为仅靠视觉就能解决问题，但人并不会时刻盯着手行动，视觉计算也有成本和碰撞风险。相比之下，触觉可能更加重要。

因此，我们做了FlowTouch，尝试预测未见物体的触觉反馈。预测是规划的基础：抓取前知道会摸到什么，才能判断动作是否稳定。我们将真实数据、抓取点和仿真数据结合训练预测器，取得了不错的结果。

接着是力。当前研究过于集中在视觉和位置控制上，急需将触觉和力纳入学习。以 Wrench-ACT 为例，传统方法靠调整刚度管理接触力，但不同任务要求不同。我们尝试将位置输出改为力和力矩，并引入启发式规则衔接控制过程。使用主从遥操作数据训练后，多数任务性能明显提升，目前正与西门子探索工业应用。

再往下是策略改进。为提升视觉语言动作模型的表现，我们结合策略强化学习与行为克隆，微调效率优于 PPO 等基线。同时，为让策略更快适应新环境并减少对人工示范的依赖，我们尝试预测奖励信号来理解任务。人类演示时后续动作通常比前面更好，据此可构造成对优劣判断来学习奖励函数，为强化学习提供指导。

得弄明白模型到底在看什么

接下来说点近来的新闻，这是我眼下面对的要紧问题。过去几周读新闻时我有点被吓到，担心事情会往哪儿走。现在能看出一点苗头：社会未必会满意 AI 领域正在发生的这一切。它耗掉大量能源，有些公司让智能体放开跑，产出各种我们并不喜欢的东西。作为研究人员，我们该多放点注意力，不光要节制使用工具，更该去弄明白里面到底在发生什么。

我们最近的一项工作，就是想弄清这些模型学到了什么、工作时到底在意什么。对象是视觉语言导航模型：要找出哪些输入对它们的决策真正重要。

这类系统吃进去的不止一张图，通常是当前观测加上历史，再加一句语言指令。问题是，到底是什么在驱动这些导航决策，系统靠的是什么。

我们用常规办法去拆。视觉上，把图像里一块块区域模糊掉，看智能体在哪种情况下会改主意；文本上，把指令里的词元一个个去掉，看哪些词会影响导航。我们还加了一张人工标注的掩码，把人认为导航时该看的区域标出来。

结果让我吃了一惊：当前最好的模型，视觉注意力的热图跟人工标注的相关区域，重合度不到 70%。也就是说，它们在很大程度上盯着我们认为无关的地方。

结论是所有智能体都对视觉记忆的扰动敏感，这是好事，说明它们确实需要历史，只是程度不同。可它们对当前画面被模糊这件事又相当耐受，比我原本预想的稳得多。这更说明我们得把模型内部搞清楚，才能向社会解释清楚这些模型在做什么。

另一件我们看的是激活引导。有些模型能做所谓推理：不直接生成导航动作，而是先生成一句“我很困惑”，在多智能体设置下，这句话可能引出额外的推理，再回到重新规划。奇怪的是，在训练和部署里，这个智能体从来没生成过推理。我们就试了能不能强制它这么做，用向量引导去纠正，结果确实能让它生成推理、再去规划动作。这也可以当成纠正错误决策的一种手段。总的发现是：多模态有帮助，其中一些是可被引导的，它们并不总按人的方式行事。这一点多少让我有点担心。

基础设施，和把力量合起来

最后用三四分钟介绍一下基础设施。我们也在建设支撑未来机器人开发的工具。一套是大规模运行机器人控制的系统 Robot Control Stack，支持仿真与真机切换、遥操作、数据采集和策略评估，能够适配不同硬件，并配有相应仿真环境。脚本化运行、遥操作和数据采集，以及训练前后的各项设置，都可以在这套系统中完成。它还接入了去年发布的一套机器人仿真环境，我在这里特别提一句，向我的老朋友致意。明天是他的生日，别忘了向他道贺。

另一项是我们最近开发的新基准。它不只关注任务最终是否完成，也会记录机器人执行过程中的中间阶段，分析具体在哪一步失败。基准既能在仿真中运行，也支持真机测试，所需道具都可以三维打印，用户可以下载工位，在自己的机器人上复现多种任务。初步结果显示，失败主要集中在抓取和任务早期阶段，具体原因还需要进一步分析。