真机强化学习如何保证安全性？清华团队提出安全探索均衡机制|智能体|算法

近日清华大学于IEEE TPAMI发表论文，探讨了真机强化学习的安全性保障问题，提出了一套「安全探索均衡」新型机制，揭示了安全探索的理论最大边界，并攻克了其收敛性证明难题。该论文通讯作者为清华大学车辆学院、人工智能学院教授李升波；共同第一作者为清华大学博士生杨雨杰、郑志龙。

当下，具身智能正经历着爆发式的演进。强化学习是其背后的核心驱动算法。然而，想要让智能体真正走出虚拟仿真，在物理世界中落地应用，真机强化学习（Real-World RL）是绕不开的终极考验。

与在仿真器里无限次试错不同，真实世界没有「重来」的按钮。如果在物理环境中进行无限制的探索，极易导致机器损坏甚至人员伤亡。这就引出了真机强化学习中最核心的难题：安全探索（Safe Exploration）。

安全探索不仅要求最终学到的策略是安全的，更苛刻的是，它要求在整个训练过程中，所有的中间策略都必须严格安全，智能体与真实环境的每一次交互都不能突破约束边界。

论文连接：https://ieeexplore.ieee.org/document/11419867

步步为营：安全探索的基本思想

如何在充满未知的现实世界里做到百分之百的安全？现有的主流方法给出了一个直观的思路：将探索严格限制在一个「可行区域（Feasible Zone）」内。

这个可行区域，是由预先建立的「环境模型」推算得到的。由于真实世界十分复杂，最初始的环境模型往往存在误差（即不确定性）。但算法会对模型进行最坏情况的打算，得到的可行区域对模型误差具有鲁棒性。因此，只要待在这个区域内，真实环境下的绝对安全就能得到保证。

在这个逻辑下，智能体的学习过程就变成了一个「滚雪球」的良性循环：在现有的可行区域内收集交互数据用这些数据拟合环境模型并降低其误差依靠更精准的模型推算出更大的可行区域。

巨人的盲区：雪球会越滚越大，但终点在哪？

这一「边探索、边建模、边扩圈」的路径，吸引了众多国际顶尖学者的目光。

例如，瑞士工程科学院院士、ACM/IEEE Fellow Andreas Krause 教授团队提出了一系列利用李雅普诺夫函数表示可行区域、用高斯过程拟合环境模型的方法；美国工程院院士、IEEE/IFAC Fellow Claire Tomlin 教授团队则借助哈密顿 - 雅可比（HJ）可达性分析攻克可行区域的求解难题。

然而，沿着这条路线前行，前人却留下了一个极其关键却始终悬而未决的难题：这个不断扩圈的探索过程究竟会不会收敛？如果会，它最终会收敛到哪里？我们理论上究竟能探索到多大的极限区域？

这篇由清华大学李升波教授团队最新发表于 IEEE TPAMI 2026的论文，首次对这个问题给出了掷地有声的解答：这个过程必然会收敛，且收敛点被严格定义为安全探索的「均衡（Equilibrium）」。

拨云见日：何为「安全探索均衡」？

要理解这个概念，我们可以把可行区域和环境模型看作一对相互依存的双子星：更准确的模型能解锁更大的区域，而更大的区域能提供更多的数据，进而孕育出更准确的模型。

所谓「均衡」，就是这对双子星共舞的完美不动点：当探索到达这个点时，区域已经扩张到了极限，再也无法提供能进一步降低模型误差的新数据；同时模型也精准到了极限，再也无法支撑区域进一步拓展。

在这个不动点上，两者达到了完美平衡。它包含两个核心要素：

最大可行区域（Maximum Feasible Zone）：在当前模型认知下，智能体能拓展出的最广阔的安全地盘。
最小不确定模型（Least Uncertain Model）：在给定区域内，利用所有已知数据将误差降到理论最低的极限模型。

安全探索过程示意：模型精度逐步提升，可行区域逐步扩大，直至抵达均衡点

大道至简：两步交替的 SEE 算法

寻找这个均衡点听起来高深，但团队提出了一种极其直观的算法框架 —— 安全均衡探索（SEE, Safe Equilibrium Exploration）。

摒弃复杂的推导，SEE 的工作原理只需要两步交替迭代：

第一步（求区域）：固定当前的环境模型，通过求解风险贝尔曼方程（Risky Bellman Equation），精准算出它所能支撑的「最大可行区域」。
第二步（求模型）：固定刚找到的可行区域，把寻找「最小不确定模型」的问题转化为图论中的团判定问题（Clique Decision Problem），并在多项式时间内进行近似求解。

只需不断交替这两步，研究团队通过严密的数学理论证明了其优美的性质：在迭代过程中，模型误差会单调减小，可行区域会单调扩展，并且最终一定会收敛到那个完美的「安全探索均衡」点。

扎实的数值验证：收敛性与安全性的统一

这套理论在数值仿真中得到了扎实的验证。团队在三个经典的控制任务上对 SEE 算法进行了测试，包括：2D 线性双积分器调节、2D 非线性倒立摆平衡，以及 3D 非线性独轮车避障任务。