PAC贝叶斯强化学习训练可泛化策略

PAC-Bayesian Reinforcement Learning Trains GeneralizablePolicies

https://hal.science/hal-05316798/file/2510.10544v1.pdf

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

摘要

我们推导了一种用于强化学习的新型PAC-贝叶斯泛化界,该界通过马尔可夫链的混合时间,显式地考虑了数据中的马尔可夫依赖性。这有助于克服强化学习中获取泛化保证所面临的挑战,因为数据的序列性质打破了经典泛化界所依赖的独立性假设。我们的界为诸如Soft Actor-Critic等现代离策略算法提供了非平凡的置信保证。我们通过PB-SAC展示了该界的实用性,这是一种在训练过程中优化该界以指导探索的新型算法。在连续控制任务上的实验表明,我们的方法在保持具有竞争力的性能的同时,提供了有意义的置信保证。

1 引言

在安全关键型应用和真实环境中部署强化学习(RL)算法,需要确信学习到的策略能够泛化到训练数据之外。近期的研究强调了为监督学习模型提供严格泛化保证的重要性(Pérez-Ortiz 等,2021)。在强化学习中,这一挑战尤为严峻,因为算法是从具有时间相关性的序列化轨迹中进行学习的,这打破了大多数经典泛化理论所依赖的独立同分布(i.i.d.)数据标准假设。由于强化学习轨迹表现出强烈的时间依赖性,即未来状态依赖于过去的动作和不断演化的策略,因此依赖于独立同分布假设的经典分析及其相关的紧致集中界,无法直接应用于该场景以提供有意义的泛化保证。面对这一挑战,PAC-贝叶斯框架(McAllester, 1999; Catoni, 2007; Germain 等, 2015; Guedj, 2019; Alquier, 2024)作为一种极具前景的解决方案脱颖而出:其维持假设分布而非单一模型的数学结构,可以通过适当的集中不等式进行扩展,从而处理时间依赖性。

已有多种方法试图放宽独立性条件,以允许数据存在依赖性。基于鞅的方法(Seldin 等,2011;2012)通过将数据(如值函数误差、贝尔曼残差)构造成鞅序列,将PAC-贝叶斯分析扩展到序列设定中,随后应用Azuma-Hoeffding(Azuma,1967)和Freedman(Freedman,1975)等鞅集中不等式。尽管这些方法在数学上十分优雅,但强化学习问题通常无法自然地产生鞅。相比之下,所有强化学习问题在设计上都具备马尔可夫结构,这表明专门为马尔可夫链量身定制的集中不等式能为该领域提供一种更自然、更合适的方法。

在这项工作中,我们提出了一种用于强化学习的新型PAC-贝叶斯泛化界,该界通过马尔可夫链的混合时间显式地考虑了马尔可夫依赖性。我们的关键技术贡献将负经验回报的有界差分条件与针对马尔可夫链的McDiarmid型集中不等式(Paulin,2018)相结合,得到了一个具有显式常数且尺度特性更优的界,从而避免了先前方法的平凡性(参见第2.4节)。我们通过引入PB-SAC证明了这一新界不仅仅是理论上的新奇事物,PB-SAC是一种Actor-Critic算法,它将此界作为实时的、可优化的性能保证投入实际应用。该算法定期计算PAC-贝叶斯界的数值,并通过后验采样利用该界来指导学习,从而将泛化保证从被动的分析工具转化为学习算法的主动组成部分。

因此,本文提出以下贡献。从理论角度来看,我们推导了一种用于强化学习的PAC-贝叶斯界,该界具有显式的混合时间依赖性,并且相对于先前工作,在现实轨迹长度和折扣因子下具有更优的尺度特性,代表了迈向非平凡保证的重要一步。在算法方面,我们引入了PB-SAC,这是首个在现代深度强化学习中将非平凡的PAC-贝叶斯界作为实时性能保证付诸实践的实际算法,其中包含了用于稳定优化的关键创新。在实验方面,我们证明了我们的界在连续控制任务中依然能提供有效信息,同时保持了与最先进方法相当的竞争力。我们的方法为现代强化学习算法中具有性能保证的问题建立了首个实用的PAC-贝叶斯框架,弥合了序列决策中学习理论与算法实践之间的鸿沟。

2 预备知识

为了完整性,我们简要回顾贯穿本文所依赖的强化学习和统计学习理论概念。此处的阐述有意保持简洁——其目的是固定符号并陈述支撑我们结果的学习理论原则。

2.1 强化学习

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

RL算法要么直接学习策略(策略梯度和Actor-Critic方法(Haarnoja等,2018;Konda & Tsitsiklis,1999;Sutton等,1999)),要么学习动作价值函数(基于价值的方法,如Q-learning及其深度变体Mnih等(2013))。无模型方法无需 P P 的显式模型,而基于模型的方法则利用或学习转移模型来进行规划。

2.2 可能近似正确(PAC)学习界

打开网易新闻 查看精彩图片

2.3 PAC-贝叶斯界

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

2.4 强化学习中先前的PAC-贝叶斯界

将PAC-贝叶斯理论应用于强化学习的早期尝试,特别是 Fard & Pineau(2010)以及 Fard 等(2012)的工作,确立了该框架在批量设定中用于模型选择的可行性。然而,他们的界在折扣因子方面的缩放特性较差,导致对于现代强化学习中典型的具有长有效视界的问题,它们在数值上是平凡的(Tasdighi 等,2025)。当代的方法已经将PAC-贝叶斯概念重新用于其他算法目标。近期的研究利用该框架推导了深度探索的训练目标(Tasdighi 等,2025)或作为终身学习的正则化项(Zhang 等,2024)。虽然这些工作展示了PAC-贝叶斯形式化在算法设计中的多功能性,但它们回避了为现代深度强化学习智能体提供紧致、可计算的性能保证这一最初目标。这揭示了一个根本性的差距:尽管PAC-贝叶斯理论在具有性能保证的强化学习方面具有前景,但现有的方法要么产生平凡的界,要么将该框架重新用于不同的目标。据我们所知,迄今为止,还没有任何实际算法在现代强化学习框架中利用非平凡的PAC-贝叶斯界作为实时的性能保证。

3 一种用于强化学习的新型PAC-贝叶斯泛化界

我们现在提出我们的主要理论贡献:一种用于强化学习的新型PAC-贝叶斯泛化界,该界通过底层马尔可夫链的混合时间显式地解释了时间依赖性。

3.1 问题设定

如前所述,我们的目标是为在马尔可夫决策过程(MDP)中运行的策略建立一个高概率的PAC-贝叶斯值误差界,此时训练数据是依赖轨迹——可能是在离策略(off-policy)算法下收集的。在本节中,我们首先固定符号,然后展示主要结果;所有证明均推迟到附录B中。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

3.2 主要结果

上面定义的有界差分性质正是允许我们对依赖数据应用集中不等式的原因。具体而言,我们利用了Paulin(2018)将McDiarmid不等式扩展到马尔可夫链的成果,该成果为在马尔可夫序列上满足有界差分的函数提供了集中性。关键的洞察是,尽管转移在时间上是依赖的,但具有显式常数的有界差分条件使我们能够控制扰动如何通过依赖结构传播。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

3.3 关键改进与讨论

打开网易新闻 查看精彩图片

此外,将McDiarmid型不等式应用于强化学习需要证明负经验回报满足具有显式、易处理常数的有界差分条件(引理3.1)。这需要仔细分析单个转移处的扰动如何通过序列结构传播以影响未来的状态和奖励。我们的转移级别分析通过量化通过马尔可夫依赖结构传播的误差,直接解决了这一挑战。证明见附录B.4。

实际的可处理性与鲁棒性。 该界需要估计,这带来了计算和鲁棒性方面的考量。我们使用奖励信号的自相关衰减来估计混合时间,因为可以从流式轨迹中计算出来,而无需存储完整的访问计数。使用谱方法的替代方法可以提供更好的估计,从而得到更紧的界,但需要足够的状态-动作覆盖范围来构建可靠的经验转移矩阵,这在状态空间是连续的情况下是不可行的。

我们的估计方法在特定方向上对误差具有鲁棒性:如果我们高估了,我们的界仍然有效但会变得宽松,这在实践中是无害的。然而,低估可能会带来问题,因为它会导致过度自信。为了缓解这个问题,可以从多个来源(例如,状态特征、价值估计)计算自相关,以交叉验证混合时间估计。在实践中,我们出于谨慎,使用保守的初始估计并与最新的自相关估计取最大值,以牺牲一些紧致性来换取可靠性。

4 PB-SAC:一种用于PAC-贝叶斯强化学习的实用算法

将理论上的PAC-贝叶斯界转化为实用的学习算法,需要解决在深度强化学习中维护策略参数后验分布的挑战。我们的算法,PAC-贝叶斯Soft Actor-Critic(PB-SAC),建立在SAC的基础之上,同时集成了PAC-贝叶斯界和后验引导的探索(伪代码和说明图见附录D)。

打开网易新闻 查看精彩图片

4.1 后验引导的探索

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

这种分解使得稳定的交替优化成为可能:我们针对固定的 κ κ 优化后验参数,然后针对固定的后验参数优化 κ κ,在保持我们PAC-贝叶斯界的理论保证的同时确保收敛。

4.3 策略级别的 REINFORCE 技巧

打开网易新闻 查看精彩图片

4.4 自适应采样课程 我们最关键的创新解决了“后验同步冲击”问题:当后验均值在PAC-贝叶斯更新后发生显著偏移时,critic(评论家网络)与新的策略分布变得不一致,产生了一个破坏稳定的反馈循环,其中不准确的价值估计产生误导性的梯度,通过梯度爆炸和学习不稳定性进一步破坏训练。

PB-SAC通过自适应采样课程解决了这个问题:在PAC-贝叶斯更新之后,我们立即冻结actor(演员网络)并采用高频率的后验采样(512个样本),让critic暴露于完整的后验分布以进行重新校准,然后以最小采样(1个样本,即后验均值)恢复高效学习,在不牺牲稳定性的情况下实现计算效率。

5 实验

我们现在转向在具有代表性的连续控制任务上进行经验验证,以证明我们的PAC-贝叶斯框架在保持具有竞争力的学习性能的同时实现了这一承诺。

5.1 实验设计

我们在四个MuJoCo连续控制环境(Towers 等,2024;Tassa 等,2018)上评估PB-SAC,这些环境跨越了不同的复杂度级别:HalfCheetah、Ant、Hopper和Walker2d(见附录E)。我们的评估跟踪两个关键指标:PAC-贝叶斯保证的演变(图1,右)和相对于基线的学习性能(图1,左)。

打开网易新闻 查看精彩图片

我们每20,000步运行一次带有PAC-贝叶斯更新的PB-SAC,采用我们的自适应采样课程(在critic适应期间使用512个后验样本,在常规训练期间仅使用后验均值)。我们使用相同的网络架构与原版SAC进行比较,并包括PBAC Tasdighi 等(2025),一种PAC-贝叶斯深度探索方法,尽管其主要优势体现在稀疏奖励设定中。表1总结了所有超参数。

打开网易新闻 查看精彩图片

5.2 性能保证的收紧 图1b揭示了我们结果中最引人注目的方面:PAC-贝叶斯界在整个训练过程中一致地收紧,跟踪学习策略的改进。在HalfCheetah中,界在100k步内变得具有信息量,并随着性能的提高继续收紧,表明我们的保证提供了真正的置信度估计,而不是空洞的保证,且不妨碍学习。Hopper表现出类似的界演变,尽管收敛较慢,反映了其增加的复杂性。特别值得注意的是界在性能波动期间的行为:它们在方差高的时期适当地变宽,而在性能稳定时收紧(例如,HalfCheetah在100k和200k步之间)。这种稳定性源于我们衰减的移动平均先验更新,它防止了早期阶段的KL爆炸;没有这种机制,KL爆炸会将后验拉回先验而不是允许改进,从而阻碍学习。

Ant由于其3D动态和大的状态空间,提出了最具挑战性的测试案例。即使在这里,我们的界在整个训练过程中仍然有意义,在改进期间收紧(在500k步内),并在临时性能下降期间提供保守的估计(在800k和900k步之间)。这些界捕捉到了我们理论预测的定性行为:混合较慢的环境产生更渐进的保证改进。

5.3 跨环境的经验验证

图1a中的学习曲线解决了一个关于PAC-贝叶斯强化学习的根本性担忧:理论保证是否必然以牺牲性能为代价。我们的结果表明,在所有测试环境中,PB-SAC的样本效率均达到或超过了SAC。在HalfCheetah和Hopper环境中,PB-SAC的表现均优于SAC和PBAC。这验证了我们的架构选择,特别是策略-后验同步机制,该机制确保了大部分学习过程遵循经过验证的SAC动态。周期性的PAC-贝叶斯更新起到了优化而非破坏的作用,这得益于自适应采样课程(adaptive sampling curriculum)的引导,该课程有效防止了critic(评论家网络)的失稳。

在Ant环境中,PBAC在初期表现优于这两种方法,这得益于其兼顾多样性、连贯性和传播性的多目标设计,这种设计在奖励信号信息量较少时尤为有益。然而,过度的探索最终适得其反,导致在训练后期出现性能下降。PB-SAC在约50万步时以略快的收敛速度达到了基线水平,尽管在训练末期表现略微落后。尽管PB-SAC并非专为深度探索而设计,但它在提供理论保证的同时,始终能够保持与基线相当的性能。

原文链接: https://hal.science/hal-05316798/file/2510.10544v1.pdf