On Predictive Planning and Counterfactual Learning in Active Inference
论主动推理中的预测性规划与反事实学习
https://www.mdpi.com/1099-4300/26/6/484
摘要：
鉴于人工智能的快速发展，理解智能行为的基础正变得日益重要。主动推理，被视为一种通用行为理论，提供了一种原则性的方法来探究规划和决策中复杂性的基础。本文考察了主动推理中基于“规划”和“从经验中学习”的两种决策方案。此外，我们还引入了一种混合模型，该模型驾驭了这些策略之间的数据复杂性权衡，利用两者的优势来促进平衡的决策。我们在一个具有挑战性的网格世界场景中评估了我们提出的模型，该场景需要智能体具备适应性。此外，我们的模型提供了分析各种参数演变的机会，提供了有价值的见解，并有助于形成一个用于智能决策的可解释框架。
关键词： 主动推理；决策；数据复杂性权衡；混合模型
1. 引言
定义并从而将智能“智能体”与其具身的“环境”分离开来，随后环境向智能体提供反馈，这对于建模智能行为至关重要。 流行的方法，如强化学习（RL），大量采用这种包含智能体 - 环境循环的模型，这将问题归结为智能体试图在给定的不确定环境中最大化奖励 [1]。 主动推理作为神经科学中一种生物学上合理的框架出现 [2]，与其他当代方法如 RL 相比，它采用了一种不同的方法来建模智能行为。在主动推理框架中，智能体在其生命周期内积累并最大化模型证据，以进行感知、学习和决策 [3–5]。然而，当智能体遇到与其生成（世界）模型有关的高度“熵”观测（即意外观测）时，最大化模型证据变得具有挑战性 [3–5]。这个看似棘手的最小化遇到观测的熵（或最大化模型证据）的目标，可以通过最小化观测熵的一个上界来实现，称为变分自由能 [3,4]。鉴于这一通用基础，主动推理 [6] 在为给定问题定义生成模型结构方面提供了极好的灵活性，并且它在各个领域吸引了许多关注 [7,8]。 在这项工作中，我们通过结合“规划”和“从经验中学习”，开发了一种基于主动推理的高效决策方案。在下一节对生成世界模型进行一般性介绍之后，我们将更仔细地查看主动推理的决策方面。然后，我们总结了主动推理文献中的两种主导方法：第一种基于规划（第 2.3.1 节），第二种基于反事实学习（参见第 2.3.2 节）。我们比较了这两种现有主动推理方案的计算复杂性和数据效率（参见第 3.2 节），并提出了一种平衡这两种互补方案的混合模型（第 3.3 节）。我们提出的混合模型不仅在需要适应性的环境中表现良好（在第 3.5 节），而且还提供了关于使用模型参数进行决策可解释性的见解（在第 3.6 节）。
2. 方法
2.1. 主动推理中的智能体 - 环境循环
生成模型是在主动推理模型中建立智能体 - 环境循环的核心。假设智能体拥有一个外部世界的缩小模型，使智能体能够预测外部动态和未来观测。然后智能体可以使用其可用动作来追求未来结果，确保生存。在本文中，我们坚持使用基于部分观测马尔可夫决策过程（POMDP）的生成模型 [9]。POMDP 是马尔可夫决策过程（MDP）[10] 的一般情况，它是可控马尔可夫链，适于建模离散状态空间中的随机系统 [11]。在下一节中，我们提供基于 POMDP 的生成模型的具体细节。
2.2. 基于 POMDP 的生成模型
在主动推理中，智能体通过最小化变分自由能来教导生成模型了解外部状态并优化其决策。POMDP（部分可观测马尔可夫决策过程）是一个用于建模离散状态空间环境的通用框架，其中似然和状态转移被表示为易处理的分类分布 [12]。因此，我们采用 POMDP 作为我们要研究的智能体的生成模型。基于 POMDP 的生成模型在形式上被定义为一个有限集的元组 ( S , O , T , U , B , A , D , E )
，使得：
F 的变分提供了关于状态和参数的恰当后验期望。一些可选参数，取决于所使用的具体决策方案，包括：
这些参数用于对动作 u 的分布进行参数化，并且动作是通过变分自由能最小化来优化的。更多细节将在后续章节中解释。
2.3. 主动推理中的决策方案
主动推理下的决策被表述为最小化未来时间步的（期望）变分自由能 [15–17]。这使得智能体能够部署一种基于规划的决策方案，其中智能体预测可能的结果并做出决策，以达到最小化期望自由能（EFE）的状态和观测。传统上，主动推理优化策略——即时间上的动作序列——而不是像强化学习（RL）中的 Q-Learning [1] 等方法中的状态 - 动作映射，以选择最小化 EFE 的策略 [4]。然而，这样的表述限制智能体只能解决具有低维状态空间的环境 [4,13]。
随后对该框架进行了几项改进，包括最近的精密推理方案 [18]，它使用自由能的递归形式来减轻策略搜索的计算复杂性。精密推理方法使用时间上的前向树搜索来评估 EFE；然而，由于计算复杂性，它限制了智能体的规划深度 [18]。更创新的算法如动态规划可用于使规划线性化 [3,19]。提出的线性化规划方法在 [19] 中被称为期望自由能动态规划（DPEFE）。该 DPEFE 算法在类似于网格世界任务的环境 [13] 中，表现与基准强化学习方法如 Dyna-Q [20] 相当（参见第 2.3.1 节了解 DPEFE 方法的技术细节）。DPEFE 算法的一个泛化最近被提出为“归纳推理”，以模拟智能体中的“意向行为”[21]。
另一项最近的工作偏离了这种预测规划的经典方法，并采用“从经验中学习”来确定最优决策 [14]。该方案在数学上等价于一类特定的神经网络，伴随着一些突触可塑性的神经调节 [14,22]。它使用反事实学习（本文中的 CL 方法）来基于环境反馈随时间积累一种“风险”度量。随后使用体外神经网络实验验证该方案的工作最近也出现了 [23]。
以下总结了两种方案的关键算法细节：第 2.3.1 节中的 DPEFE 和第 2.3.2 节中的 CL 方案。两种方案都是基于常规 POMDP 提出的。
2.3.1. DPEFE 方案与动作精度
本文中的 DPEFE 方案基于 [13] 中的工作。该方案在论文 [19] 中被泛化到 POMDP 设置。使用的模型参数如第 2.2 节所示。DPEFE 方案中的动作 - 感知循环包括感知（即识别导致观测的状态）、规划、动作选择和学习模型参数。在本文中，所有环境都是完全可观测的，因为我们的重点是决策而不是感知，因此 O = S。
DPEFE 方案中的动作选择实现如下：在使用动态规划评估未来观测的期望自由能（EFE, G）后（参见 [19]），智能体评估选择动作 u 的概率分布为
这里， σ 是经典的 softmax 函数，使得具有较小 EFE 的动作以较大的概率被选中。动作精度参数 ( α ) 可以调整以增加/减少智能体的动作选择置信度。关于 EFE ( G ) 的评估和 DPEFE 算法的详细描述，我们参考文献 [19]（第 5 节）。
2.3.2. CL 方法与风险参数
不同于尝试直接最小化 EFE，在反事实学习（CL）方法中，智能体学习一个状态 - 动作映射 CL。这个状态 - 动作映射是通过一个更新方程学习的，该方程由如 [14] 中定义的“风险”项介导：
这里，是智能体接收到正的环境奖励的时刻。因此，智能体越快到达期望状态， Γ t
（即风险）收敛到零的速度就越快（关于生成模型和自由能的确切形式，我们参考文献 [22]）。
论文中定义的所有更新规则都可以从智能体尝试相对于生成模型最小化（变分）自由能（公式 (3)）这一公设推导出来 [14,19]。在本文的其余部分，我们调查了两种方案——即 DPEFE 和 CL 方法——的性能，并考虑了一种结合它们的方案。下一节探讨了这两种方案在给定环境中的表现。
3. 结果
我们现在在基准环境中测试两种决策方案（DPEFE 和 CL）的性能，例如来自 OpenAIGym [24] 的 Cart Pole-v1（图 1）。所有模拟都使用不同的随机种子进行 100 次或更多次试验，以确保结果的可复现性。
3.1. Cart Pole—v1（OpenAI Gym 任务）
在 Cart Pole—v1 环境 [25] 中，智能体通过侧向移动小车来保持杆子直立（在可接受范围内），从而获得奖励（图 1A）。当杆子或小车超出可接受范围时（杆子为 ±12 度，小车为 ±2.4 个单位帧大小；图 1B），回合终止。这个问题本质上是自发性的，不需要控制器进行规划，智能体必须对小车和杆子的当前状况做出反应。
然后，我们在一个突变设置中测试主动推理，其中环境突变为一个更具挑战性的版本，杆子和小车位置的可接受范围均减半（杆子为 ±6 度，小车为 ±1.2 个单位帧大小）。具有不同规划能力的主动推理智能体的性能总结在图 2A 中。
正如预期的那样，CL 方法智能体优于其他主动推理方案（因为该问题需要自发控制，倾向于状态 - 动作映射而非规划）。智能体迅速学习了必要的状态 - 动作映射，并且比其他基于规划的方案更有效地平衡了杆子。我们在第 100 回合环境发生突变后也观察到了这一点。CL 方法智能体在突变后的性能提升值得进一步调查；然而，这可以归因于突变后失败率增加导致的反馈频率增加。需要注意的是，我们在本文中并未声称相对于不同的强化学习智能体具有更好的性能。我们使用 Dyna-Q 智能体与突变任务中重点关注的主动推理智能体进行定性比较。
在图 2B 中，我们看到了风险项（Γ）的演变。随着智能体对环境了解更多，风险 Γ 稳定到小于 0.5 的值。有趣的是，如图 2B 所示，当面对环境突变时，正如预期的那样，Γ 出现了增加。在图 2B 中，我们观察到 CL 方法中的风险项（Γ）减少直到第 100 回合。值得注意的是，CL 方法智能体在图 2A 中的性能提升与风险的减少方式相同。在第 100 回合，我们在环境中引入突变，导致所有智能体的性能崩溃。我们观察到性能随时间恢复，CL 方法智能体中的风险项也是如此（图 2B）。我们还观察到风险项在下半段达到了甚至更低的范围，这与性能提升相关。这些观察结果突显了 CL 方法智能体中参数的可解释性。
接下来，我们在一个根本不同的环境中测试智能体——迷宫任务——这需要为未来进行规划。
3.2. 复杂迷宫任务与数据复杂性权衡
为了比较两个智能体在战略任务中的性能，我们在标准网格世界任务 [26] 中模拟性能，如图 3A 所示。该网格问题的最优解如图 3B 所示。这是一个复杂的网格世界，与过去文献中用于解决的网格世界任务 [4] 相比并非易事，因为如果采取随机动作而非长度为 47 的最优路线，智能体需要大约九千步才能到达目标状态。
性能评估是根据智能体多快能够完成一个回合（即到达目标状态的回合长度（越低越好））来进行的。显示 DPEFE 和 CL 智能体性能的模拟结果绘制在图 4A 中。这些结果表明，基于预测规划的 DPEFE 智能体可以快速学习（即在十个回合内）来导航这个网格。从图 4A 来看，DPEFE 智能体的性能似乎在回合长度为一千左右饱和，并且它从未学会最优路线。然而，在模拟中，DPEFE 智能体使用的动作精度是代入公式 (4) 的 α = 1
。对于更高的动作精度 ( σ )，智能体倾向于在更低的时间步长内导航，始终坚持最优动作。此外，我们观察到 CL 方法智能体需要更长的时间来学习最优路径。这个结果（图 4A）表明，CL 智能体需要在环境中有更多的经验（即更多的数据）来解决它。
在图 4B 中，我们比较了与决策规划相关的主要主动推理算法的计算复杂性。与其他流行的主动推理方案 [4,18] 相比，DPEFE 算法在计算上更为高效。请注意，该图还强调了 CL 方法没有与规划相关的计算复杂性。因此，很明显 CL 方法智能体比 DPEFE 智能体在计算上更便宜，因为没有规划组件。如图 4B 所示，DPEFE 智能体的计算复杂性与规划深度（规划的时间视界，T）相关。需要注意的是，图 4B 中的 y 轴是对数刻度。DPEFE 的计算复杂性仅与规划时间视界线性相关，而 CL 智能体没有规划复杂性，这两者在计算上都比其他主动推理算法更高效。此外，上述观察结果表明 DPEFE 和 CL 方案之间存在数据复杂性权衡。
这一认识促使我们转向一种混合模型，在此我们提议开发一种智能体，它能够根据智能体可用的资源来平衡这两种方案。从神经生物学的角度来看，这非常有意义，因为生物智能体不断地试图平衡用于学习和规划未来的资源与它们已经拥有的经验。这一想法也与强化学习中经典的探索-利用困境（exploration–exploitation dilemma）有关 [27]。
3.3. 整合两种决策方法
为了使智能体能够平衡其预测未来结果和利用先前经验的能力，我们在模型中引入了一个随经验演变的状态依赖偏差参数 ( β ( s , t ) ∈ [ 0 , 1 ]
)。这一增加的动机基于这样一个假设：智能体保持一种偏差感，用于量化其在过去那个特定状态下做决策经验的置信度。
当暴露于一个新环境时，智能体对 DPEFE（预测性规划，原文误作 DEEFE）和 CL 方案起始具有相等的偏差，由先验偏差参数 β prior = 0.5
表示。
给定这些分布，智能体现在可以使用它们的香农熵 ( H ( X )
) 来评估它们有多“有用”。这一度量是有益的，因为它代表了特定分布对于在那些状态下做出决策有多“确定”。也就是说，如果智能体对某个特定动作有信心，动作分布倾向于是一个有利于该自信动作的独热向量（one-hot vector）；因此，与具有最大熵的均匀分布（不偏向任何动作）相比，该分布的熵趋于零。因此，比较这一数量使得能够从不同方案的集合中选择最自信的策略。
基于这一观察，随着时间的推移，智能体可以使用这一熵度量来更新 β ( s , t ) 的值，如下所示：
描述所提出的基于 POMDP 的混合模型的“智能体-环境”循环的流程图如图 5 所示（关于混合模型中各种参数的详细描述，请参阅第 2.2、2.3.1 和 2.3.2 节）。
3.4. 从变分自由能推导混合模型的更新方程
公式 (8) 和 (9) 可以从 POMDP 生成模型下的变分自由能最小化推导出来。混合模型的变分自由能定义为
因此，混合模型的更新规则（公式 (8) 和 (9)）可以从变分自由能最小化中形式化推导出来。
3.5. 混合模型在突变迷宫环境中的性能
我们使用一个突变网格环境来测试基于混合模型的智能体的性能。这个突变网格方案如图 6 所示。智能体始于一个更易通行的网格版本，其最优路径为四步（图 6A）。在 300 个回合之后，环境突变为上一节所示的复杂网格版本（参见图 6B）。这种设置还使我们能够研究智能体对新的环境变化具有多大的适应性。
性能总结如图 7 所示。我们观察到，所有三个混合模型智能体（具有不同水平的规划能力）都在前十个回合内学会了导航简单网格（图 7A）。然而，当环境在第 300 回合突变为复杂网格时，智能体的学习表现类似于我们在单独导航该网格时观察到的情况（见图 7B，即具有 900 个状态的复杂网格）。直接比较图 4A 和图 7B 有助于我们观察到，混合模型智能体的速度既不像 DPEFE 智能体那样快，也不像 CL 智能体那样慢。混合模型智能体成功地平衡了这种数据复杂性权衡。
我们还观察到，与其他两个智能体相比，具有更高规划能力的智能体学习导航网格的速度更快且更自信。由于混合模型智能体也结合了 CL 方法，更高的规划视界并不总是能带来性能提升。事实上，在较低的规划视界下仍能保持相当的性能，这是所提出的混合模型的一个额外优势，这在并不总是需要进行大量规划的情况下非常有用。这一结果表明，所提出的混合模型使智能体能够在主动推理框架中平衡这两种决策方法。
3.6. 主动推理模型的可解释性
所提出的混合模型（以及基于 POMDP 的生成模型）的一个额外优势在于，我们可以探究模型参数，通过主动推理的视角 [28–30] 来理解智能体所展现出的智能行为的基础。那些依赖人工神经网络（ANNs）来扩展模型规模的模型 [31] 在解释智能体如何做出决策方面能力有限，尤其是在面对不确定性时。
在图 8A 中，我们可以探究并观察模型中风险（ Γ t
）的演变（这与 [14] 中定义的 CL 方法相关）。我们可以观察到，当呈现并解决简单网格时，模型的风险迅速趋于零；然而，当面对环境突变时，风险会急剧上升。
4. 讨论
本文彻底比较和对比了主动推理框架内两种不同的决策方案。通过评估每种方法的优缺点，我们在需要自发决策的任务（以 Cart Pole 任务为例）和战略决策任务（以导航迷宫任务为例）上测试了它们的有效性。这使我们能够评估一种整合了两种决策方案要素的混合方法。据假设，生物有机体的大脑利用类似的机制，根据上下文在多种策略之间切换 [32]。我们的模型在揭示大脑中高效决策的潜在机制、识别其神经元基础以及开发计算高效的仿生智能体方面具有重大前景。从这项工作中获得的见解有望增强用于控制任务的算法，尤其是在机器人技术和人工智能领域利用主动推理方案的兴趣日益增长的背景下 [33]。
未来的工作自然将涉及对行为表现如何依赖于模型内各种参数以及鲁棒性 [34,35] 的详细分析。扩展模型以在要求更高、更复杂的环境中有效运行将是关键的下一步。与结合人工神经网络的模型进行系统比较，正如 [31,36] 的研究结果所强调的那样，代表了进一步研究的一个有前景的途径。此类比较将有助于阐明不同建模方法的相对优势和劣势，并可能促使开发更稳健、更多样化的决策系统。
原文链接：https://www.mdpi.com/1099-4300/26/6/484
热门跟贴