Inferring neural activity before plasticity as a foundation for learning beyond backpropagation

超越反向传播：以神经可塑前活动推理为学习新范式的基础

https://www.nature.com/articles/s41593-023-01514-1

对于人类和机器而言，学习的本质在于识别其信息处理流程中哪些组成部分对输出中的错误负有责任，这一挑战被称为“信用分配”（credit assignment）。长期以来，人们一直认为信用分配的最佳解决方案是反向传播（backpropagation），这也是现代机器学习的基础。在这里，我们提出了一种关于信用分配的全新原理，称为“前瞻性配置”（prospective configuration）。在前瞻性配置中，网络首先推理出学习后应产生的神经活动模式，然后调整突触权重以巩固神经活动的变化。我们证明了这一与反向传播截然不同的机制：（1）是皮层回路中一个被广泛认可的模型家族中学习的基础；（2）在许多生物有机体所面临的环境中，能够实现更高效、更有效的学习；（3）能够复现人类和大鼠在多种学习实验中观察到的令人意外的神经活动和行为模式。

信用分配问题1处于学习的核心位置。反向传播2作为一种简单而有效的信用分配理论，自提出以来推动了人工智能领域的显著进展3–5，并在理解大脑学习机制方面也占据了主导地位1,6–8。由于这一成功，许多近期的研究都集中在探讨生物神经网络如何以类似于反向传播的方式进行学习9–12；尽管许多提出的模型并未精确实现反向传播，但它们仍然试图逼近反向传播机制，并强调这种逼近的程度9,11,13,14。然而，大脑中的学习在许多关键方面优于反向传播。例如，与大脑相比，反向传播需要对刺激进行更多次的暴露才能完成学习15，而且在新旧信息存储方面存在灾难性的干扰问题16。这引发了一个问题：使用反向传播来理解大脑中的学习是否应继续成为该领域的主要研究重点。

在此，我们提出，大脑实际上采用了一种根本不同的信用分配原则，我们称之为“前瞻性配置”（prospective configuration）。在前瞻性配置中，在突触权重被修改之前，整个网络中的神经活动会发生变化，使得输出神经元能够更好地预测目标输出；只有在这之后，突触权重（以下简称“权重”）才会被修改，以巩固这一神经活动的变化。相比之下，在反向传播中，顺序是相反的：权重的修改起主导作用，而神经活动的变化是随之产生的结果。

我们将“前瞻性配置”识别为一个具有坚实生物学基础、已被广泛认可的神经网络模型家族——即基于能量的网络——所隐含遵循的一种原则。

这些网络包括 Hopfield 网络17和预测编码网络18，它们已被成功用于描述大脑皮层的信息处理过程19。为了支持前瞻性配置这一理论，我们表明它既能产生人类和动物所具备的高效学习能力，又能复现来自人类和动物学习实验的数据。因此，一方面，我们展示了前瞻性配置在生物系统所面临的多种情境下（例如：深层结构的学习、在线学习、训练样本有限的学习、变化环境中的学习、多任务持续学习以及强化学习）比反向传播具有更高效、更有效的学习表现。另一方面，我们还展示了在各种人类和动物学习实验中观察到的神经活动和行为模式——包括感觉运动学习、恐惧条件反射和强化学习——可以被前瞻性配置自然地解释，而反向传播则无法做到这一点。

受“反向传播是生物学习基础”这一信念的引导，先前的研究表明能量型网络可以很好地逼近反向传播。然而，为了实现这种逼近，这些网络被以一种不自然的方式构建，即通过限制监督信号为无限小（例如，在平衡传播11和以往使用预测编码网络的研究12,20中），或使其作用时间无限短14,21，从而防止权重修改之前神经活动发生显著变化。相比之下，我们发现，没有这些不现实约束条件的能量型网络遵循的是一种与反向传播截然不同的原则——即前瞻性配置，并且在学习效率和对生物学习数据的解释能力方面都更为优越。

在这里，我们通过一个直观的例子引入前瞻性配置，展示了它如何源于能量型网络，并描述了其优势，并在一系列与生物学习密切相关的学习任务中对其进行了量化分析。我们展示了前瞻性配置能够自然地解释各种学习实验中观察到的神经活动和行为模式。

结果

前瞻性配置：一个直观的例子

为了最优地规划行为，大脑能够预测未来刺激是非常关键的，例如，基于一种感觉模态来预测另一种模态中的感知结果22。如果实际观察到的结果与预测不符，整个网络中的权重就需要更新，以便“输出”神经元的预测得到修正。反向传播计算出应如何修改权重以最小化输出上的误差，而这种权重更新会导致网络下次进行预测时神经活动发生变化。相比之下，我们提出，神经活动首先被调整到一个新的状态，使得输出神经元能更好地预测观察到的结果（目标模式）；随后，权重被修改以巩固这一神经活动状态。我们将这种神经活动状态称为“前瞻性”，因为它是网络为了正确预测观察结果而应当产生的神经活动。

与前瞻性配置机制一致的是，生物神经元中确实广泛观察到：预测结果的呈现会引发神经活动的变化。例如，在要求动物预测果汁递送的实验任务中，奖励不仅会迅速改变味觉皮层的活动，还会迅速改变多个皮层区域的神经活动23,24。

为了突出反向传播与前瞻性配置之间的差异，我们可以考虑一个简单的例子（图1a）。想象一只熊看到一条河。在熊的脑海中，视觉引发了听觉（听到水流声）和嗅觉（闻到鲑鱼气味）的预测。那天，熊确实闻到了鲑鱼的气味，但没有听到水声，可能是由于耳朵受伤。因此，熊需要改变与声音相关的预期。反向传播（图1b）会通过反向传播负误差来减少视觉神经元与听觉神经元之间的连接权重。然而，这也意味着视觉与嗅觉神经元之间的权重也会减少，从而破坏下次看到河流时对鲑鱼气味的预期，尽管这次嗅觉预测是正确且准确的。

这种使用反向传播学习时的不期望且不现实的副作用，与“灾难性干扰”现象密切相关，即学习新的关联会破坏之前已学到的记忆16。这个例子表明，使用反向传播时，即使学习一个关联的新方面，也可能干扰该关联其他方面的记忆。

相比之下，前瞻性配置假设学习始于神经元被配置到一个新状态，这种状态对应于一种使网络能正确预测观察结果的模式。随后，权重被修改以巩固这一状态。这种行为可以“预见”潜在权重修改的副作用，并动态地加以补偿（图1c）。为了纠正输出上的负误差，隐藏神经元会稳定在一个活动更低的前瞻性状态，结果揭示出一个正误差，并将其分配给正确的输出。因此，前瞻性配置会增加连接到正确输出的权重，而反向传播则不会（图1b,c）。因此，前瞻性配置能够有效地、高效地纠正学习关联时的副作用，且干扰更小。

前瞻性配置的起源：基于能量的网络

为了说明前瞻性配置如何自然地出现在基于能量的网络中，我们引入了一个物理机器类比，以提供对基于能量的网络及其产生前瞻性配置机制的直观理解。

基于能量的网络已被广泛且成功地用于描述生物神经系统17,25。在这些模型中，神经回路由一个动力系统描述，其驱动力是降低一个抽象的“能量”，例如反映神经元所犯错误的函数（见方法部分）。神经活动和权重的变化是为了降低这个能量，因此可以被视为动力系统的“可移动部件”。我们展示了基于能量的网络在数学上等价于一种物理机器（我们称之为“能量机器”），其中能量函数具有直观解释，其动力学过程也十分清晰：能量机器只需调整其可移动部件以降低能量。

能量机器包括通过杆和弹簧相互连接、可在垂直杆上滑动的节点（图2a,b）。将基于能量的网络映射到能量机器中，神经活动对应于实心节点的垂直位置，连接对应于一根杆（蓝色箭头），从一个节点指向另一个节点（权重决定了杆末端位置与初始位置之间的关系），能量函数则对应于两端连接节点的弹簧的弹性势能（弹簧的自然长度为0）。不同的能量函数和网络结构导致不同的基于能量的网络，对应于不同节点、杆和弹簧组合的能量机器。在图2中，我们展示了预测编码网络的能量机器12,18，因为它们最容易理解，并且已被证实与反向传播密切相关12,14。

基于能量的网络的动力学过程由最小化能量函数驱动，对应于能量机器通过减少弹簧上的总弹性势能而“松弛”的过程。基于能量的网络进行预测时，输入神经元被固定在给定的刺激上，并更新其他神经元的活动，这相当于固定能量机器的一侧，并让其通过节点移动而松弛（图2a）。基于能量的网络进行学习时，输入和输出神经元被固定在相应的刺激上，首先让其余神经元的活动收敛，然后更新权重，这相当于固定能量机器的两侧，先通过移动节点让其松弛，然后再调整杆（图2b）。

能量机器揭示了基于能量的网络的本质；在修改权重之前进行的松弛过程，使网络稳定到一个新的神经活动状态，这种状态对应于权重修改后误差被纠正时本应出现的神经活动，即前瞻性活动（因此我们将这一机制称为前瞻性配置）。例如，在图2b中，第二层的“神经元”增加了其活动水平，而这种活动的增加也会由随后的权重修改（即第一和第二神经元之间的连接）所引起。简而言之，在基于能量的网络中，松弛过程推理出学习后应有的前瞻性神经活动，随后权重被调整以朝向这一活动状态进行巩固。这使其区别于反向传播：在反向传播中，权重的修改起主导作用，而神经活动的变化是其后续结果。

图2c的底部展示了预测编码网络12,18的连接结构，其动力学过程在数学上等价于其上方所示的能量机器。预测编码网络包括对应于垂直杆上节点的神经元（蓝色），以及单独用于编码预测误差的神经元（红色），对应于弹簧。有关详细信息，请参见“方法”部分和补充图1，在那里我们列出了描述预测编码网络的方程，并展示了它们如何映射到神经实现和所提出的能量机器。

利用能量机器，图2d模拟了图1中的学习问题。在这里我们可以看到，前瞻性配置确实通过松弛过程预见了学习的结果及其副作用。因此，它可以在一次迭代内就纠正这些副作用，而反向传播则需要多次迭代才能完成。

前瞻性配置的优势：减少干扰与更快学习

在这里，我们对上述情境中的干扰进行量化，并展示干扰减少如何转化为性能上的优势。在正文的所有模拟中，前瞻性配置是在预测编码网络中实现的（其他基于能量的模型见补充说明第2.1节）。我们还将预测编码网络的表现与使用反向传播训练的人工神经网络（ANNs）进行比较，因为它们之间具有高度相关性，这使得比较具有公平性。具体而言，尽管预测编码网络包含递归连接，但如果设置相应的权重值，它们在给定输入（输入被固定但输出未被固定；见图2a）下产生的预测与标准前馈人工神经网络相同12,14。因此，损失函数在这两种模型中是权重的相同函数，因此在预测编码网络中直接使用梯度下降最小化损失（这不是它们的自然训练方式）将产生与人工神经网络中反向传播相同的权重更新。因此，比较预测编码网络与反向传播可以分离出学习算法（前瞻性配置 vs. 反向传播中的直接最小化损失）的影响。

在图3a中，我们比较了在图1所示例子中，反向传播与前瞻性配置下输出神经元的活动。最初两个输出神经元都是活跃的（右上角），输出应向其中一个神经元失活的目标状态变化（红色向量）。使用前瞻性配置进行学习所导致的输出变化（紫色实线向量）比反向传播所导致的变化（紫色虚线向量）更接近目标方向。

在第一次权重更新之后，我们模拟了多个迭代，直到网络能够正确预测目标。这里的“迭代”指的是智能体每次接收到刺激并因该刺激进行一次权重更新。虽然反向传播的输出在多次迭代后可以达到目标，但在学习过程中，“正确神经元”的输出会先偏离目标，然后再回归目标；这在生物学习中是一个特别不希望出现的现象，因为在生物系统中，网络可能在学习过程中的任何时刻被“测试”，这可能导致错误决策，影响生存机会。相比之下，前瞻性配置显著减少了这种效应。

尽管反向传播通过在权重空间中直接减小代价函数来修改权重（即执行梯度下降），但出人意料且颇具讽刺意味的是，它并没有将输出活动直接推向目标方向。为了说明这一点，图3a用等高线可视化了代价函数。根据代价函数的梯度来改变输出神经元的活动，应当对应于垂直于等高线方向的变化，即红色箭头所示方向。然而，反向传播改变输出的方向是由虚线箭头所示的另一个方向。独立优化权重，而不考虑其他权重更新的影响，会导致不同层权重更新之间的相互干扰，从而使得输出活动不能直接朝向目标更新。相比之下，前瞻性配置通过首先找到期望的神经活动状态，考虑了其他权重更新所带来的影响。这种机制在反向传播中并不存在，但在基于能量的网络中是自然发生的。补充图2展示了这两个模型在学习过程中在权重空间和输出空间中演化的直接比较。

干扰可以通过目标方向（从当前输出指向目标）与学习方向（从当前输出指向学习后的输出，两者均在未提供目标的情况下测量）之间的夹角来量化，我们将“目标对齐度”定义为该夹角的余弦值（图3b）；因此，高干扰对应于低目标对齐度（图3c）。

值得注意的是，目标对齐度受学习率的影响很小（图3d），这表明学习率对输出神经元变化的方向和轨迹影响不大。图3a中展示的目标对齐度差异也出现在更深、更大（随机生成）的网络中（图3e）。当网络没有隐藏层时，目标对齐度等于1（补充说明，第2.4.1节）。随着网络变深，反向传播的目标对齐度下降，这是因为某一层权重的变化会干扰其他层的变化（图1），并且反向传播的误差并未导致隐藏层权重的适当修改（补充图2）。由于反向传播沿着减小损失函数的方向修改权重，它在小学习率下具有正的目标对齐度，但不一定接近1。相比之下，前瞻性配置在整个过程中保持了更高的目标对齐度。

前瞻性配置更高的目标对齐度可以从理论上解释如下：（1）前瞻性配置与一种称为“目标传播”（target propagation）的算法之间存在紧密联系（见补充图3和补充说明第2.2节）；（2）在某些条件下，目标传播的目标对齐度为1（参考文献27；见补充图4和补充说明第2.4.2节）。因此，与目标传播之间的联系为前瞻性配置具有更高目标对齐度提供了理论依据（并得到了数值验证）。

更高的目标对齐度直接转化为学习效率的提升。在一项使用15层深度神经网络进行视觉分类任务的训练中，前瞻性配置比反向传播更快地降低了测试误差（图3f）。

在本文所呈现的所有数据中，如果图中未标明学习率，则该图对应的是在该实验设置下通过网格搜索为每种学习规则独立优化的最佳学习率。优化目标是学习表现或与实验数据的相似性（每个实验的方法中提供了详细信息）。例如，图3f显示的是训练过程中测试误差随训练进展的变化，其中每种学习规则都使用了各自优化后的最佳学习率。优化目标是训练期间的“测试误差均值”，反映了测试误差在训练过程中的下降速度。图3g绘制了两种学习规则在不同学习率下的平均测试误差，并且图3f中使用的正是曲线最小值所对应的学习率。图3h在不同深度的网络上重复了该实验，并展示了训练期间平均测试误差随网络深度变化的趋势。平均误差在较浅网络中更高，因为这些网络无法完成任务；而在更深层网络中也更高，因为训练更深层网络需要更长时间。重要的是，反向传播和前瞻性配置之间的差距随着网络变深而扩大，这与目标对齐度的差异趋势一致。对于已知具有深层结构的生物神经系统（例如灵长类动物的视觉皮层28）来说，深层网络的高效训练具有重要意义。

在补充说明第2.3节中，我们发展了前瞻性配置的形式化理论，并进一步展示了其优势的说明与分析。补充图5正式定义了前瞻性配置，并演示了它确实普遍存在于不同的基于能量的网络中。补充图6和图7分别从经验上验证并推广了理论所预期的优势，表明前瞻性配置能实现更精确的误差分配和更稳定的权重修改。

前瞻性配置的优势：在生物相关情境中的有效学习

受这些优势的启发，我们通过实证研究表明，前瞻性配置确实比反向传播更能处理生物系统在实际中可能面临的各种学习问题。由于机器学习领域已经发展出有效的基准测试方法来评估学习表现，我们采用了与自然环境中学习具有关键相似特征的经典机器学习问题的变体。这些问题包括：

  • 在线学习（online learning）：权重必须在每次经验之后立即更新（而不是在一批训练样本之后）29；
  • 持续学习（continual learning）：多个任务依次进行学习30；
  • 变化环境中的学习31；
  • 有限训练样本下的学习

  • 以及强化学习4。

在上述所有学习问题中，前瞻性配置都表现出明显优于反向传播的性能。

首先，基于图1中的例子，我们可以预期前瞻性配置比反向传播需要更少的学习回合（episodes）来完成学习。在展示比较结果之前，我们先描述反向传播是如何用于训练人工神经网络的。通常，权重只在一批训练样本之后进行更新，更新量是基于每个样本所导出的更新值的平均（图4a）。事实上，反向传播高度依赖于对多个经验的平均，以达到人类水平的表现32，因为这种方式有助于稳定训练33。相比之下，生物系统必须在每次经验之后立即更新权重，我们在这种设定下比较了学习表现。采样效率可以通过训练期间的测试误差均值来量化，图4b展示了该指标随批量大小（即更新所基于的经验数量）的变化情况。对于反向传播来说，效率强烈依赖于批量大小，因为它需要批量训练来平均掉不稳定的权重更新；而前瞻性配置的权重变化本身更稳定，因此对批量平均的依赖更弱（见补充图7）。重要的是，前瞻性配置在较小批量大小下（如生物系统中常见的情况）能更快地学习。此外，最终性能可以通过测试误差的最小值来衡量，当批量大小为1时，如图4c所示，前瞻性配置也展现出明显优于反向传播的表现。

其次，生物系统需要能够顺序学习多个任务，而人工神经网络则会出现“灾难性遗忘”现象。当训练一个新的任务时，之前任务的性能会大幅下降16,34。图4d中的数据显示了在两个任务交替训练时的表现（任务1是对FashionMNIST数据集中随机选择的5个类别的分类，任务2是对剩余5个类别的分类）。前瞻性配置在避免遗忘旧任务和重新学习当前任务方面都优于反向传播。结果总结于图4e。

第三，生物系统常常需要快速适应不断变化的环境。模拟这种能力的一个常见方式是“概念漂移”（concept drifting），即每隔一定数量的训练迭代后，输出神经元与语义含义之间的映射关系会被部分打乱（图4f）。图4f展示了在概念漂移条件下的训练测试误差。在第0轮之前，两种学习规则都使用相同的预训练模型（通过反向传播训练）初始化；因此，第0轮是模型首次经历概念漂移。结果总结于图4g，显示对于该任务，平均误差存在显著差异（在最佳学习率下）。前瞻性配置在这一任务中表现出的巨大优势，与其能够最优地识别需要修改的权重（见补充图6）、并在适应变化的同时保留已有知识的能力有关（见图1）。在自然环境中，能够在更新部分信息的同时保持重要信息不变，是生存的关键，而前瞻性配置在这一点上具有非常显著的优势。

此外，生物学习的另一个特征是数据量有限。当训练样本较少时，前瞻性配置也优于反向传播（图4h）。

为了证明前瞻性配置的优势也能扩展到更大规模的网络和任务上，我们评估了在CIFAR-10数据集36上使用两种学习规则训练的卷积神经网络35的表现（图4i），其中前瞻性配置也展现出明显优于反向传播的性能。卷积网络的具体结构见图4j。

生物系统面临的另一个关键挑战是如何决定采取何种行动。强化学习理论（例如Q学习）提出，这个问题可以通过学习在不同情境下采取不同行动所能带来的预期奖励来解决37。神经网络可以用于预测这些奖励，并可以使用前瞻性配置或反向传播进行训练。图4k报告了在三个经典的强化学习任务中每回合获得的奖励总和，其中前瞻性配置再次显示出明显优于反向传播的表现。这一巨大优势可能源于强化学习对网络权重的不稳定变化特别敏感（因为目标输出依赖于网络本身对新状态的奖励预测；见方法部分）。

基于前瞻性配置在学习表现上的优越性，我们可以推测，这种学习机制可能是进化所偏好的；因此，在接下来的部分中，我们将探讨它是否比反向传播更能解释学习过程中的神经活动和行为表现。

前瞻性配置的证据：在学习过程中推理潜在状态

前瞻性配置与一些理论相关，这些理论提出在学习之前，大脑会首先从反馈中推理出环境的潜在状态38–40。在这里，我们提出这种推理可以通过前瞻性配置在神经回路中实现：在接受反馈之后，“隐藏层”中的神经元会收敛到一种前瞻性的活动模式，这种模式编码了该潜在状态。我们展示了来自多个先前研究的数据——这些研究涉及对潜在状态的推理——都可以通过前瞻性配置来解释。这些数据此前是由一些复杂而抽象的机制解释的，例如贝叶斯模型38,39，而在这里，我们通过前瞻性配置从机制层面展示了，仅编码任务基本要素的最小网络就可以如何执行此类推理。

从反馈中动态地推理潜在状态，这一过程最近被提出发生在感觉运动学习过程中39。在该实验中，参与者在不同的情境下接受了不同的运动干扰，并学会了补偿这些干扰。行为数据表明，在接收到反馈后，参与者首先利用反馈来推理情境，然后针对所推理出的情境调整施加的力。我们展示了前瞻性配置能够复现这些行为数据，而反向传播则不能。

具体来说，在这项任务中（图5a），参与者被要求将一根棍子从起点移动到目标点，同时受到干扰。参与者经历了一系列不同阶段的试验块（图5c–e），包括训练、消退和测试阶段。在训练阶段，不同的干扰方向（正向（+）或负向（–））分别出现在两种不同的情境中，即蓝色（B）或红色（R）背景。我们将这些试验标记为 B+ 和 R–。这些试验可能与某些潜在状态相关联，我们将其标记为 [B] 和 [R]；例如，潜在状态 [B] 可能同时与背景 B 和干扰 + 相关联。

任务的下一阶段旨在研究：即使没有显示背景 B，干扰 + 是否也能激活潜在状态 [B]。因此，参与者经历了包括 R+（即干扰 +，但无背景 B）在内的不同试验。具体来说，在一次消退阶段（在此阶段没有干扰）之后，在测试阶段，参与者经历了四种可能的测试试验之一：B+、R+、B– 和 R–。为了评估测试试验中的学习效果，在两次蓝色背景试验中，分别在测试试验前后测量了运动适应（即最终棍子位置与目标位置之间的差异）。这两次试验之间适应性的变化反映了在测试试验中发生的关于蓝色情境的学习。如果参与者仅仅将反馈与背景颜色（B）相关联，那么适应性的变化只会出现在 B+ 和 B– 测试试验中。然而，实验数据（图5f）显示，在 R+ 试验中也出现了显著的适应性变化（甚至比 B– 试验中的变化更大）。

为了模拟该任务中的学习过程，我们构建了一个神经网络（图5b），其中输入节点编码背景颜色，输出节点编码两个方向上的运动补偿。重要的是，该网络还包括隐藏神经元，用于编码对与两种背景相关的情境的信念（[B] 和 [R]）。使用与实验完全相同的训练流程39，并从随机初始化的权重开始训练，通过这个最小网络，前瞻性配置可以复现行为数据，而反向传播则无法做到这一点（图5f）。

前瞻性配置能够在 R+ 测试试验中产生适应性的变化，这是因为在接收到 + 的反馈后，它能够激活在训练期间与该反馈相关联的情境 [B]，并随后学习对该潜在状态的补偿。为了揭示这一推理过程在模型中是如何发生的，图5c、d中的示意图展示了网络权重在不同实验阶段中的演变情况（线条粗细代表连接强度）。图5e中的示意图显示了在经历 R+ 试验后，两种学习规则之间的差异：尽管没有感知到背景 B，前瞻性配置仍然推理出情境 [B] 的信念被中度激活，这是因为在训练阶段建立了从 [B] 到 + 的正向连接。[B] 的活动使得从 [B] 到 + 和 – 的权重得以更新，而反向传播则不会修改任何起源于 [B] 的权重。

为了便于解释，我们展示了使用最小网络的模拟；然而，补充图8表明，使用前瞻性配置时，具有通用全连接结构且更多隐藏神经元的网络也能复现上述数据，而使用反向传播则无法做到这一点。

动物条件反射的研究也观察到，在涉及多个刺激的学习任务中，反馈可能会触发对未呈现刺激的学习41,42。补充图9中提供了一个例子，我们展示了这一现象可以被前瞻性配置解释，但无法被反向传播解释。

前瞻性配置的证据：在学习过程中发现任务结构

前瞻性配置还能够在强化学习中发现任务的潜在结构。具体来说，我们考虑了一个任务，其中不同选项的奖励概率并非相互独立38。在这项研究中，人类在两个选项之间进行选择，而这两个选项的奖励概率受到约束，使得其中一个选项的奖励概率总是高于另一个（图6a）。偶尔这些奖励概率会被交换，因此如果一个选项的奖励概率增加，另一个则会减少相同的量。

值得注意的是，记录到的功能性磁共振成像（fMRI）数据显示，参与者学会了这两个选项的价值是负相关的，并且在每次试验中都会以相反的方式更新两个选项的价值估计。这一结论来自于对内侧前额叶皮层（mPFC）信号的分析，该区域编码了对奖励的预期价值。图6c中展示的数据比较了在连续两次试验中做出选择后该信号的变化：一次是未获得奖励的试验（“惩罚试验”），以及下一次试验。如果参与者在两次试验中选择了相同的选项（“保持”），该信号会下降，表明参与者对奖励的预期降低。值得注意的是，如果参与者在下一次试验中选择了另一个选项（“切换”），该信号反而会上升，表明对一个选项的负反馈反而提高了对另一个选项的价值估计。这种学习方式是标准强化学习模型无法预测的38。

这个任务可以被概念化为一个具有潜在状态的任务结构，该潜在状态编码了哪一个选项更优，并决定了两个选项的奖励概率。因此，我们构建了一个反映该结构的神经网络（图6b），其中包括一个输入神经元（表示处于任务中，在模拟中取值为1），一个隐藏神经元（用于编码潜在状态），以及两个输出神经元（分别编码两个选项的奖励概率）。使用与实验完全一致的训练流程38，并从随机初始化的权重开始训练，通过这个最小网络，前瞻性配置可以复现实验数据，而反向传播则无法做到这一点（图6c）。

在补充图10中，我们展示了前瞻性配置之所以能够复现这些数据，是因为它能够根据反馈更新隐藏神经元的活动，从而推理出被奖励的选项。

综上所述，我们展示的模拟说明了前瞻性配置是一种普遍适用的原则，它可以解释在多种任务中观察到的各种令人意外的学习效应。

我们的论文提出了“前瞻性配置”这一学习原则，根据该原则，学习依赖于神经元首先优化其活动模式以匹配正确输出，随后通过突触可塑性来巩固这些前瞻性的活动。尽管人们早已知道在基于能量的网络中，在权重更新之前神经元活动会发生变化，但此前人们普遍认为这种变化是生物网络中误差传播所必须付出的代价，并提出了几种方法来抑制这种变化，以更接近反向传播的效果11,12,14,20,21。

相比之下，我们展示了这种神经活动的重新配置正是实现优于反向传播的学习性能、并解释多种学习任务中实验数据的关键。前瞻性配置还提供了一系列与反向传播不同的实验预测（见补充图11和图12）。综上所述，我们已经证明，前瞻性配置通过减少干扰，实现了比反向传播更高效的学习；在生物系统所面临的各种情境中表现出更优性能；仅需局部计算和可塑性机制；并在广泛的任务中与实验数据高度一致。

我们的理论解决了一个长期存在的问题：大脑是如何解决“可塑性-稳定性困境”的？例如，尽管在学习过程中初级视觉皮层的表征会发生调整43，我们仍能理解我们一生中所学到的视觉刺激的含义。根据前瞻性配置，当某些权重被修改时，其他权重会进行补偿性调整，以确保正确预测输出的稳定性。因此，在学习单一关联时，前瞻性配置减少了不同权重修改之间的干扰。此前的计算模型提出了减少新旧信息之间干扰的机制，在学习多个关联时发挥作用34,44。很可能这些机制与前瞻性配置在大脑中是并行运作的，以最小化这两类干扰。

前瞻性配置与统计建模中的推理和学习方法相关。如果基于能量的模型中的“能量”是变分自由能，那么前瞻性配置可以被视为一种变分贝叶斯方法的实现，它同时涵盖了推理与学习45。例如，动态期望最大化46,47可以看作是预测编码网络的一种推广，其中D步骤优化潜在状态的表征（类似于推理过程中松弛到收敛），而E步骤优化模型参数（类似于学习过程中的权重修改）。

其他近期研究48,49也注意到，基于能量的网络的自然形式（他们称之为“强控制”）与反向传播的学习方式不同。他们的分析集中在深度反馈控制架构上，并展示了其模型的一种特定形式等价于预测编码网络49。我们论文的独特贡献在于展示了这种“强控制”的优势，并解释了其产生的原因。前瞻性配置的原则也出现在其他最近的模型中。例如，Gilra 和 Gerstner50 构建了一个脉冲模型，在可塑性发生之前，输出误差的反馈会直接影响隐藏神经元的活动。Haider 等人51 提出了一种更快的基于能量模型的推理算法，该算法计算神经元活动可能收敛的值，称为“潜在平衡”（latent equilibrium）。通过迭代设置每个神经元的输出基于其潜在平衡，可以实现更快的推理51，并有效计算前瞻性配置。

预测编码网络要求神经元层之间具有对称的前向和反馈权重，因此产生了一个问题：这种对称性如何在大脑中发展出来？如果预测编码网络初始化时具有对称权重（如我们的模拟中），由于A与B之间的权重变化与B与A之间的反馈权重变化相同，对称性将得以保持。即使初始权重不对称，只要模型中包含突触衰减机制52，对称性也可能逐渐发展出来，因为初始的不对称值会衰减，而最近的、对称的变化将对权重值产生更大影响。不过，有效的信用分配并不一定要求权重对称53,54。

为了简化，我们假设神经活动在刺激呈现后迅速收敛到一个平衡状态，从而在刺激仍然存在时就可以进行突触权重的修改。然而，即使在神经活动尚未收敛时就开始权重修改，预测编码网络仍然可以正常运行。具体来说，Song 等人14 表明，如果神经活动只更新最初的几步，权重的更新就等价于反向传播。需要指出的是，我们在此展示的是，如果神经活动更新到平衡状态，权重的更新就遵循前瞻性配置的原则，并具有前述的优良特性。因此，神经活动和权重并行更新的学习规则，其初始阶段的权重更新等价于反向传播，但随着系统收敛到平衡状态，将过渡到前瞻性配置55。此外，预测编码网络已被扩展用于描述递归结构56–58，并已被证明即使在某个“帧”的刺激尚未收敛时就修改权重，这类网络也能学会预测动态变化的刺激57。

前瞻性配置的优势表明，它在机器学习中可能被有效地应用，以提升深度神经网络的效率和性能。一个障碍是松弛阶段的计算成本较高。然而，最近的研究表明，如果在每次松弛步骤后都进行权重更新，模型的速度可以与反向传播相当，并且更容易并行化55。

最令人感兴趣的是，已有研究表明，通过在模拟硬件上实现松弛过程，可以大大提升基于能量的网络的速度59，从而使其比反向传播更快。因此，我们预计，我们的发现可能会改变下一代机器学习硬件的设计蓝图，从当前的数字张量基础转向模拟硬件，使之更接近大脑的运作方式，并可能实现远超现有技术的效率。

方法

本节提供了复现正文所述结果所需的必要细节。

模型

在整个研究中，我们将经典的反向传播理论与我们提出的新学习原则——前瞻性配置——进行了比较。如正文所述，反向传播用于训练人工神经网络（ANNs），在其中神经元的活动值是根据其输入固定的；而前瞻性配置则发生在基于能量的网络中，在这类网络中，神经元的活动值是不固定的。

在人工神经网络中，由于神经元的活动 x是由其输入决定的，因此可以通过将输入在计算图中“前向”传播来获得网络的输出。然后将该输出与目标模式进行比较，得到一个衡量差异的指标，称为损失（loss）。

由于计算图中每个节点（即神经元的活动值）是作为其输入的显式函数计算出来的，因此该计算图通常是可微分的。因此，使用反向传播训练人工神经网络时，会通过沿损失函数 L的负梯度方向对权重 w进行更新，以逐步降低损失。

其中，γ是神经动力学的积分步长。由于能量 E中的项可以被划分为多个局部能量项，这使得最终得到的方程可以通过局部电路来实现。这种通过调整神经元活动以降低能量的过程被称为松弛（relaxation），我们将描述这一松弛过程的方程称为神经动力学（neural dynamics），因为它描述了基于能量的网络中神经活动的动力学行为。

在松弛过程收敛之后，输出神经元的活动被视作基于能量的网络所做出的预测。

不同的基于能量的网络在训练方式上略有不同。对于预测编码网络（predictive coding networks）12,18，训练过程包括将输入神经元和输出神经元分别固定在输入模式和目标模式上。然后运行松弛过程直至收敛，之后使用收敛时的神经活动来更新权重，以进一步降低能量：

这也将产生一个可以通过局部可塑性机制实现的方程，因为它只是对局部能量进行梯度下降。我们将这类方程称为权重动力学（weight dynamics），因为它描述了基于能量的网络中权重的动力学行为。

这定义了人工神经网络（ANNs）为标准的多层感知机（MLPs），而基于能量的网络为预测编码网络。在公式（6）及以下内容中，平方运算符 (v)2表示向量 v与其自身的内积。

因此，正文中的反向传播与前瞻性配置之间的比较，是在上述的多层感知机（MLPs）与预测编码网络之间进行的；这一选择是合理的，原因如下：

  1. 它们是最为标准的模型61；

  2. 并且已有研究表明，这两种模型密切相关12,14（即，当权重和输入模式相同时，它们做出相同的预测），这使得比较具有公平性。

尽管如此，我们展示了反向传播与前瞻性配置之间的理论分析（见补充图5）和实证比较（见补充图6和图7）可以推广到其他网络结构和能量函数的选择，即其他基于能量的网络和人工神经网络，例如 GeneRec62 和 Almeida–Pineda63–65。

将公式（5）和（6）代入通用框架中，我们可以分别得到描述多层感知机（MLPs）和预测编码网络的方程。

假设输入模式和目标模式分别为 。多层感知机（MLPs）的预测过程为：

在补充信息中，我们还研究了其他网络结构和能量函数的选择，从而得到了其他类型的人工神经网络（ANNs）和基于能量的网络。总体而言，我们研究的基于能量的网络包括：预测编码网络12,18、目标预测编码网络（target predictive coding networks）和 GeneRec62；研究的人工神经网络包括：反向传播和 Almeida–Pineda63–65。所有模型的详细信息可在相应的前期研究中找到，补充说明第2.1节也提供了具体描述。

干扰与干扰的测量（即目标对齐度）

图3a中模拟了图1中的例子：网络包含一个输入神经元、一个隐藏神经元和两个输出神经元；所有权重初始化为1；输入模式为 [1]，目标模式为 [0, 1]。两种学习规则的学习率均为0.2，权重更新进行了24次迭代。

图3d重复了图3a中的实验，但学习率从以下集合中选取：
(0.005, 0.01, 0.05, 0.1)，这个范围足够覆盖实际中训练深度神经网络所使用的所有学习率。

图3e中，每个网络的每一层（包括输入层和输出层）有64个神经元；权重使用标准的 Xavier 均匀初始化方法68进行初始化。未使用激活函数，即研究的是线性网络。网络深度（L）取值为 {1, 2, …, 24, 25}，如横轴所示。输入和目标模式是一对随机生成的模式，均值为0，标准差为1。两种学习规则的学习率均为0.001。权重仅更新一次后测量目标对齐度。整个实验重复了27次，每次实验的结果作为一个点绘制在图中。

图3f–h中的模拟遵循图4a–h中的实验设置；这些内容在“生物相关任务”部分末尾进行描述。

生物相关任务

在监督学习模拟中，图4a–h中的全连接网络在 FashionMNIST60 数据集上进行训练和测试；图4i,j 中的卷积神经网络35 在 CIFAR-10 数据集36上进行训练和测试。

在 FashionMNIST 数据集中，模型被训练用于将灰度图像中的时尚商品（如裤子、套头衫和连衣裙）分类到十个类别中。我们选择 FashionMNIST 是因为它对于多层非线性深度神经网络来说具有适中的难度，使得与基于能量的网络的比较具有信息价值。

CIFAR-10 数据集的分类任务更具挑战性，因为它包含彩色自然图像，属于如汽车、鸟类和猫等类别，因此仅使用卷积神经网络进行评估。

这两个数据集都包含60,000个训练样本（即训练集）和10,000个测试样本（即测试集）。

图4a–h中的实验遵循以下描述的配置，除非特定图示中所研究的参数（如批量大小、数据集大小和网络结构大小）根据具体实验描述进行了相应调整。

神经网络由四层组成，每层隐藏层包含32个隐藏神经元。需要注意的是，当前最先进的FashionMNIST多层感知机模型都非常庞大69。然而，这些模型高度过参数化，因此不适合用于我们的比较，因为无论使用哪种学习规则，由于过参数化，模型准确率都可以达到95%以上，这就没有空间来展示任何有意义的比较结果。

总体而言，本文中在FashionMNIST上使用的模型规模是一个合理的选择：基线模型可以达到合理的性能水平（在标准机器学习设置下测试误差约为0.12），同时保留了展示不同学习规则之间性能差异的空间。

FashionMNIST60数据集中输入层的大小为28 × 28（灰度图像），输出层大小为10，对应于两个数据集中的类别数量。权重初始化采用均值为0、标准差为 的正态分布，其中 nl和 nl+1分别为权重前后层的神经元数量。这种初始化方法被称为 Xavier 正态初始化68。激活函数 f(⋅)为 sigmoid 函数。

我们定义一个“迭代”为基于一个小批量数据对权重进行一次更新。每个迭代包括两个步骤：
(1) 对基于能量的网络进行松弛过程的数值积分，以模拟其连续过程；
(2) 在该过程结束后对权重进行一次更新。

一个小批量中包含的样本数量称为“批量大小”（batch size），默认值为32。一个“训练轮次”（epoch）指的是将整个训练集划分为多个小批量并依次呈现给模型的过程。在每个训练轮次结束时，模型会在测试集上进行评估，并记录分类误差作为该轮次的“测试误差”。

神经网络总共训练了64个轮次，因此得到了64个测试误差值。训练过程中所有轮次的测试误差均值是衡量模型学习速度的指标，而所有轮次中测试误差的最小值则是衡量模型最终学习效果的指标（忽略因训练过长导致的过拟合风险）。

学习率是为每种配置和每种模型独立优化的。每个实验重复了10次（除非另有说明），误差条表示通过自助法（bootstrap）计算的68%置信区间。

接下来我们描述各个实验的具体设置：

  • 图4b：测试了不同的批量大小（如x轴所示）。
  • 图4c：批量大小设置为1。
  • 图4d 的持续学习：在两个任务之间交替训练。任务1是对数据集中随机选择的5个类别进行分类，任务2是对剩下的5个类别进行分类。两个任务共享整个网络；因此，与其它图示中使用的网络不同，该网络只有5个输出神经元。这种设置更符合自然界中的持续学习场景，例如，当人类学习执行两个不同任务时，通常使用同一个大脑和同一双手（即整个网络共享），而不是拥有两双不同的手（即任务之间共享输出层）。

    • 每个任务训练4次迭代，总共训练到84次迭代结束。

    • 每次迭代后，测量每个任务在测试集上的误差作为“测试误差”。

  • 图4e：报告了图4d中不同学习率下两个任务在训练过程中的测试误差均值。
  • 图4d–g 的概念漂移（concept drifting）31,70,71：每64个训练轮次更改一次类别标签，模型总共训练了3,000个轮次。

因此，每64个训练轮次（epoch），我们随机选择10个输出神经元中的5个，并将这些输出神经元与语义含义之间的映射进行伪随机打乱。

在图4h中，训练集中每个类别包含不同数量的数据点（如x轴所示）；这些子集是根据不同的随机种子随机选取的。

在图4i中，我们使用前瞻性配置和反向传播分别训练了一个卷积神经网络，其结构详见图4j。对于每种学习规则，我们独立搜索了七个学习率，范围为 {0.0005, 0.00025, 0.0001, 0.000075, 0.00005, 0.000025, 0.00001}。两种学习规则均训练80个轮次，批量大小为200。

由于训练深度卷积网络比训练浅层全连接网络更具挑战性且更耗时，因此我们对两种学习规则都进行了一些改进。具体来说，为两者都添加了0.01的权重衰减（weight decay），并使用了Adam优化器72。

为了减少运行时间，预测编码网络中的权重更新频率更高：即在推理（inference）过程中的每一步都进行权重更新，而不是仅在最后一步更新。推理过程固定运行16次迭代；因此，每个数据批次会进行16次权重更新。为了公平比较，反向传播也在每个数据批次中更新权重16次。

每种配置（每种学习规则和每个学习率）的训练都使用不同的随机种子重复了三次。

算法 2. 带经验回放的 Q 学习

如图5所示，我们训练了一个包含两个输入神经元、两个隐藏神经元和两个输出神经元的网络。两个输入神经元一对一地连接到两个隐藏神经元，而两个隐藏神经元则全连接到两个输出神经元。

  • 两个输入神经元分别用于编码蓝色和红色背景的呈现；

  • 两个输出神经元分别用于编码对正向和负向干扰的预测；

  • 呈现与不呈现某种背景颜色分别用1和0表示；

  • 呈现与不呈现某一方向的干扰也分别用1和0表示。

权重初始化采用均值为0、标准差根据行为数据拟合得到的正态分布，模拟参与者在实验前尚未建立任何关联的情况。

两层连接的学习率是独立的，因为我们预期从感知到信念、以及从信念到预测的连接具有不同程度的可塑性。这两个学习率也是通过数据拟合得到的（见下文）。

参与者的数量以及训练和测试试验的数量完全按照原始人类实验的描述进行模拟38。具体来说，对于24个模拟参与者中的每一个，权重都使用不同的随机数生成器种子进行初始化。他们各自经历了两个阶段：训练阶段和测试阶段。

需要注意的是，人类实验中包含了一个预训练阶段，这里并未模拟该阶段，因为它的目的是让人类参与者熟悉实验设置和设备。

在训练阶段，模型经历了24个试验块（blocks）。在每个块中，模型依次经历以下试验序列，与原始实验一致38：

  • 模型首先经历两个无干扰试验（B0 和 R0），顺序在连续的块之间进行反向平衡（counterbalanced）。

    • 注意：在人类实验中，有两种无干扰试验（通道试验和消退试验），但在这里它们都被模拟为 B0 或 R0 试验，因为它们都不包含任何干扰。

  • 模型接着经历32个有干扰试验，其中 B+ 和 R– 的数量相等，每8个试验按伪随机顺序排列。

  • 模型再次经历两个试验 B0 和 R0，顺序在连续的块之间反向平衡。

  • 模型经历 n ← {14, 16, 18} 次消退试验（washout trials），其中包含相同数量的 B0 和 R0 试验，顺序为伪随机排列。

    • 这里的符号 n ← {a, b, c} 表示从集合 {a, b, c} 中无放回地抽样，并在集合为空时重新填充。

  • 模型经历一个三重试验组（triplet），其中暴露试验（exposure trial）为 B+ 或 R–，在连续的块之间交替使用。这里的三重试验组由三个连续的试验组成：B0、指定的暴露试验、再次 B0。

  • 模型再经历 n ← {6, 8, 10} 次额外的消退试验（同样为 B0 和 R0 的伪随机排列）。

  • 模型再次经历一个三重试验组，其中使用的暴露试验是前一次未使用的那个（即如果前一次用的是 B+，这次就用 R–，反之亦然）。

在测试阶段，模型重复经历了8轮包含4个试验块的测试。在每个块中，测试以下四种组合之一：B+、R+、B– 或 R–。在每轮8次重复中，这四个块的顺序被打乱。

在每个块中，模型首先经历 n ← {2, 4, 6} 次消退试验（同样为 B0 和 R0 的伪随机排列）。

随后，模型经历一个三重试验组，其中的暴露试验为当前块所测试的组合（B+、R+、B– 或 R–），以评估对该组合的单次试验学习效果。

模型的适应性变化（change in adaptation）被计算为上述三重试验组中两次 B0 试验所预测干扰值之间的绝对差值，其中干扰预测值为两个输出神经元活动的差值。

这些预测结果在所有参与者和上述重复中进行了平均。

人类强化学习的模拟

如图6b所示，我们训练了一个包含一个输入神经元、一个隐藏神经元和两个输出神经元的网络。

  • 输入神经元用于编码是否处于任务中，因此在整个模拟过程中设为1；

  • 两个输出神经元分别用于编码对两个选项价值的预测；

  • 奖励和惩罚分别用1和−1表示，因为参与者要么赢得金钱，要么失去金钱；

  • 模型根据 softmax 规则（温度参数为1），基于两个输出神经元所编码的两个选项的价值预测，随机选择动作st ；

  • 权重初始化采用均值为0、标准差根据实验数据拟合的正态分布，模拟参与者在实验前尚未建立任何关联的情况；

  • 模拟参与者的数量（即使用不同随机种子的重复次数）设置为16，与人类实验一致38；

  • 原始论文中未提及试验次数，因此我们为两种学习规则都模拟了128次试验。

为了比较两种学习规则在解释 mPFC（内侧前额叶皮层）信号模式方面的能力，我们针对每种规则优化了描述模型设置与学习的参数（初始权重的标准差和学习率）。

具体来说，我们搜索这些参数的取值，使得模型产生的输出活动模式与实验中观察到的模式最为相似。

由于 fMRI 信号与模型的单位和基线不同，模型的预测结果还通过一个系数 a进行了缩放，并通过一个偏置项 b进行了平移。

为了计算某一试验类型的模型预测值，我们对整个模拟中属于该类型的所有试验中，所选选项对应的输出神经元活动进行了平均。

模型缩放后的平均活动如图6c所示，其中误差条表示缩放后活动的68%置信区间。

为了使模型拟合实验数据，我们按照前一节所述方法寻找模型参数和缩放系数的取值。

具体来说，我们对参数进行了穷举网格搜索。模型参数的可能组合包括：

  • 初始权重标准差（s.d.）和学习率的所有可能组合，它们的取值来自集合 {0.01, 0.05, 0.1}。

对于每种学习规则和上述模型参数的每种组合，我们通过解析方法求解缩放系数 a（限定为正值）和平移偏置 b，以最小化公式（16）中的平方误差之和。

统计与可重复性

本论文中的工作涉及计算机模拟。由于权重参数的随机初始化，模拟被重复多次。我们并未使用统计方法预先确定重复次数，但在与行为或神经生理学实验相对应的模拟中，重复次数与相应实验中参与者的数量一致。分析中未排除任何数据。由于执行顺序对数值实验的结果没有影响，因此这些实验并未进行随机化。评估结果的研究人员未对实验结果设盲。

为了可视化模拟结果的变异性，我们展示了个体数据点，或使用置信区间或箱型图表示的误差条。整篇论文中，置信区间通过自助法（bootstrap）计算得出。有关实现方法的详细描述，请参见： https://seaborn.pydata.org/tutorial/error_bars.html#confidence-interval-error-bars。

https://www.nature.com/articles/s41593-023-01514-1