Free energy and inference in living systems
生命系统中的自由能与推理
https://arxiv.org/pdf/2203.14194v2
摘要
生物体是非平衡、平稳系统，通过自发对称性破缺自组织，并在环境中经历具有破坏细致平衡（broken detailed balance）的代谢循环。热力学自由能原理将生物体的稳态描述为受物理自由能成本约束的生化功调节。相比之下，神经科学和理论生物学的最新研究将高等生物体的稳态和应变稳态（allostasis）解释为由信息自由能促进的贝叶斯推理。作为对生命系统的综合方法，本研究提出了一种自由能最小化理论，统括了热力学和神经科学自由能原理的本质特征。我们的结果表明，动物的感知和行动源于大脑中自由能最小化所蕴含的主动推理，并且大脑作为薛定谔机器运作，执行最小化感觉不确定性的神经力学。一个简约模型表明，贝叶斯大脑在神经流形中形成最优轨迹，并在主动推理过程中诱导神经吸引子之间的动态分岔。
关键词 生命系统，稳态与应变稳态，贝叶斯大脑，自由能原理，薛定谔机器，神经吸引子
1. 引言
尽管生命没有标准定义 [78, 50, 42, 31, 28, 27, 57]，文献通常指出生命系统倾向于减少其熵，违背热力学第二定律以维持其非平衡（NEQ）存在。然而，遵循热力学第二定律，开放系统熵减与熵增之间的裁决必须取决于系统-储库界面处不可逆热通量的方向。生物体是环境中的开放系统；因此，它们通过促进宇宙总熵的增加来遵守第二定律。上述困惑，也许，根源于埃尔温·薛定谔的注释，他隐喻地将生物有机体解释为以负熵为食 [96]。在同一本专著中，薛定谔继续阐明，关于代谢更适当的讨论应该用自由能（FE）来解决。他做出这一澄清是因为，与他所指的克劳修斯熵相反，热力学 FE 在任何开放系统的不可逆过程中总是减少的 [67]。许多研究都基于薛定关于生物系统如何能用物理定律和原理来解释的见解。我们从 FE 最小化的角度考察生命的定义。
生物体维持生物学上必需的特性，如体温、血压和血糖水平，这些特性与环境状态不同。生命系统通过执行代谢功，不断与环境交换热和物质通量，这受热力学第一定律描述的能量平衡的约束。第二定律假定孤立宏观系统的熵随任何自发变化单调增加。生物体和环境共同构成生物圈，它是孤立和宏观的；因此，生物体中的代谢过程增加总熵。第二定律通过限制代谢效率来影响生物体。热力学自由能原理（TFEP）包含热力学定律，并提供定性和定量的解释，说明生命系统如何通过最小化 FE 在生物物理上维持稳态。最近的研究将现代代谢观点作为跨内感受和外感受过程的多感官整合的能量调节 [15, 85]。这不仅解释了个体有机体层面的代谢，还解释了生态系统和行星层面 [54, 43]，并强调了大脑表现中的能量学和功率效率 [100, 6, 69]。相比之下，生物体进行应变稳态（allostasis）的能力，即预测性地调节稳态 [105, 97]，或者更一般地说，它们的自创生特性 [72]，无法用 TFEP 解释。应变稳态能力是适应性适应度的主要驱动力，其涌现不能仅仅归因于神经元活动原始电路中无数涌现可能性的（生物）物理自组织。生物体处于环境约束之下，适应性适应度，或自然选择，是进化过程中特定环境中生存优化的结果。因此，FE 最小化方案需要一种自上而下或高层计算机制，以促进应变稳态能力的硬连线。
神经科学和理论生物学中受大脑启发的自由能原理（FEP）以公理化的方式提出了一个普遍的生物学原理，它提供了信息 FE 最小化形式化，解释了生命系统的感知、学习和行为 [33, 34]。这一原理也被应用于其他认知系统，如人工智能和机器人 [11, 71, 92, 12, 74, 73, 23]；然而，我们的研究主要关注生命系统以及 FEP 在生物背景下的含义，强调推理的具身性质 [83]。根据信息自由能原理（IFEP），所有生命形式在进化上自组织以最小化惊奇（surprisal），这是有机体环境生态位的不可能性或意外性的信息论度量。信息 FE（IFE）是一个数学结构，而不是由温度、化学势、体积等指定的物理（热力学）量。信息 FE 从数学上从上方界定惊奇；因此，IFEP 表明自然选择反映了有机体中 IFE 的最小化，作为所有生物时间尺度上惊奇的代理。IFEP 采用了 Helmholtz 早期关于感知作为无意识推理的想法 [111]：有机体的大脑拥有感觉生成的内部模型，并通过将它们与先验知识匹配来推断感觉数据的外部原因。遵循 IFEP 的主动推理框架将 Helmholtz 感知之外的运动控制和规划封装为额外的推理方案 [32, 1]。大脑拥有概率内部模型，其参数（充分统计量）由 NEQ 稳态下的大脑变量编码；然而，迄今为止，尚未开发出用于确定宏观大脑中 NEQ 概率的物理理论。在实践中，IFEP 假设 NEQ 密度的开放形式或某些固定形式，并实施 IFE 最小化。高斯固定形式假设可用于将 IFE 转换为预测信号和实际信号之间差异的总和 [10]，这在预测编码理论中被称为预测误差[48]。通常，转换后的 IFE 目标是通过采用机器学习中广泛使用的梯度下降法来最小化的 [106]。由此产生的变分滤波方程通过推断外部源 [5] 来计算感觉数据的贝叶斯反演，被称为识别动力学（RD）[33]。最近，IFEP 以一种最小化感官不确定性的方式被推广，这是有机体变化的环境生态位时间视界上的长期惊奇 [59]。尽管 IFEP 是一个有前途的普遍生物学原理，但它作为普遍原理的成功及其与生物物理现实和认识论基础之间的距离导致了争议 [29, 62, 13, 87, 93, 63, 8, 2, 9, 86]。
在本研究中，联合考虑这两种 FE 方法，为生命系统开发一个统一的范式：TFEP 不描述大脑在环境中推断和行动的能力，而受大脑启发的 IFEP 主要是一个目的性的（假设驱动的）框架，缺乏与神经元基质和物理定律的紧密联系。我们的目标是连接这两个 FEP，并提出一个生物 FEP，将大脑中的还原论基础和自上而下的目的论整合起来。此外，我们揭示了计算大脑中应变稳态调节、感知和运动推理的吸引子动力学，基于我们提出的 FE 最小化框架。类似的方法在 [35] 中被报道，其中提出了支持随机热力学和 IFEP 的形式化，而没有解决热力学和信息 FE 之间的直接联系。此外，统一的贝叶斯和热力学观点试图将大脑的学习和识别解释为神经引擎，并提出了神经动力学定律 [102]。我们还注意到另一项最近的工作，从大脑网络能学（synergetics）的对称性破缺机制中制作了神经流形模型，与最大信息原理相称 [56]。
在大脑架构中，神经元活动的巨大自由度构成了高维问题中的经典疏忽；因此，潜在的神经动力学似乎是随机的。然而，我们要论证的是，大脑中的感知、学习和运动推理在功能层面是低维的，服从大数定律；因此，RD 变得确定性，涉及有限数量的潜变量。例如，几个关节角度足以让大脑在运动控制中推断手臂运动。相比之下，确定性 RD 的涌现在感知和学习中更为微妙，这需要随机神经元动力学的系统性粗粒化。我们的研究促进了贝叶斯大脑 RD 的系统推导，用几个有效变量表示，我们称之为贝叶斯力学（BM）；BM 调节生命系统的稳态和应变稳态（即适应性适应度），符合提出的生物 FEP。
粗粒化或有效描述的概念在计算神经科学中无处不在 [46, 4, 89, 24, 38, 109, 14]。在这里，我们回顾与我们的工作相关的最近研究，这些研究激发了 BM 的发展。许多以前对记录神经元的研究表明，种群动力学局限于经验神经空间中的低维流形，其中轨迹是种群活动的神经表示 [22]。用数学术语来说，神经模式被定义为跨越神经流形的本征场。潜变量，或集体坐标，被定义为种群活动在神经模式上的投影 [40, 39]。其他理论模型支持循环神经网络中的长期动力学产生吸引子流形的想法 [75]，这是一个占据神经空间有限区域的固定点的连续集。因此，吸引子动力学和不同吸引子之间的切换被显现 [76]，表明神经表示中的上下文变化 [113, 55]。此外，流形假说广泛应用于机器学习中，使用少量参数近似高维数据 [17]。实验研究表明，大脑中发生动态坍缩，从不相干的基线活动到跨神经节点的低维相干活动 [103, 82, 110]。当特征输入和源自先验或存储知识的预测匹配时，出现了同步模式；相比之下，当存在不匹配时，高维多单元活动增加。这一观察也提供了经验证据，表明神经信号减少预测误差，从而最小化 IFE。
基于上述描述的结果，我们建议潜在动力学可以通过降维后的少量粗粒化变量来有效地描述。在本研究中，我们用几个潜在变量来表述生命系统中稳态推断调节的BM（注：此处BM结合语境通常指Bayesian Mechanics，即贝叶斯力学）。潜在变量被确定为大脑活动及其共轭动量，它们分别代表外部、环境和运动状态以及在线预测误差。外周水平的感觉误差在BM中充当时间依赖的驱动源，为感觉以及运动推断提供神经机制。我们在连续时间下的连续状态表述可能有助于研究情境行动问题，其中生物系统即使在正在进行的感觉运动活动中也必须做出决策[16]。
本文的其余部分组织如下。在第2节中，我们描述了当应用于生命系统时，从非平衡（NEQ）涨落定理建立TFEP的过程。第3节解释了如何对神经元水平的随机动力学进行建模，以及如何使用统计方法来确定物理大脑中神经状态的NEQ密度。在第4节中，我们提出了最小化长期惊奇度（surprisal）的生物IFEP，并建立了其连续状态实现，从而在神经相空间中产生BM。接下来，在第5节中，我们对BM进行数值积分，并展示了在大脑中执行感知和运动推断的吸引子动力学。最后，我们在第6节总结了调查的重要结果和结论。在附录中，我们展示了由我们的模型产生的主动推断的双闭环回路。
2. 应用于生物体的非平衡涨落定理
涨落定理（FTs）用数学等式简洁地描述了随机非平衡（NEQ）过程 [52, 20]。虽然 FTs 最初是为波动明显的微小系统建立的，但它们也适用于宏观确定性动力学 [58]。在这里，我们在生物问题的适当背景下提出 FTs，并建议 FTs 表明生物体是一个非平衡系统，它在体内维持管家温度（housekeeping temperature） T T（人类平均），并等温地利用代谢来对抗其环境。
在生物学背景下， W W 是生命系统代谢中涉及的环境功的量，例如产氧光合作用和有氧呼吸的生物反应 [3, 107]。生物功是不可控的，因此是随机的。FTs 描述了生物体在维持管家温度时能量摄入和消耗之间的不平衡。生命系统在一个代谢功循环中的亥姆霍兹自由能增量受限于对生物体所做的平均环境功。来自 Jarzynski 关系的结果不等式可以写成以生物体为中心的形式，即
注意这里我们将 Jarzynski 关系中出现的温度视为特定生物系统的体温，这与涨落定理（FTs）的通常含义不同；在 Jarzynski 关系的标准推导 [53] 中，非平衡（NEQ）等式中出现的温度 T T，根据构造，是热库温度。涨落定理通常旨在用于不可逆过程，在此期间系统温度可能未定义。然而，初始和结束状态必须处于平衡状态，以便自由能（FE）具有意义。微妙之处在于，对于在初始平衡准备之后孤立进行的实验，终态温度可能与热库温度相同，也可能不同。生物体处于非平衡稳态，维持着区别于环境温度的管家温度（housekeeping temperature） T T，它们只有在停止存在时才会与环境温度达到平衡。因此，生物体被视为等温系统，它们与环境开放进行热量和粒子交换。
非平衡功关系将热力学第二定律表达为公式 (1) 中的数学等式。第二定律在其生物学背景下，给出了由公式 (4) 中的不等式所规定的对生物体的热力学约束，这揭示了代谢循环中产生的不可避免的（热力学）自由能（FE）浪费。然而，这个不等式既没有解释自适应性，也没有解释脑功能，如感知、学习和行为。为了解决生命的这些基本特征，研究人员目前采用一种混合方案，该方案首先提出系统级生物功能如何运作，然后尝试与生物物理物质建立联系。特别是，内置于 IFEP 中的贝叶斯机制为这种有前途的生命混合解释提供了一个关键组件，这在第 4 节中有详细描述。
3. 非平衡大脑的统计物理描述
大脑由无数复杂的神经元组成；因此，由于经典的不确定性，其在介观层面的内部动力学必须服从某些随机运动方程。相关的粗粒化神经变量是局部尺度的群体活动，或区域内大脑节律。在下文中，我们认为脑物质本身构成了介观神经动力学的体温热环境。
下面，我们假设在粗粒化群体层面的神经活动 μ μ 服从随机动力学 [64]：
通常，除了低密度和/或线性响应机制外，很难获得开放系统 NEQ 概率密度的解析表达式 [61, 30]。由于形态的复杂性，推导指定物理大脑状态的 NEQ 密度实际上是不可处理的。因此，假设在持续感觉扰动下的神经状态由随时间变化的高斯密度进行统计描述，这是由施加在朗之万描述上的高斯随机噪声所预测的。
4. 大脑中感觉运动推断的潜在动力学
在这里，我们展示了在提出的广义 IFEP 下，在大脑中进行感觉观察的贝叶斯反转的 BM（贝叶斯力学）。这个想法之前是通过考虑被动感知 [59] 发展的，并且只隐含地包含了主动推断 [60]。
在这里，我们通过显式地将运动推断和规划引入生成模型，以完全符合主动推断框架，从而推进了这一形式化。
环境状态 ϑ ϑ 通过机械、光学或化学扰动在生物体的受体处产生感觉刺激 φ φ，这些扰动以神经信号的形式在大脑的功能层级中被转导。感觉扰动可能会被生物体的运动操作所改变，我们指定 u u 来表示负责这种对效应器控制的运动变量。这里的一个关键点是，大脑只能访问感觉数据而不能访问其原因；因此，从大脑的角度来看，环境状态 ϑ ϑ 和运动变量 u u 都是外部的，即隐藏的。就这些相关变量而言，我们定义变分 IFE（推断自由能）泛函，记为 F F：
(i) 公式 (31)–(34) 表明大脑机械地执行认知操作，这反映了薛定谔关于生物体作为机械功的建议 [96]。我们推导的 BM 解决了连续时间内 IFE 最小化的连续状态实现，这与常见的离散时间方法 [37, 18, 90, 104] 形成对比。我们认为生物现象自然是连续的，因此，连续表示更适合感知和行为。
(ii) 辛形式的 BM [公式 (30)] 代表了哈密顿函数上的梯度下降（GD）。然而，在非平稳感觉输入下，多维能量景观不是静态的，而是会产生时间依赖性。因此，提出的 BM 自然地促进了超越通常 GD 方法所暗示的准静态极限的快速动力学。此外，它没有调用传统框架 [36] 中高阶运动的概念；因此，我们的理论不受平均流与平均变化率 [2] 问题的限制。
5. BM 的数值研究
在本节中，我们对大脑感觉运动系统的潜在动力学进行数值开发，该系统源于基于哈密顿原理的 FE（自由能）最小化公式。为了简单起见，我们在受体处考虑一个均匀但随时间变化的感觉输入，例如非平稳的光强度或温度，该输入发出支配效应器的运动输出，从而改变感觉观察。哺乳动物新皮层中大约有 150,000 个皮层柱，每个表现出六层结构的皮层柱都可以被视为一个独立的感觉运动系统 [77, 45]。我们的简单模型具有图 1 中描绘的单个柱内的双闭环微电路，它构成了实际大规模大脑网络中典型皮层电路的基本计算单元 [7]。
生成映射 g g 以及函数 f f 和 π π 是未知的；它们可能是非线性的，甚至在普通数学中是不可描述的。在这里，我们采用假设通用结构的线性模型：
特征值在有限维流形中形成李雅普诺夫指数（Lyapunov exponents），并表征状态向量在吸引子附近的动力学行为。由于参数空间的多维性，从迹和行列式条件解析提取特征值属性并不理想。因此，必须在启发式基础上确定对参数的信息约束。在本研究中，我们数值搜索了导致纯虚特征值的参数，从而产生了平稳吸引子。
此外，假设神经惯性质量具有以下值：
数值结果 II：被动识别动力学
为了演示被动感知，我们将静息大脑暴露于静态感觉信号；即，我们在公式 (40) 中插入。在这种情况下，形式解公式 (41) 可以简化为
给定感觉刺激，我们在数值上观察到，对于较大的惯性质量，认知强度较弱。神经惯性质量代表内部模型中的推断精度；因此，结果表明，当内部模型在感知推断中更精确时，所需的认知强度较少。认知强度可用作心理学中意识或注意力的定量测量。我们的强度测量与神经影像分析 [65] 密切相关，其中对感觉输入的神经响应被分析与信息编码相关的能级变化。
数值结果 III：主动识别动力学
上面提出的具体例子完全容纳了生命代理在双闭环认知架构中推断感觉信号的显著特征并执行反馈运动推断的主动推断 [见附录]。虽然该说明仅考虑了单个感觉运动系统，但我们的公式也可以处理提出多感官感知问题的多种感觉输入模态。值得注意的是，随时间变化的感觉流入使线性 BM 成为非保守的，从动力学系统的角度来看，它充当了分岔参数。我们对从静息状态到认知吸引子的动态转换的数值说明，与精神病学中行为的认知控制 [21, 79] 以及脑损伤患者意识状态抵抗外部扰动的稳定性 [25, 95] 的最近研究相关。
6. 总结与结论
本研究基于一个共识，即生命系统自组织成一个非平衡（NEQ）稳态，该稳态违反了细致平衡，同时维持生理和身体特性。在生物学背景下，热力学第二定律及其现代形式的涨落定理（FTs）意味着，生物体在环境中维持稳态的代谢过程中不可避免地存在未补偿的能量。更准确地说，代谢功的量受热力学自由能（FE）消耗的上限约束。效率在展示时间箭头的任何不可逆现象中都很重要，进而，在脑力工作中也是如此。我们将现代 FTs 应用于作为开放系统的生物代理，并阐明了在讨论“什么是生命？”这一问题时，为什么自由能（FE）的概念比熵更合适。热力学和神经科学的自由能原理（FEPs）是根据它们各自的数学不等式进行评估的，这表明自由能界限可以作为最小化的变分目标函数。因此，我们揭示了这两个原则在解释认知生物系统时的缺点，并提出了一种整合热力学和贝叶斯方法的生物 FEP，作为生命的自组织原则。
由于巨大的神经元自由度和形态复杂性，高等生物的脑状态只能现实地用概率来描述。生物 FEP 的核心是似然密度和先验密度，它们构成了 G-密度，被认为物理脑状态的非平衡概率。本研究认为，由于经典忽略（classical negligence），介观、构成层面的大脑动力学是随机的，为此采用了时间不对称的朗之万方程。时间反演对称性的破缺归因于生物系统对环境开放。为了统计描述脑状态，我们在状态转换中进一步使用了马尔可夫近似，并采用 Smoluchowski-Fokker-Planck 方程来确定连续脑变量的概率密度。我们将 S-F-P 方程视为概率的局部平衡方程，并认为其稳态解提供了非平衡密度。S-F-P 方程中出现的概率通量在脑-环境界面处不会消失，这反映了在稳态（SS）极限下不会达到细致平衡，因此，在非平衡脑中没有标准的涨落耗散定理可用。相反，稳态通量类似于磁学中的安培定律，这是由修正的细致平衡条件产生的，并支持非平衡概率的梯度流。
我们将大脑呈现为薛定谔的机械机器，负责生理的预测调节和身体的适应性行为。系统层面的贝叶斯力学（BM）是确定性的，表明大脑作为宏观物理系统，服从大数定律，从而导致降维。此外，来自体温的热波动对大脑的低维功能没有显著影响；换句话说，大脑在认知上处于有效零温度的基态。推断自由能（IFE）是用潜在变量指定的，这些变量以概率方式编码大脑中的环境和运动状态。如前所述，编码的概率密度假设为 S-F-P 方程或更现实方程的稳态解。我们研究的核心思想是，大脑中编码的在线 IFE 是拉格朗日量，定义了信息作用量（Action）。基于哈密顿原理，我们发现大脑通过完成感知和适应性运动行为的双闭环动力学，确定性地执行稳态调节（allostatic regulation）。我们采用了一个简单的非平稳感觉流入模型，并展示了神经相空间中最佳轨迹的发展：我们在数值上观察到，大脑经历了从静息状态到平稳吸引子的动态转换，这对应于连续时间内环境原因的在线推断。提出的 BM 可能适用于内感受、外感受和本体感受层面的任何通用认知过程。
原文链接：https://arxiv.org/pdf/2203.14194v2
热门跟贴