感知推理的皮层回路
Cortical circuits for perceptual inference
https://www.sciencedirect.com/science/article/pii/S0893608009001701
摘要
本文假设皮层回路已经进化，以便对大脑接收到的感觉输入的原因进行推断。这为神经回路必须实现的目标提供了一个基于原则的规范。在此，我们试图通过将推断转化为一个优化问题来探讨大脑是如何进行推断的。鉴于我们对神经元内部和外部连接的了解，我们考察了随后的识别动态如何能够由神经元群体之间的定向连接和信息传递来支持。我们假设大脑将世界建模为一个动态系统，该系统对感觉域施加了因果结构。感知被等同于该内部模型的优化或反转，以解释感觉输入。给定一个关于感觉数据如何生成的模型，我们使用一种通用的变分方法进行模型反转，从而得出规定识别过程的方程；即，代表感觉输入原因的神经活动的动态变化。在此，我们重点关注一个模型，其层级和动态结构使得模拟大脑能够识别并预测感觉状态的序列。我们首先在变分自由能框架下回顾这些模型及其反转过程。随后，我们证明大脑具备实现这种反转所需的基础设施，并展示了使用能够生成和识别鸟鸣的合成鸟类进行的模拟结果。
关键词： 生成模型 预测编码 层级 动态 非线性 回路 变分 鸟鸣 自由能
1. 引言
本文从感知的角度考察皮层回路的功能架构；即大脑对感觉数据的内部模型进行拟合或反转（求逆）。关键在于，这种反转的本质使其适用于一种相对简单的神经网络实现，该实现与大脑中真实的皮层层级结构具有许多形式上的相似性。大脑使用层级推断的基本思想已在一系列论文中被描述（Friston, 2005; Friston, Kilner, & Harrison, 2006; Mumford, 1992; Rao & Ballard, 1998）。这些论文表明，鉴于皮层系统的层级组织，大脑使用经验贝叶斯（empirical Bayes）对其感觉输入进行推断。在此，我们重点关注如何配置神经网络以反转这些模型，并从感觉输入中解卷积出感觉原因。
本文包含三个部分。在第一部分中，我们引入了模型反转或感知的自由能公式，然后将其应用于我们假设大脑使用的一类特定模型——层级动态模型。这些模型的一个重要方面是它们在运动广义坐标（generalised coordinates of motion）中的表述。这赋予了它们在结构和动力学上的层级形式，这种形式可以在反转过程中被利用。在第二部分中，我们展示了如何将反转公式化为使用神经网络的简单梯度下降，并将这些与大脑中的皮层回路联系起来。在最后一部分中，我们考虑如何利用前一节的方案，从感知推断和分类的角度来理解诱发的脑响应。
2. 自由能表述
本节考虑了感觉数据生成模型的反转（求逆）问题，并总结了 Friston (2008) 中的相关内容。该问题使用集成学习（ensemble learning）或变分贝叶斯（Variational Bayes）来解决。这些是模型反转的通用方法，它们对广义感觉输入 ỹ = [y, y', y'', ...]ᵀ 的某些原因 ϑ 的条件密度 p(ϑ|ỹ) 提供了近似。广义输入（例如，光感受器刺激的强度）包括输入本身、其速度、加速度、急动度（jerk）等。原因是环境中产生感觉输入的物理量（例如，视野中物体的朝向）。条件密度的近似（即，在给定感觉输入的情况下，特定一组原因的概率）是通过优化识别密度 q(ϑ) 来实现的，该优化是针对感觉输入的惊奇度（surprise）或负对数证据 -ln p(ỹ) 的一个界限进行的，正如我们接下来将看到的（Feynman, 1972; Friston, 2005; Friston et al., 2006; Hinton & von Cramp, 1993; MacKay, 1995; Neal & Hinton, 1998）。这个界限被称为自由能。
自由能包含一个交叉熵或散度项 C ≥ 0 以及惊奇度。根据吉布斯不等式，散度大于零，当 q(ϑ) = p(ϑ|ỹ) 时取等号；即，当识别密度是感觉输入原因的后验或条件密度时。可以优化识别密度以最小化该界限，并隐式地最小化识别密度与我们所寻求的条件密度之间的散度（Friston, 2005; Hinton & von Cramp, 1993; MacKay, 1995; Neal & Hinton, 1998）。总而言之，识别密度产生了一个自由能界限，这将一个困难的积分问题（计算精确条件密度所固有的）转化为一个较容易的优化问题。
该界限可以很容易地被评估，因为它是 q(ϑ) 和大脑所蕴含的某个生成模型 p(ỹ, ϑ) 的函数。
我们所寻求的值是以下微分方程的解。
2.1. 层级动态模型
本节介绍了大脑可能用于感知的一类通用生成模型。我们将从简单的动态模型开始，然后再处理层级情况。考虑一个状态空间模型，它描述了世界中状态的演化以及它们如何映射到感觉输入：
2.1.1. 层级形式
总而言之，层级动态模型几乎和人们能想象的一样复杂；它们包含因果状态和隐藏状态，其动态可以与任意（解析）非线性函数耦合。此外，这些状态可以具有未知幅度和任意（解析）自相关函数的随机波动。这些模型的一个关键方面是它们的层级形式，这在因果状态上诱导了经验先验。关于静态数据条件独立层级模型中的近似贝叶斯推断的讨论，请参见 Kass 和 Steffey (1989)。
2.1.2. 能量函数
我们现在可以写出这些生成模型的吉布斯能（Gibb's energy），它具有一个简单的二次型（忽略常数项）。
2.2. 总结
在本节中，我们看到了动态模型的反转（求逆）如何可以被公式化为自由能的优化。通过假设对条件密度的高斯（拉普拉斯）近似，可以将优化简化为寻找感觉数据的未知原因的条件均值。这可以被公式化为在沿着广义坐标中编码的路径移动的参考系中的梯度上升（方程 (6)）。实现这种识别方案唯一需要的是吉布斯能（Gibb's energy），它由一个生成模型指定。我们考察了层级动态模型，其形式在结构和动态层面都为推断提供了经验先验或约束（方程 (14)）。结构先验产生于用因果状态耦合层级的不同层级，而动态先验则通过耦合隐藏状态的广义运动的不同层级而出现。现在，我们可以在大脑神经元过程的背景下，考察这些模型所蕴含的识别动态。
3. 大脑中的层级模型
大脑的一个关键架构原则是其层级组织（Felleman & Van Essen, 1991; Maunsell & van Essen, 1983; Zeki & Shipp, 1988）。这一点在视觉系统中得到了最彻底的证实，其中较低（初级）区域接收感觉输入，而较高区域则承担多模态或联合（associational）角色。层级的神经生物学概念建立在前向连接（forward connections）和后向连接（backward connections）之间的区别之上（Angelucci et al., 2002; Felleman & Van Essen, 1991; Murphy & Sillito, 1987; Rockland & Pandya, 1979; Sherman & Guillery, 1998）。这种区别基于作为外部连接主要来源和起源的皮层层级的特异性。前向连接主要起源于颗粒上层（supra-granular layers）的浅层锥体细胞，并终止于较高皮层区域第四层的棘状星状细胞（spiny stellate cells）（DeFelipe, AlonsoNanclares, & Arellano, 2002; Felleman & Van Essen, 1991）。相反，后向连接主要起源于颗粒下层（infra-granular layers）的深层锥体细胞，并靶向较低皮层区域的颗粒下层和颗粒上层的细胞。内在连接介导相距几毫米的神经元之间的横向相互作用。前向连接和后向连接之间存在关键的功能不对称性，这使得后向连接在对神经元反应的影响上更具调节性（modulatory）或非线性（Sherman & Guillery, 1998; 另见 Hupe et al., 1998）。这与电压敏感的 NMDA 受体在颗粒上层的部署相一致，这些受体是后向连接的靶点（Rosier, Arckens, Orban, & Vandesande, 1993）。通常，后向连接的突触动力学具有较慢的时间常数。这导致了这样一种观念：前向连接是驱动性的（driving），并在较高层级引发强制性（obligatory）反应，而后向连接则具有驱动和调节双重效应，并在更大的空间和时间尺度上运作。大脑功能解剖学的这一层级方面指向了感觉输入的层级模型。我们现在考虑在大脑对层级模型的反转（求逆）下，如何理解这种功能架构。
3.1. 感知推断
如果我们假设神经元的活动编码了引起感觉数据的外部状态的条件均值，那么方程 (6) 就规定了从感觉数据识别世界状态所蕴含的神经元动态。使用方程 (14) 中的吉布斯能（Gibb's energy），我们有：
3.2. 层级信息传递
如果我们展开这些方程，我们可以看到隐式信息传递的层级本质
最近的研究表明，层级架构（参见图1）可以被重新表述为一种特定类型的偏置竞争（biased competition），其中状态单元接收来自低层误差单元的信息和来自高层状态单元的直接输入（取代了基于卡尔曼滤波的原始预测编码方案中来自误差单元的侧向输入；Rao & Ballard, 1998）。有人认为，这种架构为皮层中的后向连接提供了一个更现实的模型（Spratling, 2008a, 2008b），并有效地将预测编码、卡尔曼滤波和偏置竞争联系起来。
一种相关的贝叶斯算法称为信念传播（belief-propagation）（Dean, 2006; Hinton, Osindero, & Teh, 2006; Lee & Mumford, 2003; Rao, 2006）也依赖于信息传递。在这些方案中，信息不是预测误差，而是像预测误差一样，根据似然和经验先验以自洽的方式定义。关键在于，信念传播算法可以通过最小化自由能来推导（Yedidia, Freeman, & Weiss, 2005）；例如，可以证明卡尔曼滤波是信念传播的一个特例。这说明了预测编码、贝叶斯滤波和信念传播之间的形式相似性，它们可以通过大脑中的递归信息传递来实现，并根据自由能优化来理解。
3.3. 总结
总而言之，我们已经看到了感觉输入的通用层级和动态模型的反转（求逆）如何被转录到优化惊奇度（surprise）自由能界限的神经元量上。在一些简化假设下，这种优化对应于皮层层级所有层级上预测误差的抑制。这种抑制依赖于自下而上（预测误差）和自上而下（经验先验）影响之间的平衡。在最后一节中，我们使用这种方案来模拟神经元反应。具体而言，我们考察预测误差的电生理相关性，并询问我们是否可以根据自由能公式和大脑中的信息传递来理解事件相关电位（ERP）研究中的一些常见现象。
4. 鸟鸣与吸引子
在本节中，我们考察了一个使用层级动力学作为感觉输入生成模型的系统。本节的目的是为上一节中关于外在和内在回路的功能解构提供一些表面效度（face-validity）。为此，我们试图展示如何使用基于上述理论分析的模拟来重现神经元过程的经验测量。我们使用的例子是鸟鸣，我们关注的经验测量是可以无创记录的局部场电位（LFP）或诱发（ERP）反应。本节的内容基于 Friston 和 Kiebel (2009) 中描述的模拟。
我们首先描述我们的鸟鸣模型，并通过模拟损伤（lesion）实验来展示该模型的本质和形式。然后，我们使用该模型的简化版本来展示如何利用吸引子（attractors）快速有效地对刺激序列进行分类。在整个本节中，我们将利用浅层锥体细胞是观察到的 LFP 和 ERP 信号的主要贡献者这一事实。这意味着我们可以将这些信号归因于预测误差；因为浅层锥体细胞是大脑中自下而上（bottom-up）信息的来源（见图1）。
4.1. 大脑中的吸引子
这里的基本思想是，环境作为一个有序的时空动力学序列展开（George & Hawkins, 2005; Kiebel, Daunizeau, & Friston, 2008），其运动方程包含了包含感觉轨迹的吸引子流形。关键在于，生成感觉数据的流形形状本身又被其他可能拥有自己吸引子的动力学系统所改变。如果我们认为大脑拥有这些耦合动力学系统的生成模型，那么我们会期望在试图预测感觉输入的神经元动力学中看到吸引子。在层级设置中，高层吸引子的状态以非线性方式进入低层吸引子的运动方程，从而改变其流形的形状。这种形式的生成模型具有一些关键特征：
首先，模型中的任何层级都可以生成并因此编码结构化的事件序列，因为状态在流形的不同部分上流动。这些序列可以是简单的，例如中枢模式发生器（central pattern generators）的准周期吸引子（McCrea & Rybak, 2008），也可以表现出与混沌和游历动力学（chaotic and itinerant dynamics）相关的复杂序列（例如，Breakspear & Stam, 2005; Canolty et al., 2006; Friston, 1997; Haken, Kelso, Fuchs, & Pandya, 1990; Jirsa, Fuchs, & Kelso, 1998; Kopell, Ermentrout, Whittington, & Traub, 2000; Rabinovich, Huerta, & Laurent, 2008）。将吸引子作为生成模型基础的概念，扩展了用广义运动编码轨迹的概念，将其扩展到位于吸引子流形上的轨迹族。层级部署的吸引子使大脑能够生成并因此预测或表示不同类别的序列。这是因为任何低层吸引子都编码对应于结构化序列的轨迹族。在任何时候表示该轨迹的神经元活动决定了当前动力学在序列中的位置，而吸引子流形的形状则决定了当前正在表达哪个序列。
其次，如果高层吸引子中的状态改变了从属吸引子的流形，那么高层吸引子的状态就开始编码由低层吸引子所表示的序列类别。这意味着可以生成和表示序列的序列，并通过归纳表示序列的序列的序列等等。这依赖于任何皮层层级的神经元吸引子的状态为下方的吸引子提供控制参数。这必然需要高层吸引子的自上而下效应与低层吸引子状态之间的非线性相互作用。同样，这与真实大脑中自上而下连接的非线性效应完全一致。
最后，这个特定模型对感知的时间结构有影响。简而言之，高层表征的动力学展开比低层表征的动力学更慢。这是因为高层吸引子的状态规定了引导低层状态流动的流形，而低层状态可能变化得相当快。我们将在下文考虑构成鸟鸣的不同啁啾声（chirps）序列的感知分类时看到一个例子。这表明大脑中的神经元表征在较高层级变化得更慢（Kiebel et al., 2008; 另见 Botvinick, 2007; Hasson, Yang, Vallines, Heeger, & Rubin, 2008）。可以反过来运用这个论点，并利用我们能够识别序列的序列（例如，Chait, Poeppel, de Cheveigné, & Simon, 2007）这一事实，作为此类生成模型的存在证明。在下面的例子中，我们将试图展示自主动力学如何提供感觉输入的生成模型，当用电生理学方法测量时，其行为非常像真实的大脑。
4.2. 合成鸟类大脑
这里使用的玩具模型（toy example）涉及鸟鸣的生成和识别（Laje & Mindlin, 2002）。我们设想鸟鸣是由两个随时间变化的因果状态产生的，这两个状态控制着鸣禽鸣管（syrinx）振动的频率和振幅（见图2）。在生物力学层面，已经进行了大量使用吸引子模型来理解鸟鸣生成的建模工作（例如，Laje, Gardner, & Mindlin, 2002）。在这里，我们在更高层级使用吸引子，以对产生的声谱图（sonograms）提供随时间变化的控制。我们用洛伦兹吸引子（Lorenz attractor）的两个状态来驱动鸣管，一个控制频率（在2到5 kHz之间），另一个（在整流后）控制振幅或音量。选择洛伦兹吸引子的参数是为了每秒左右生成一个简短的啁啾声（chirps）序列。为了赋予生成模型层级结构，我们在第一个吸引子之上放置了第二个洛伦兹吸引子，其动力学速度比第一个慢一个数量级。较慢吸引子的状态作为控制参数（瑞利数 Raleigh number 和普朗特数 Prandtl number）输入，以控制第一个吸引子所展现的动力学。这些动力学范围可以从不动点吸引子（此时第一个吸引子的状态全为零）；一直到准周期和混沌行为，当瑞利数的值超过适当的阈值（约24）并引发分岔时。因为较高层级的状态演化得更慢，它们会开启和关闭较低的吸引子，从而生成不同的歌曲，其中每首歌曲包含一系列不同的啁啾声（见图3）。
4.3. 歌曲识别
该模型使用自主动力学生成自发的歌曲序列。我们生成了一首歌曲，大致对应于高层吸引子的一个周期，然后使用上一节描述的信息传递方案对随后的声谱图（总结为峰值振幅和音量）进行反转（求逆）。结果如图3所示，并表明在几百毫秒后，可以恢复真实的隐藏状态和上级因果状态。有趣的是，第三个啁啾声未被感知，因为第一级预测误差不足以克服模型的动力学和结构先验。然而，一旦随后的啁啾声被正确预测，接下来的啁啾声序列就以高度的条件置信度被识别出来。请注意，当序列中的第二和第三个啁啾声未被识别时，第一级预测误差很高，并且关于第二级因果状态的条件置信度很低（反映在较宽的90%置信区间中）。启发式地讲，这意味着听这首歌的合成鸟不知道正在发出哪首歌，也无法预测随后的啁啾声。
4.3.1. 结构与动态先验
这个例子提供了一个很好的机会来说明结构和动态先验的相对作用。结构先验由重塑低层吸引子流形的自上而下输入提供。然而，这个吸引子本身就包含丰富的在广义坐标中展开的动态先验。两者都为感觉状态的演化提供了重要的约束，从而促进了识别。我们可以通过损伤自上而下的连接来消除结构先验，或者通过切断介导动态先验的内在连接，从而选择性地破坏这些先验。后者涉及切断图1中因果单元和状态单元之间的自我连接。这两个模拟损伤实验的结果如图4所示。顶部面板显示了与前一面板相同的感知，即第一级和第二级的预测声谱图和预测误差。随后的两个面板显示了完全相同的内容，但没有结构（中间）和动态（底部）先验。在这两种情况下，合成鸟都无法识别该序列，并伴随着预测误差的相应膨胀，尤其是在感觉层面。有趣的是，与移除动态先验相比，移除结构先验对识别的影响较小。没有动态先验，就无法分割感觉流，并且尽管保留了频率跟踪，但动力学本身已完全失去了其节奏。尽管比较和对比结构与动态先验的相对作用很有趣；但这里的重要信息是，两者对于真实的感知都是必要的，并且破坏其中任何一个都会导致次优的推断。这两个经验先验都规定了动力学，使合成鸟能够预测接下来会听到什么。这就引出了一个问题：“如果歌曲提前终止会发生什么？”
4.4. 与省略相关的反应
我们重复了上述模拟，但在第五个啁啾声后终止了歌曲。相应的声谱图和感知及其预测误差如图5所示。左侧面板显示了如图4所示的刺激和感知，而右侧面板显示了对省略最后音节的刺激和反应。这些结果说明了两个重要的现象。首先，在歌曲提前终止后，会出现强烈的预测误差表达。这反映了识别过程的动力学性质，因为此时没有需要预测的感觉输入。换句话说，预测误差完全是由感觉输入的动力学模型所提供的预测产生的。可以看出，这种预测误差（有感知但无刺激）几乎与未感知到的第三和第四个刺激相关的预测误差（有刺激但无感知）一样大。其次，可以看出，在本应出现被省略的啁啾声时，存在一个短暂的感知。相对于预期的刺激序列，其频率略低，但其时间得以保留。从与省略相关反应的ERP（事件相关电位）研究的角度来看，这是一个有趣的模拟现象。这些模拟和相关的经验研究（例如，Nordby, Hammerborg, Roth, & Hugdahl, 1994; Yabe, Tervaniemi, Reinikainen, & Näätänen, 1997）为大脑的预测能力提供了明确的证据。在这个例子中，预测依赖于吸引子流形的内部构建，该流形定义了一族轨迹，每条轨迹对应于一首特定歌曲的实现。在最后一次模拟中，我们将更仔细地观察这些歌曲的感知分类。
4.5. 感知分类
在之前的模拟中，我们看到一首歌曲对应于一系列啁啾声，这些啁啾声由受自上而下输入控制的吸引子流形的形状所预先决定。这意味着对于高层吸引子状态空间中的每一点，都有一个对应的流形或歌曲类别。换句话说，识别或分类一首特定的歌曲对应于在高层状态空间中找到一个固定的位置。这为感知分类提供了一个很好的隐喻；因为高层吸引子的神经元状态隐含地表征了一类歌曲。反转生成模型意味着，在概率上，我们可以从一系列感觉事件映射到某个感知空间中的一个点；这种映射对应于感知识别或分类。这可以在我们的合成鸣禽中得到证明：通过忽略第二级吸引子的动力学，让鸟接触一首歌曲，并让第二级的状态在感知空间中优化其位置。为了说明这一点，我们通过将瑞利（Raleigh）和普朗特（Prandtl）变量固定为三个不同的值来生成三首歌曲。然后，我们对第二级因果状态（以前由第二级吸引子的隐藏状态驱动）放置了无信息先验，并以常规方式反转了模型。图6显示了针对单首歌曲的该模拟结果。这首歌包含一系列大约每250毫秒发出一次的相对低频的啁啾声。在第二个啁啾声之后，这首歌的因果状态（下图中的歌曲C）被恢复，具有相对较窄的置信区间（左下方面板中的蓝线和绿线）。然后我们对三首歌曲重复了这一过程。结果如图7所示。歌曲在顶部面板中以声谱图格式描绘，推断的感知因果状态在底部面板中描绘。左侧面板显示了所有三首歌曲的因果状态随刺激前后时间（peristimulus time）的演化，右侧面板显示了收敛后这两个状态在因果或感知空间中的相应条件密度。可以看出，对于所有三首歌曲，90%的置信区间都包含了真实值（红点）。此外，条件密度（灰色区域）之间几乎没有重叠，这意味着感知分类的精度几乎为100%。这是一个简单但很好的感知分类例子，其中具有扩展时间支持的感觉事件序列，可以通过自由能公式所蕴含的那种贝叶斯反卷积，映射到感知空间中的位置。
5. 结论
本文提出，皮层回路的架构指向了大脑中的层级生成模型。对这些模型的估计或反转（求逆）对应于对感觉输入进行广义反卷积，以揭示其原因。这种反卷积可以以一种在神经生物学上合理的方式实现，即神经元动力学在接触输入时进行自组织，以抑制自由能。本文的重点一直是层级模型的性质，特别是如何从感知的角度来理解神经元群体之间的信息传递。我们试图通过将模型反转相关的预测误差与观察到的电生理反应联系起来进行解释，从而证明其在经验观察方面的合理性。本文回顾的观点有着悠久的历史，从神经元能量的概念（Helmholtz, 1860/1962）开始；涵盖了有效编码和综合（合成）分析（analysis by synthesis）等观点（Barlow, 1961; Neisser, 1967），再到最近关于贝叶斯反转和预测编码的表述（例如，Ballard, Hinton, & Sejnowski, 1983; Dayan, Hinton, & Neal, 1995; Kawato, Hayakawa, & Inui, 1993; Mumford, 1992; Rao & Ballard, 1998）。这项工作还试图为以下观点提供支持：大脑利用动力学来表征和预测感觉域（sensorium）中的原因（Byrne, Becker, & Burgess, 2007; Deco & Rolls, 2003; Freeman, 1987; Tsodyks, 1999）。
原文链接：https://www.sciencedirect.com/science/article/pii/S0893608009001701
热门跟贴