自主活跃神经网络认知计算：一个新兴领域
Cognitive computation with autonomously active neuralnetworks: an emerging field
https://arxiv.org/pdf/0901.3028
摘要
人类大脑是自主活动的。理解这种自我维持的神经活动的功能作用，及其与感觉数据输入流之间的相互作用，是认知系统研究中的一个重要问题，本文在此回顾了理论建模的现状。
本综述将首先简要概述相关的实验研究，并在储备池计算（reservoir computing）框架下讨论瞬态与自我维持的神经活动。随后，重点将放在两种展现出持续进行的瞬态动力学的典型神经网络架构上：鞍点网络（saddle point networks）和吸引子遗迹网络（networks of attractor relics）。
自主活动的神经网络面临着两个看似矛盾的需求：稳定的内部动力学状态，以及对传入刺激的敏感性。我们表明，这一困境可以通过基于竞争性神经动力学的吸引子遗迹网络来解决，在该网络中，吸引子遗迹一方面相互竞争以获取瞬态主导地位，另一方面又与输入信号的动力学影响相竞争。
随后，无监督且局部的赫布式（Hebbian-style）在线学习使系统能够在内部动力学瞬态状态与感觉输入流之间建立起相关性。这种架构产生了一种涌现的认知能力。该系统能够在线且独立地对感觉数据流执行非线性独立成分分析，且在此过程中始终保持持续且自主的活动状态。这一过程将感觉输入的独立成分映射到吸引子遗迹上，从而使这些遗迹以此方式获得语义意义。
关键词：循环神经网络 · 自主神经动力学 · 瞬态动力学 · 涌现的认知能力
1 引言
大脑具有高度发达且复杂的自我生成的动力学神经活动，这一事实引发了一系列有趣的问题。这种自我维持的神经动力学（即其本征动力学，eigendynamics）是否具有核心的功能作用，从而组织起整体的认知计算活动？还是说，这种持续的自主活动仅仅作为一种背景，承担着次要的计算任务，例如非线性信号放大或神经编码的时间编码？
这个问题的答案不仅对系统神经生物学很重要，而且对整个认知计算领域的研究也具有重要意义。在本文中，我们将回顾基于这样一种观念的研究方法，即自主神经动力学对认知信息处理具有核心的调节作用。随后我们将论证，这一研究方向构成了计算神经科学和认知系统研究中一个新兴的领域。
在开始之前，先作一些初步说明。这是一篇主要侧重于内容而非技术细节的综述，对已发表的相关工作进行详尽无遗的讨论并非本文的目的。我们将给出并解释核心重要的方程，但对于所涉参数的数值以及仿真设置的细节，我们将引导读者参考相关文献。讨论将主要从认知系统理论的视角展开，即时刻考虑到未来完整的认知系统（类似于现实世界中活体动物的认知系统）的总体要求 [1,2]。
1.1 自主的大脑动力学
在实验方面，近年来对大脑中自诱发或自主的神经活动的研究取得了一些进展，尤其是通过功能性磁共振成像（fMRI）的研究 [3]，我们将首先讨论由此产生的一些关键问题。
认知神经科学中的绝大多数实验研究的是对特定人工或自然感觉刺激所诱发的神经反应，这些实验通常涉及预先训练过的给定任务。人们很早就认识到，神经反应表现出强烈的试次间（trial-to-trial）变异，这种变异幅度通常与反应本身一样大。对相同刺激的反应所表现出的这种可变性，是持续进行的内部神经活动的结果（相关讨论见 [4]）。在实验中，人们通常无法控制内部神经状态的细节，因此习惯上将其视为噪声源，并通过多次重复相同的实验来将其平均化消除。另一方面，众所周知，大脑的大部分能量消耗都用于内部过程 [5]，这表明持续且自我维持的大脑动力学具有重要的功能作用。目前主要讨论两种可能性：
(A) 内部神经活动本质上可能是一个随机过程，仅起次要的功能作用，例如非线性信号放大，或作为储备池计算（reservoir computing）用于神经信号的时空编码（理论综述见 [6]）。
(B) 内部神经活动可能代表了认知信息处理的核心，它受到感觉刺激的调节，但并非被输入信号直接且强力地驱动。例如，视觉信息处理 [7] 和注意力系统 [8] 的研究为这一情景提供了线索。
整体大脑动力学目前仍知之甚少，可能性（A）和（B）在不同脑区可能都具有功能上的相关性。在本综述中，我们将重点关注由第二种假设衍生出的延伸影响。在这方面有迹象表明，自主产生的不同类别的内部状态对应于动态切换的皮层状态，并且自发神经活动模式的时间序列并非随机的，而是由它们之间相互关联的程度决定的 [9]。此外，这些自发的皮层状态在本质上可能具有语义性，与感觉刺激诱发的状态 [10] 以及通过丘脑刺激诱导的神经活动模式 [11] 密切相关。实验研究中反复发现的第二个特征是，自发活动状态被组织成空间上负相关的网络 [12]，在放电率方面，这些状态在时间上呈现瞬态稳定，并在随后的状态之间快速切换 [13]。
这些结果表明，大脑中自我维持的神经活动的时间演化在某些方面具有瞬态动力学的形式，我们将在第2节详细讨论这一点，并探讨连续心智状态之间的高度联想关系。这种自发认知过程的形式被称为“联想思维过程” [14]。
目前仍在争论内在大脑动力学的哪些方面与意识相关。一方面，有观点认为，神经活动在负相关和瞬态稳定状态下的全局组织，也与意识的神经基础 [15,16]，即“观察的自我” [17] 有关。另一方面，人们发现，持续存在的默认模式网络（批判性视角见 [18]），即在缺乏明确刺激处理和任务执行时处于活动状态的脑区网络，在麻醉 [19] 和轻度镇静 [20] 状态下也保持活跃。在此背景下，值得注意的是，默认静息状态的某些方面可以受到冥想练习的影响 [21]。
1.2 储备池计算
“神经瞬态”（neural transients）一词用于描述被诱发的神经活动时期，这些活动在主要刺激信号消失后仍能保持短暂的稳定。在长时间缺乏刺激的情况下，基于神经瞬态的神经架构会恢复至静止的默认状态。因此，基于神经瞬态的网络设置在功能上介于纯粹的“刺激-反应”架构与展现出持续不断自主神经活动的系统之间。基于神经瞬态的一类重要神经架构是神经储备池（neural reservoirs），我们现在对其进行简要讨论。
如果一个循环神经网络不参与主要的认知信息处理，而是起辅助作用，则称其为储备池。图1展示了一种典型的架构。储备池是一个由人工神经元随机连接而成的网络，在没有输入的情况下，它通常只具有短暂稳定的活动，即储备池具有短期记忆。
在标准操作模式下，输入信号刺激网络，从而引发复杂的时空储备池活动。通常，储备池内部没有学习过程，储备池内的突触强度被认为是固定的。时间预测是储备池计算的标准应用范围。为此，储备池连接到一个输出层，并将输出神经元的活动与教学信号（teaching signal）进行比较。通过监督学习（无论在线还是离线），从储备池通向输出的连接随后会获得合适的突触可塑性。
储备池计算有两种基本形式。一种是使用离散时间速率编码（rate-encoding）神经元的“回声状态”（echo-state）方法 [22,23]，另一种是使用连续时间脉冲（spiking）神经元的“液态机”（liquid state machine） [24,25]。在这两种情况下，输入信号的维度（通常仅由单条线路组成）相对于储备池的规模来说很小，而储备池可能包含多达数百个神经元。因此，储备池会并行执行许多非线性信号转换，随后的类感知机输出神经元可以通过高效的线性学习规则来解决复杂的任务。
神经储备池是局部皮层网络（如微柱，microcolumns）的可能候选模型。最基础的储备池网络本身并不具备自主活动性，但从输出到储备池的反馈连接可能会稳定正在进行的动力学活动 [26]。无论如何，储备池网络都是上一节中定义的（A）类网络架构的实例。储备池的任务（即非线性信号转换）是自动执行的，且不包含任何语义内容。所有信息都存储在传出的突触连接中。
在功能层面上，储备池计算与“全局工作空间”（global workspace）的概念存在有趣的相似之处 [27,28]。全局工作空间被提出作为一个全局分布式的计算皮层储备池，它与众多涉及感觉预处理或运动输出等任务的局部外围网络进行交互。全局工作空间也被假定在意识过程中发挥核心的中介作用 [27,28]，代表着大规模小世界皮层网络中占主导地位的枢纽节点 [29]。
2 瞬态状态动力学
神经科学中的一个核心问题涉及神经编码（neural code），即信息传递和编码的方式（综述见 [30,31]）。需要牢记的是，大脑中可能不存在纯粹的信息传递，因为这将是一种资源浪费；信息在传递的同时也会被处理。基于这一前提，我们可以将编码问题区分为两个方面。
一方面，问题在于感觉信号如何在相对较短的时间尺度上反映在随后的神经活动中。用于这种短时编码的可用神经自由度包括平均放电率（速率编码，rate encoding）、瞬态的脉冲簇（transient bursts of spikes）以及脉冲的时间序列（时间编码，temporal encoding）。此外，单个神经元的反应或局部神经元集群（local ensembles）的反应可能都具有重要意义 [31,32]。
另一方面，随后的感觉信号处理（时间尺度通常超过25-100毫秒）可能涉及瞬态稳定活动模式形式的神经动力学，正如1.1节中所讨论的那样。图2展示了两种模型瞬态状态活动。交替的神经元子集要么处于不同程度的活跃状态，要么基本保持静默，从而形成了特征明确且具有一定离散性（discreteness）的瞬态状态。这种离散性应在更高层次上反映在相应认知过程的特性中。因此，在此背景下，目前关于视觉感知在时间域上是连续还是离散的持续讨论引起了人们的关注 [33,34]；在约100毫秒量级的时间尺度上，感知的离散成分可能与物体识别有关 [35]。因此，大脑中的瞬态状态动力学可能与语义识别相关，这一联系在基于竞争性神经动力学的瞬态状态动力学模型中也得到了印证。在下文中，我们将考察在几种已提出的认知架构中，自主瞬态状态动力学的出现及其语义内容。
2.1 鞍点网络与无胜者竞争
鞍点网络的概念基于以下前提：（a）内部持续的自主动力学组织认知计算；（b）在相同环境中，认知行为是可重复且确定性的 [36]。正如我们将在下一节中讨论的那样，第一个假设与吸引子遗迹网络共享，而第二个假设则不然。
从技术层面来看，所考察的是一个动力学系统，即一组包含 N 个一阶微分方程的系统及其相应的鞍点集合，参见图3。其前提条件是，每个鞍点仅具有单一的不稳定方向和 (N - 1) 个稳定方向。任何逼近该鞍点的轨迹随后都有很高的概率在靠近唯一不稳定分界线的地方离开它，因此系统具有一个唯一的极限环吸引子。这个极限环不需要是全局吸引子，但通常具有较大的吸引盆。在一次遍历过程中，大部分（甚至全部）鞍点会被依次访问，从而产生如图2所示的瞬态状态动力学，轨迹在靠近鞍点时速度会减慢。该概念发挥作用的另一个条件是异宿环的形成，它是相空间中在时间演化下保持不变的一个集合 [37]。这意味着，如图3所示，给定鞍点的不稳定分界线最终需要成为另一个鞍点的稳定分界线。这种行为通常只在底层微分方程在某些对称操作（如变量交换）下保持不变时才会发生 [37]。对于任何实际应用，都需要打破这些对称性，极限环将连同异宿序列一起消失。然而，如果对称性破缺的强度不是太强，可以通过在动力学中加入随机成分，将其以异宿通道的形式恢复。在存在噪声的情况下，在鞍点附近徘徊的轨迹可以探索靠近该鞍点的相空间的有限区域，直到找到不稳定方向。一旦轨迹随机找到了不稳定方向，它就会在相空间中沿着该方向迅速离开鞍点，从而在功能上恢复了异宿通道。因此，以鞍点网络为骨干的认知计算本质上依赖于适当的噪声水平。
在自然刺激的时间编码背景下，基于鞍点网络的认知计算被称为“无胜者竞争” [38]，并被应用于决策问题。在后一种情况下，与环境的相互作用可能会在鞍点处产生第二个不稳定方向，而决策则对应于轨迹所选择的不稳定分界线 [36]。
2.2 吸引子遗迹网络与慢变量
吸引子网络中存在一种平凡的（trivial）自我维持神经活动形式 [39]。从任何给定的初始状态开始，网络状态都会移动到下一个吸引子并停留在那里，此时所有神经元都保持着不同程度的恒定放电率，这正是吸引子网络被广泛视为神经记忆原型的原因 [40]。正因如此，吸引子网络对于认知系统而言是无用的，因为它需要外部帮助，或来自系统其他部分的刺激，才能离开当前的吸引子。
存在一种通用策略，可以将吸引子网络转化为展现出瞬态状态动力学的网络，其中瞬态神经状态对应于原始吸引子网络的不动点（fixpoints）。该过程适用于广泛的吸引子网络，其核心在于通过引入类似于局部活动储备池的附加局部变量来扩展相空间 [14]。
具体而言，如图3所示，让我们用 {xi} 表示吸引子网络的动力学变量集合，用 {φj} 表示附加的储备池变量。我们假设，当神经元处于活跃/非活跃状态时，储备池会被耗尽/填充，
这种情况如图3所示。在扩展的相空间 {xi, φj} 中，不再存在任何不动点。这并不是说，在相空间扩大后，吸引子仅仅是获得了额外的不稳定方向从而变成了鞍点。相反，相空间的扩大彻底破坏了原有的吸引子。然而，如果储备池是慢变量，即相对于原始吸引子网络的典型时间常数变化相对缓慢，那么轨迹在靠近吸引子遗迹（attractor ruins）时仍会显著减速，如图2所示。在这种情况下，进入储备池时间演化方程（方程1）的时间常数 Tφ 会很大。在 Tφ → ∞ 的极限情况下，储备池变为静态，动力学也就退化回了原始吸引子网络的动力学。
吸引子遗迹网络所展现的动力学与“混沌遍历”（chaotic itinerancy）的概念有关 [41]，其特征是轨迹在相空间中混沌地漫游，并在靠近吸引子遗迹的地方出现间歇性的瞬态稳定期。在这里，我们考虑的是由被破坏的点吸引子所产生的吸引子遗迹的情况。在一般情况下，人们也可以考虑例如极限环或奇怪吸引子。
此处概述的与慢变量的耦合是控制动力学系统的一种标准程序 [1]，并已被以各种方式用于生成和稳定瞬态状态动力学。一种可能性是在离散时间速率编码神经网络中使用动态阈值 [42]。在这种情况下，人们将神经元活动的滑动时间平均值视为慢变量，并且每当神经元长时间处于活跃/非活跃状态时，其阈值就会相应地升高/降低。另一种方法是向所有突触权重中添加慢变分量，以生成外部提供的神经模式时间序列 [43]。在下文中，我们将较为详细地概述一种生成瞬态状态动力学的方法，该方法以无偏团块编码（clique encoding）神经网络为起点 [44]，其中团块编码网络是一种密集且同质的联想网络（dHan）。
3 竞争性神经动力学
瞬态状态动力学在本质上具有竞争性。当当前的瞬态吸引子变得不稳定时，随后的瞬态状态是通过竞争过程来选择的。瞬态状态动力学是一种“多胜者通吃”（multi-winners-take-all）的过程，其中获胜的动力学变量联盟会抑制所有其他竞争活动 [45,46]。导致准稳态并伴有间歇性突变的竞争过程广泛存在，发生于自然科学或社会科学的许多领域。以达尔文进化论为例，这种类型的动力学被称为“间断平衡”（punctuated equilibrium）[1]。在关于意识的神经相关物（neural correlates of consciousness）的研究背景下，这些以竞争性神经集群获胜联盟形式存在的瞬态稳定状态，被提出作为人类心智状态的基本构建模块 [47,48]。
瞬态状态动力学的竞争性质如图4所示，其中展示了 dHan 网络模拟的一个代表性结果。在从一个获胜联盟向下一个获胜联盟过渡的过程中，许多神经元试图成为下一个获胜联盟的成员，而这最终由网络几何结构、突触强度以及参与神经元的当前储备池水平（reservoir levels）决定。
从一个瞬态状态过渡到下一个瞬态状态的时期，是动力学敏感性（dynamical sensibility）增加的时期。当将网络与感觉输入耦合时，输入信号可能会在争夺下一个获胜联盟的竞争中使天平发生倾斜，从而以这种方式调节正在进行的内部动力学活动。因此，瞬态状态动力学为实现此类神经架构开辟了一条自然途径：正如引言中所讨论的，对于这类架构，其本征动力学受到感觉数据输入流的调节，而非被其直接驱动。关于如何实现这一过程的具体示例，将在第4节中进行讨论。
3.1 团块编码
通常，大脑中在任何时候只有极小一部分神经元处于活跃状态，特别是在对记忆巩固至关重要的区域 [49]。出于优化能量消耗和最大化计算能力等多种原因 [50]，稀疏编码是一种普遍且强大的编码策略 [45]。稀疏编码可以通过两种方式实现：要么通过小型的非重叠神经集群（如在单胜者通吃架构中），要么通过重叠的神经集群。后一种途径得到了理论考量 [49] 和实验发现的双重支持。
在实验方面，多项关于海马体的研究表明，重叠的神经集群构成了实时编码情景经验和表征的重要构建模块 [51,52]。这些重叠的表征并非随机的叠加，而是具有联想连接关系的。例如，一个海马体神经元可能会对不同的女性面孔图片产生反应，但这些图片往往在语义上是相关联的，比如它们可能是同一部电视剧中女演员的照片 [53]。因此，编码重叠表征的记忆很可能形成了一个联想网络，这一猜想也与自由联想的研究相一致 [54,55]。
使用神经网络实现重叠神经编码的方法有多种。在这里，我们讨论团块编码（clique encoding）的情况。“团块”（clique）一词源于图论，正如朋友间的“小圈子”一样，它表示一个子图，其中（a）团块中的每个成员都与团块中的所有其他成员相连，并且（b）图中的所有其他顶点都不与该团块的每个成员相连。图5展示了一个小型图及其所有的团块。
图5还展示了团块之间的联想互连。人们可以将由此产生的图（以团块为顶点，以团块间的联想连接为边）视为隐式层次化对象定义的高层表征 [56]。图5原图中的团块 (4,5,9) 对应于一个初级对象，而在这种解释下，团块图中的元团块 [(4,5,9)-(2,4,6,7)-(4,5,6,8)] 将编码一个元对象，该元对象由初级对象 (4,5,9)、(2,4,6,7) 和 (4,5,6,8) 组成。然而，使用团块编码时实现层次化对象定义的这种内在可能性尚未在模拟中得到探索，这可能是未来研究的一个有趣方向。
团块可以高度重叠，并且在任何给定的图中可能存在数量非常庞大的团块 [57,65]。现在我们将构建一个神经网络，其中网络的团块就是吸引子。这是一个均匀随机且密集的联想网络（dHan），其中团块之间的联想关系由共同顶点的数量决定。从这个吸引子网络出发，我们将如第2.2节所讨论的那样，以局部储备池的形式引入慢变量。随后，该网络将展现出自发生成的瞬态状态动力学，其中神经团块作为吸引子遗迹。在第二步中，我们将把 dHan 网络与感觉刺激耦合，并研究内部自主动力学活动与数据输入流之间的相互作用。我们将发现，团块通过这种方式获得了语义内容，并被自主地映射到数据输入流的统计独立模式上。
3.2 吸引子网络
3.3 储备池活动
4 外部刺激的影响
dHan架构产生的瞬态状态动力学在动力学上是鲁棒的。同时，dHan动力学在从一个瞬态状态过渡到下一个瞬态状态的过渡期间，具有对外部影响敏感性增加的窗口，如图4所示。这些过渡期是活跃的神经元间竞争阶段，对传入信号的影响做出敏感反应。
4.1 新奇信号
具有非平凡且自我维持的内部神经活动的认知系统，必须决定如何以及何时通过相应突触可塑性中编码的相关性，来建立与感觉数据输入流之间的相关性。这显然是一个核心问题，因为输入数据流构成了认知系统语义内容的唯一来源。
如果指向 dHan 层的传入连接（即从输入端导向支持自我维持动力学活动的内部网络的连接）通过赫布型规则被持续修改，这显然是没有意义的，因为内部动力学和环境动力学这两个过程本身是互不相关的。然而，每当输入信号对内部活动产生影响，从而调节正在进行的联想思维过程时，建立这种相关性才是有意义的。从认知系统的角度来看，环境刺激对内部动力学的这种调节，对应于某种新奇且出乎意料的事件正在发生。因此，对于处理感觉数据且具有非平凡本征动力学的神经网络而言，新奇检测（novelty detection）至关重要。新奇检测对人类认知的重要性确实早已被广泛认可 [61,62]，并且最近有研究提出，传统上与强化奖励传递相关的多巴胺，可能在新奇信号的传递中发挥着作用 [67]。
4.2 传入连接可塑性：优化原则
既然已经确定了学习发生的时间，我们现在必须制定规则，以此管理学习如何修改传入 dHan 层的连接。为此，我们将使用赫布原则（Hebbian principle），即加强正的神经元间相关性并削弱负的相关性。然而，我们的系统是持续活跃的，在任何时刻，活动或突触强度都不会被重置。因此，赫布原则需要作为一个优化过程 [63] 来实施，而不是作为一个最大化过程，因为后者可能导致突触强度出现潜在危险的失控增长。
在 2 × 2 的赫布学习矩阵中有四个象限，分别对应于活跃/非活跃的突触前和突触后神经元，其中我们使用以下三条优化规则：
4.3 条形问题
关于环境的知识是所有认知的基础，在认知系统采取任何有意义的行动之前。对于简单的生物体，这种知识隐含在基因中，但一般来说，认知系统需要通过无监督在线学习，从感觉数据输入流中自主地提取这些信息。这项任务包括信号分离和特征提取，在波动背景以及不同且嘈杂的模式组合中识别反复出现的模式，即物体。对于线性信号叠加的情况，这个问题通过独立成分分析 [68] 和盲源分离 [69] 来解决，它们试图找到统计独立输入模式的独特表示。为了检查我们如图6所示的耦合到 dHan 层的输入层系统如何分析传入的环境信号，我们选择了条形问题（bars problem）[70,71]。
这里采用的学习方案是基于优化而不是最大化，正如第4.2节所强调的。因此，图9中展示的团块感受野不是黑/白类型的，而是分化的。当实现了足够的信号分离时，突触修改会逐渐关闭。这种行为与“通过错误学习”（learning by error）范式 [72] 一致，该范式指出认知系统主要是在犯错时学习，而不是在表现良好时学习。
我们可以从更宏观的角度来看待图9中展示的结果。新生动物的神经活动包括本能般的反射和身体功能的稳态调节。感觉信号的处理还没有任何语义内容，内部神经活动状态也还没有对应于环境特征，如形状、颜色和物体。撇开哲学上的细微差别不谈，神经活动只能通过与环境的相互作用来获得语义内容。这是一项艰巨的任务，因为光学或声学感觉信号通常过载了大量重叠的初级物体。因此，动物需要分离这些非线性叠加的信号，以获取关于环境的初级知识，并将独立信号（环境物体）映射到不同的神经活动模式上。
5 结论与讨论
迄今为止，无论是出于研究目的还是应用目的，所考虑的大多数神经网络都是广义的刺激-反应网络 [73,74]。通常，系统会有一个输入信号和一个输出结果，例如在语音识别中。在大多数情况下，网络在完成给定任务后、提供下一个输入信号之前，会被重置为预定义的默认状态。这种方法在许多情况下都非常成功，但这显然不是大脑在更高层次上的工作方式。因此，有必要考察一系列关于认知系统非平凡本征动力学（non-trivial eigendynamics）的范式化表述，并评估其特征和计算能力。
作为介于纯粹的刺激-反应网络与具有充分发展的本征动力学的系统之间的一种概念示例，我们在第1.2节讨论了储备池计算（reservoir computing）的概念。对于储备池网络而言，其动力学通常仍由输入信号诱发，并在没有任何输入时缓慢衰减。然而，任何给定的刺激都会遇到一个已经处于活跃状态的储备池网络，当前的储备池活动正是由先前的刺激引起的。因此，网络的响应取决于输入信号的完整历史，时间预测任务也由此构成了储备池计算的标准应用场景。
一种有些传统的观点（通常是隐含假设的）认为，大脑的本征动力学源于专门的独立认知模块之间的循环互连。这种观点意味着，只有在彻底理解了各个组成模块之后，才能尝试对自主的大脑动力学进行建模。在这里，我们探讨了一条替代路径，认为考察一系列关于本征动力学整体组织的理论提案的相互益处和计算能力是至关重要的。
在第2.1节中，我们考察了关于利用鞍点网络来组织本征动力学的首个提案。在这一框架中，内部神经动力学由异宿轨（heteroclines）引导，这一过程被称为“无胜者竞争”（winnerless competition）。这种神经架构旨在模拟可重复的认知行为，并且在没有感觉输入的情况下，由异宿通道构成的单一稳健吸引子即构成了本征动力学。
在第2.2节中，我们考察了这样一种观点：在没有感觉输入的情况下，非平凡的联想思维过程构成了自主动力学。对于任何有限（且孤立）的网络，这些思维过程最终都会转变为瞬态状态的极限环。然而，在这种架构中，并不存在唯一的极限环，而是存在许多可能的、重叠的思维过程，每一个都有其各自的吸引力。该方法所需的瞬态状态动力学是通过将吸引子网络与慢变量耦合而获得的，神经时间演化在由此产生的吸引子遗迹（attractor relics）附近会减慢。这是一个相当通用的过程，针对这一概念，广泛的、具体的实现方案都是可行的。
将具有非平凡本征动力学的神经网络与感觉输入相耦合，显然是一个核心问题。我们在第4节针对基于吸引子遗迹（attractor ruins）的瞬态状态动力学网络的情况对此进行了深入讨论，并在此背景下强调了两个功能原则：
(a) 内部瞬态状态动力学本质上基于竞争性神经动力学的概念。因此，假设感觉输入有助于这种神经竞争，从而调节已经在进行的内部神经竞争，是合乎逻辑的。感觉输入将产生调节作用，而不是强制驱动作用。具体而言，感觉信号不会使当前稳定的获胜联盟失活，而是会影响从一个瞬态稳定状态向随后的获胜联盟的过渡。
(b) 认知系统的本征动力学与由环境活动产生的感觉信号，在动力学上先验地是互不相关的。因此，只有当通过感觉信号实际发生了对内部神经活动的调节时，才应该在这两个动力学上独立的过程之间建立相关性。输入数据流对本征动力学的这种调节随后应产生一种内部强化信号，该信号对应于新奇信号（novelty signal），因为从认知系统的角度来看，输入导致内部思维过程发生偏离，就等同于发生了某种出乎意料的事情。
我们已经表明，这两个原则可以以一种直接的方式实现，从而产生一种可被称为“涌现的认知能力”（emergent cognitive capability）的结果。在上述两个一般性操作准则的影响下，系统能够自主地执行非线性独立成分分析。在认知系统的生命周期内，感觉数据输入流中统计上独立的物体被映射到瞬态状态网络的吸引子遗迹上。因此，内部联想思维过程获得了语义内容，瞬态状态的时间序列（即吸引子遗迹）现在对应于环境中的物体。
我们认为这些结果令人鼓舞，并且基于自主活跃神经网络的认知计算是一个日益重要的新兴领域。研究神经本征动力学的替代指导原则，探索内部自主动力学与感觉信号的耦合方式，以及研究通向运动输出的决策过程，将具有重要意义。由相互连接的自主活跃神经网络模块所构建的架构，最终可能会为演化认知系统（evolving cognitive systems）的发展开辟一条道路。
原文链接：https://arxiv.org/pdf/0901.3028
热门跟贴