A Review of Findings from Neuroscience and Cognitive Psychology as Possible Inspiration for the Path to Artificial General Intelligence
神经科学和认知心理学的发现回顾：作为通往人工通用智能之路的可能启示
https://arxiv.org/abs/2401.10904
1. Introduction
2. The Biological Neuron
- 2.1. The Structure of the Neuron
- 2.2. The Structure of the Chemical Synapse
- 2.3. The Formation of the Action Potential
- 2.4. Excitation and Inhibition
- 2.5. The Complexity of the Brain
3. Neuron Models
- 3.1. Hodgkin-Huxley Model
- 3.2. Izhikevich Model
- 3.3. Integrate and Fire (IF) and Leaky Integrate and Fire (LIF) Neurons
- 3.4. Spike Frequency Adaptation
- 3.5. The Compartmental Neuron
4. Spiking Neural Networks
- 4.1. Neural Coding
- 4.1.1. Rate Coding
- 4.1.2. Temporal Coding
- 4.1.3. Burst Coding
- 4.1.4. Comparison
- 4.2. The Computational Power of SNNs
- 4.3. Discussion
5. Learning Rules
- 5.1. Hebbian Learning
- 5.2. Extensions of Hebb’s Rule
- 5.2.1. Oja’s Rule
- 5.2.2. Sanger’s Rule
- 5.2.3. The ABCD Rule
- 5.2.4. BCM Rule
- 5.3. Spike-Timing Dependent Plasticity
- 5.4. Other Learning Algorithms
6. Neuronal Ensembles (Cell Assemblies)
7. Cell Assembly Models
8. Dynamic Models
- 8.1. Wilson-Cowan Model
- 8.2. Reservoir Computing
- 8.2.1. Echo State Networks
- 8.2.2. Liquid State Machines
- 8.2.3. Other Issues and Models
- 8.3. Attractor-Based Models and Other Dynamic Models of the Brain
9. Brain Anatomy
- 9.1. The General Structure of the Brain
- 9.2. The Cortical Lobes
- 9.3. The Visual Cortex
- 9.4. The Function of the Cortical Layers
- 9.5. The Language Areas
- 9.6. The Memory Areas
- 9.7. Grid Cells and Place Cells
- 9.8. The Decision-Making Areas
- 9.9. The Homogeneous Cortical Columns
10. Neuroscience Models
- 10.1. Hierarchical Temporal Memory
- 10.1.1. The HTM Neuron Model
- 10.1.2. Spatial Pooling Algorithm
- 10.1.3. Temporal Memory Algorithm
- 10.2. “A Thousand Brains” Theory
- 10.3. Other Models
11. Representations in the Brain
- 11.1. Numbers
- 11.2. Decisions
- 11.3. Actions
12. Vector Symbolic Architectures (Hyperdimensional Computing)
- 12.1. Fundamental Operations
- 12.2. Representation Methods
- 12.2.1. Tensor Product Representation
- 12.2.2. Holographic Reduced Representation
- 12.2.3. Other Representations
- 12.3. Analogical Reasoning
- 12.4. Representing Compositional Structures
- 12.4.1. Representing Symbols
- 12.4.2. Representing Numeric Values
- 12.4.3. Representing Sequences
- 12.4.4. Representing Graphs
13. The Neural Binding Problem
- 13.1. Variants of the Neural Binding Problem
- 13.2. Variable Binding
14. Cognitive Models
- 14.1. Global Workspace Theory
- 14.2. Conceptual Spaces
15. Categorization Models
- 15.1. Adaptive Resonance Theory (ART)
- 15.2. The Generalized Context Model (GCM)
- 15.3. ALCOVE
- 15.4. RULEX
- 15.5. ATRIUM
- 15.6. COVIS
- 15.7. SUSTAIN
16. Cognitive Architectures
- 16.1. ACT-R
- 16.1.1. General Architecture
- 16.1.2. Decision Making
- 16.1.3. Learning
- 16.2. SOAR
- 16.2.1. The Problem-Space Computational Model
- 16.2.2. General Architecture
- 16.2.3. The Spatial-Visual System
- 16.2.4. Working Memory
- 16.2.5. Semantic Memory
- 16.2.6. Episodic Memory
- 16.2.7. Producing Deliberate Behavior
- 16.2.8. Impasses
- 16.2.9. Chunking
- 16.2.10. Reinforcement Learning
- 16.3. The Standard Model of the Mind
- 16.4. Semantic Pointer Architecture
- 16.4.1. Using a VSA for Representation
- 16.4.2. The Structure of SPA
- 16.4.3. SPAUN
- 16.5. NEF (Neural Engineering Framework)
- 16.5.1. Representation
- 16.5.2. Transformations
- 16.5.3. Dynamics
- 16.6. NENGO (Neural Engineering Object)
17. Discussion: Challenges for AGI Systems
- 17.1. Dual-Process Theory
- 17.2. Jackendoff’s Challenges
- 17.3. Stability-Plasticity Dilemma
- 17.4. Symbol Grounding Problem
18. Conclusions
Abbreviations
References
摘要（上篇5万字，下篇4.6万字）
这篇综述旨在通过研究神经科学和认知心理学方法，为人工通用智能的发展提供潜在的启示。尽管深度学习模型在各个领域取得了令人印象深刻的进展，但它们在抽象推理和因果理解方面仍然存在不足。为了超越数据驱动的局限性并以更接近人类智能的方式支持决策制定，这些能力最终应该被整合到人工智能系统中。这项工作是一项纵向综述，试图对大脑功能进行广泛的探索，从较低层次的生物神经元、尖峰神经网络和神经元集合，到较高级别的概念，如大脑解剖学、向量符号架构、认知和分类模型以及认知架构。希望这些概念可以为人工通用智能的解决方案提供见解。
关键词：尖峰神经元、细胞集合、神经科学、分类、认知架构、人工通用智能
1. 引言
人工智能（AI）近年来取得了显著进展，主要得益于深度学习模型的出现。这些模型在解决以往难以解决的复杂问题方面表现出了高效性，特别是在处理图像、声音和语言等主要处理领域。此外，深度学习通过发展生成模型，在内容生成方面取得了重大突破，使得文本生成、问答和图像合成成为可能。
深度学习模型的成功在各种应用中都有所体现。在图像处理中，这些模型在物体检测、图像识别和语义分割等任务中取得了显著成果，往往在特定场景中超过了人类水平的表现。类似地，在声音处理领域，深度学习算法展示了在语音识别和音频合成方面的能力，推动了虚拟助手的发展。此外，在自然语言处理领域，深度学习技术使得机器能够处理和生成人类语言，推动了机器翻译、情感分析和文本摘要等方面的进步。
生成模型代表了AI的重大进步，能够跨越不同形式生成新颖且逼真的内容。例如，基于文本的对话代理展示了生成一致且与上下文相关的回应的能力。另一方面，图像生成模型展示了根据文本描述生成高质量图像的能力。这些进步标志着AI系统表达能力的显著提升，以及它们在与人类进行创造性互动方面的潜力。
尽管取得了显著成就，深度学习模型存在固有限制，这些限制阻碍了它们朝向人工通用智能（AGI）的进展。当面对抽象推理和因果关系识别任务时，它们的缺陷变得明显。虽然深度学习方法在模式识别和数据驱动任务方面表现突出，但在理解导致观察到的模式的基础因果机制时往往困难重重。这种限制在要求高级抽象推理的任务中尤为明显，人类智能在这方面明显优于AI。
深度学习模型的另一个重大缺点是它们需要大量的训练数据才能实现良好的性能，这使得它们在数据稀缺、获取成本高或根本无法获取数据的情况下不太实用。相比之下，人类具备通过抽象推理、理解因果关系和利用简洁规则有效推广知识的能力。
实现人工通用智能（AGI）的道路在于解决这些限制。将推理和因果关系集成到AI系统中将是关键，使它们能够超越数据驱动的任务，做出类似人类推理能力的明智决策和推断。
此外，知识的积累在追求AGI过程中至关重要。除了从大量标记数据中学习外，AI系统还应具备类似人类常识的知识积累能力。这涉及到融入关于世界的背景知识、情境理解能力，以及基于先前经验和推理做出决策的能力。通过这种方式，这些系统可以更接近人类的能力，弥补不完整事实或在意外情况下行动的能力。
在本文综述中，我们将概述一些有潜力推动AGI发展的研究方向。尽管深度学习目前主导了AI研究领域，但重要的是要认识到一些可能未受到足够关注的领域。尽管这些领域似乎不在AI社区的关注焦点之内，但它们仍在积极进行研究。
此外，我们应强调将AI研究与神经科学和认知心理学领域相连接的重要性。从这些学科中汲取灵感可以提供新的见解和机会，使我们更接近实现AGI的目标。
然而，即使在神经科学和认知心理学的领域中，也存在明显的鸿沟，即微观神经功能细节与人类认知中观察到的宏观现象之间的差距。在一个极端，我们对单个神经元的内部运作和不同脑区功能有相当深入的了解。另一方面，认知心理学已经识别和描述了支持记忆、注意力和决策等复杂心理过程的高级机制。然而，一个重要问题仍然存在：神经元活动与高阶认知功能出现之间的联系仍然知之甚少。
我们的重点是描述大脑和心智功能的特征，涵盖了从低层基本原理到高级认知操作的范围。我们主要关注描述理论原理，而不是探索实际应用和计算优化，因为这些常常会掩盖基础研究的重要性。
需要注意的是，我们的目标不是提供每个概念的详尽描述，因为这个领域广阔而多样化。鼓励感兴趣的读者进一步深入探索这些方面。许多调查报告往往局限于特定领域或子领域。我们的意图是通过涉及更广泛的问题谱系，并尝试提供更全面的视角，来更全面地了解人类大脑及可能实现AGI的复杂旅程。
2. 生物神经元
我们将从描述单个生物神经元的行为开始，这是传递和处理信息的神经系统的基本构建模块。在第3节中，我们将介绍在这方面开发的一些计算模型。
2.1. 神经元的结构
神经元的主要组成部分包括细胞体、树突和轴突（图2.1）。细胞体，也称为胞体，是神经元的中心部分。细胞体内含有细胞核，其中包含必要的遗传物质，支持神经元的功能，以及各种细胞器，支持其代谢过程。
树突类似于树枝，从细胞体延伸出来，作为神经元的输入接收器。这些树突延伸接收来自其他神经元的电脉冲信号。
神经元内的关键决策点是轴突初段，位于轴突从细胞体发出的位置。在这里，来自树突的电输入被集成。如果这些输入的累积强度超过了某个阈值，将触发电冲动的启动，通常称为动作电位或尖峰。动作电位是一种“全有或全无”的事件，意味着它要么以完全强度发生，要么根本不发生。一旦在轴突初段生成了动作电位，它就变得不可逆，并沿着轴突单向传播。
轴突是一种长而像电缆的结构，负责将动作电位信号传递给其他神经元，通常跨越相当大的距离。这个过程确保了神经系统内部信息的传播。在轴突的末端，有专门的结构称为轴突末端按钮（或小结），它们将轴突信号传递给相邻神经元的树突。这种传输通常通过化学突触实现，轴突末端释放神经递质，进而在接收神经元的树突中引发电信号，继续神经通讯链。
重要的是要提到，这是关于神经信号传递的典型描述，但在大脑中存在神经元结构和连接类型的变化。例如，作为例外，有些神经元具有多个轴突或完全缺乏轴突，而有些突触是电性而非化学性的。
一般来说，可以将神经元视为一种探测器，通过评估其被连接检测的特定条件来对特定刺激做出反应。就像电子系统中的探测器一样，神经元识别并响应特定的输入模式。数学建模中的神经元激活（“全有或全无”响应）与二进制探测器的功能紧密相似，需要达到一定的输入阈值才能触发响应。
神经元是单个细胞，产生并传递电信号，而神经是由结缔组织围绕着的许多轴突束，作为在身体各部分和中枢神经系统之间传递这些信号的通道。
将神经元与其他类型的细胞进行比较，我们可以提到神经元是体内寿命最长的细胞之一。许多神经元在人的一生中存在并且通常不会被替换。相比之下，体内大多数其他细胞的寿命有限，通过细胞分裂不断被替换。此外，神经元不通过细胞分裂进行再生。因此，它们的再生能力有限；如果它们受损或死亡，通常不会通过细胞分裂而被替换，而是通过神经可塑性（调整神经元之间连接的结构）或其他神经元承担部分失去功能的过程。虽然存在新神经元的产生（神经发生），但其程度有限。
此外，神经元具有高代谢和能量需求，这是由于它们持续的信号活动以及维持跨其细胞膜的离子梯度所致，如下文所述。平均而言，大脑消耗了人体总能量的约20%，尽管它仅占总体重的约2%。
2.2. 化学突触的结构
接下来我们将描述化学突触的基本结构和运作方式（图2.2）。突触是神经元之间通信发生的微观连接点。它充当了从一个神经元传递冲动到另一个神经元的桥梁。
传递神经元被称为前突触神经元，接收神经元被称为后突触神经元，它们之间由称为突触间隙的小间隙分隔开来。当动作电位到达前突触神经元轴突的末梢按钮时，它会触发从特殊结构称为突触小泡中释放神经递质。释放的神经递质会扩散过突触间隙。在后突触神经元膜上，存在专门设计用于与神经递质结合的受体位点。这些受体位点类似于锁，而神经递质则起到钥匙的作用。
当神经递质与其受体结合时，它们会触发后突触神经元膜电位的变化。这种变化可以是兴奋性的，使后突触神经元更有可能产生动作电位，或者是抑制性的，使其 less可能。后突触神经元接收到的这些兴奋性和抑制性信号的综合效应决定了它是否会产生自己的动作电位，并继续沿神经途径传递神经冲动。
神经递质释放到突触间隙后，已经完成了从一个神经元到另一个神经元的信号传递，它们会被清除以终止信号并防止持续刺激。神经递质再摄取泵专门用于重新吸收它们回到释放它们的前突触神经元中。
2.3. 动作电位的形成
最后，我们将简要描述神经元中动作电位（AP）的形成过程（图2.3）。
在神经元的静息和放电过程中，电力和化学力之间的相互作用起着关键作用，涉及多种类型的离子，本文将仅关注钠（Na+）和钾（K+）离子的作用。
在神经元的静息状态下，大部分Na+离子位于细胞外，而大部分K+离子则位于细胞内。细胞外的Na+浓度约为细胞内的10倍，而细胞内的K+浓度约为细胞外的25倍（Henley, 2021）。这种浓度不平衡（或梯度）产生了强烈的扩散力，使离子倾向于形成更均匀的分布。然而，扩散力受到电力的抵消。当神经元处于静息状态时，电力和化学（扩散）力彼此抵消达到平衡（O’Reilly et al., 2012）。这就是为什么神经元的静息膜电位约为-70 mV（图2.3中的状态1），而不是零。
当神经元接收到传入信号时，Na+离子通过配体门控Na+通道进入细胞。这些通道在特定神经递质结合后打开。正离子的流入导致膜电位正向变化。如果膜电位保持在激活阈值以下，称为分级电位（图2.3中的阶段2），神经元不会产生动作电位。随后，神经元膜电位主要由正离子（如K+）的扩散离开细胞直到达到平衡，返回其静息状态。
然而，如果膜电位超过激活阈值，大约为-55 mV，这将触发电压门控Na+通道的打开。这些通道仅在细胞膜电位（电压）发生变化时才会打开。因此，Na+离子迅速流入细胞，使细胞膜的电荷反转。这个过程称为去极化（图2.3中的阶段3），并且它引发了动作电位的生成。去极化沿着细胞膜传播，促使电信号在轴突上传输。因此，膜电位达到了正值，大约为30-40 mV。
此时，电压门控K+通道也会打开。由于K+离子在神经元内部浓度更高，它们沿着电化学梯度流出细胞。这些正电荷离子的向外运动使神经元膜重新极化，这个过程称为复极化（图2.3中的阶段4）。
离子的运动取决于它们通过神经元细胞膜上的离子通道的电导率（电导率是电阻的倒数：G = 1 / R）。虽然Na+的电导率在图2.3中的动作电位形状中变化非常类似，但K+的电导率开始在稍后的动作电位峰值附近增加，经过复极化阶段的中点后达到最大水平，然后逐渐减少，但在细胞膜达到静息电位时并不达到最小值。
电压门控K+通道会保持打开稍长一段时间，导致超极化阶段（图2.3中的阶段5），这是由于K+离子的过度流出造成的。此外，神经元还具有K+泄漏通道，允许K+离子持续 passively 从细胞中流出，从而加剧了正电离子的流出。此时神经元进入不应期，这使得再次生成动作电位变得更加困难，因为需要更大的刺激来达到阈值。超极化允许神经元在响应另一个信号之前恢复。动作电位过多可能会有害，导致癫痫发作或心律失常等病症，而动作电位过少可能会导致肌无力、瘫痪或感觉和认知障碍等病理状态。因此，超极化在帮助细胞维持稳态（即确保稳定和相对恒定的内部环境）方面起着至关重要的作用。
随后，神经元膜电位再次回到静息状态，主要是由于正电离子（如Na+）通过膜内向外扩散，直到达到电化学平衡。
虽然所述的机制依赖于Na+的流入和K+的流出，单个动作电位的流动足够小，不会显著改变细胞内离子的浓度，因此也不会显著改变平衡电位。然而，长期来看，多个动作电位可能会逐渐影响离子浓度。维持静息状态的主要手段是钠-钾泵。Na+/K+泵是存在于所有动物细胞膜上的一种酶，其作用是将Na+从细胞内排出并吸收K+离子。在一个功能周期内，它交换3个Na+离子以获得2个K+离子（Byrne, 2023）。这是一个需要能量的主动过程。
因此，动作电位后K+和Na+浓度的小量耗竭是由Na+/K+泵恢复的。然而，这种补充并不需要立即启动下一个动作电位。在一个神经元内部，离子梯度足以生成大约10,000个动作电位，而无需依赖Na+/K+泵。
完整的动作电位周期持续时间很短，大约在1-5毫秒之间，具体取决于神经元类型和动物物种的不同。在大脑皮层中发挥重要认知功能的锥体神经元可以以每秒几个脉冲到超过100个脉冲的速率发放动作电位，这取决于任务和环境。
上述过程涉及兴奋性突触，增加了后突触神经元发放动作电位的可能性。在大脑中，还存在具有相反作用的抑制性突触。这类突触通过不同的机制运作。例如，兴奋性突触中主要使用的神经递质是谷氨酸，而抑制性突触中主要使用的是γ-氨基丁酸（GABA）。这两种神经递质在大脑中非常普遍，超过一半的大脑突触使用谷氨酸，大约三分之一使用GABA（Genetic Science Learning Center, 2013）。
抑制性突触的关键机制涉及氯离子（Cl–）的运动进入细胞。这些带负电的离子流入使神经元内部更加负电（超极化），远离触发动作电位所需的阈值。因此，神经元达到发放阈值的可能性降低。
2.4. 兴奋与抑制
虽然在多层感知器（MLP）中连接权重（对应生物神经元中的突触效能）可以是正或负的，但在大脑中神经元遵循戴尔原则（Eccles, 1986），即一个神经元不能同时具有兴奋性和抑制性突触。因此，我们可以认为生物神经元可以是兴奋性的或抑制性的。
兴奋性负责跨神经元之间的信号传输，支持信息的传播。兴奋性神经元在不同的皮层区域之间建立长距离连接，学习主要发生在它们之间的突触上。
另一方面，抑制性通过防止过度发放神经冲动和维持网络活动的平衡水平来控制神经活动。它对于时间精确性至关重要，同步神经发放，增强信号之间的对比度，调节网络振荡，并调整神经元对输入的敏感性。
在人类大脑皮层中，兴奋性神经元的百分比约为80-85%（Bratenberg, 1989; O’Reilly & Munakata, 2000; Nowak, Sanchez-Vives & McCormick, 2007），因此兴奋性神经元和抑制性神经元的数量比大约是4:1。
2.5. 大脑的复杂性
人类大脑是一个非常复杂的器官，具有广泛的神经机制。在这种复杂性的核心是大量的神经元和突触。成年人的大脑估计包含86 ± 8亿个神经元（Azevedo et al., 2019）。神经元之间通过大约100万亿个突触连接。平均而言，每个神经元大约有1万个树突接收来自其他神经元的输入，而轴突连接到大约1万个神经元以传递其输出（White, 1989; Abeles, 1991; Braitenberg & Schüz, 1998）。
此外，大脑由多种类型的神经元组成，每种神经元具有独特的特征和功能。在皮层神经元中，轴突可以长达数毫米，但人体中最长的神经元位于坐骨神经，其轴突长度可达60厘米。
神经通讯中涉及到100多种神经递质（Eliasmith, 2015），起着重要作用。除了前文提到的谷氨酸和GABA外，一些最为人熟知的神经递质包括多巴胺、5-羟色胺、乙酰胆碱和肾上腺素，每种都具有独特的功能和对行为及认知的影响。
神经元模型
今天最常见的人工神经元类型是感知器，它在各种形式的MLP神经网络中充当基本构建块。这也被称为点神经元模型。其输出表达为：
3.1. 霍奇金-赫胥黎模型
霍奇金-赫胥黎（Hodgkin-Huxley）模型是一个基础的数学框架，用于描述生物神经元的电生理特性。1952年，霍奇金和赫胥黎在巨型鱿鱼神经轴突上进行了一系列实验，该轴突直径约为0.5毫米，因此是研究的理想对象。相比之下，大多数鱿鱼和其他物种神经系统中的轴突要细得多，例如人类典型神经元的直径为1-2微米。
他们将神经元的电特性表示为等效的电路。一个电容器代表细胞膜，两个可变电阻代表电压门控的钠离子通道和钾离子通道，一个固定电阻代表由于Cl-离子而产生的小漏电流，三个电池代表由细胞内外离子浓度差产生的电化学电位。
该模型的基本方程为：
其中，Is代表刺激电流，Ii代表离子电流，表示为三种电流的总和 - 钠离子电流（Na+）、钾离子电流（K+）和漏电流：
门控变量n、m和h也由附加方程建模：
我们包含这些方程式是为了强调这一被广泛认可的神经元行为的数学模型的复杂性。然而，我们不打算深入讨论涉及的参数的含义和具体数值。这些参数在表3.1中简要列出（Nelson, 2004; Coombes, 2010; Wells, 2010）。
这些参数的值是近似的，以使方程式与实验数据吻合。我们应该提到，方程式（3.5、3.6、3.7）与原始论文（Hodgkin & Huxley, 1952）中的方程式略有不同，因为当前使用数值技术如欧拉方法来解决微分方程，而在1950年代，作者们不得不使用更为原始的方法进行手工计算（Wells, 2010）。此外，他们研究中使用的乌贼的动作电位数值与人类神经元中测量到的数值有些许不同（见图2.3）。
当没有外部刺激时，Hodgkin-Huxley模型的动态会达到稳定状态，即静息电位。因此，为了产生一个动作电流，必须添加一个刺激电流 Is。图3.1展示了在加入阶跃输入电流的情况下，Hodgkin-Huxley神经元的表现示例。
3.2. 伊热凯维奇模型
正如我们所看到的，Hodgkin-Huxley模型非常复杂。Eugene Izhikevich（2003年）设计了一个简单得多的模型，但却能够复现生物神经元中的大量行为。它仅由两个微分方程和一个非线性测试条件组成：
V和U被构想为无量纲变量；然而，通过将第一个方程中的系数与皮层神经元的动态拟合实验数据，可以将V解释为神经元的膜电位，而将U解释为考虑离子电流效应并对V施加负反馈的变量。该模型还为参数a、b、c和d提供了适当的值。通常阈值θ = 30。除了其用于模拟多种行为的潜力外，该模型的主要优势在于其计算效率。作者报告称，在1 GHz计算机上，可以以1毫秒的分辨率实时模拟数万个尖峰神经元（Izhikevich，2003）。
3.3. 积分-火和漏积分-火神经元模型
更简单的模型是漏积分-火（LIF）模型（Koch & Segev, 1998）。神经元的行为类似于一个积分器：当它接收到外部刺激或输入信号I时，其膜电位增加。膜电位随时间衰减，因此当没有刺激时，电压会缓慢返回到静息电位Vr。当电压V达到阈值时，神经元产生一个尖峰（动作电位），然后V被重置为Vr。类比于第3.1节中考虑的电路，LIF模型基于以下形式的微分方程（其中τ是膜时间常数，类似于学习率的倒数）：
然而，软件模拟通常采用离散时间动态。因此，漏积分-火（LIF）模型的等效表述是（Jin et al., 2022）：
在这个方程中，V代表膜电位或电压，I代表输入电流或刺激，α是泄漏或衰减因子，决定了膜电位随时间趋于零的速度。可以注意到方程（3.12, 3.13）模拟了一种标准化的活动，其中静息电位为0，产生尖峰的阈值为1。
可选地，在发生尖峰后，可以保持V = 0多n个时间步，模拟神经元无法产生另一个尖峰的不应期。在方程（3.12）中，α通常属于（0, 1）范围内，通常接近1（例如，0.9），而刺激I通常接近[0, 1]范围内的0，以允许多个时间步直到发生尖峰（例如，0.1或0.2）。
虽然比其他模型缺乏生物学细节，LIF提供了一种计算高效的方式来模拟尖峰神经网络。
更简单的模型是积分-火（IF）模型，它与LIF类似，但不包括衰减因子：
3.4. 尖峰频率适应
尖峰频率适应（SFA）是神经元中观察到的一种生理现象，即神经元在持续输入刺激下的射频率有逐渐减少的趋势。换句话说，当神经元接收连续输入时，其射频率逐渐降低，随着时间的推移生成的动作电位（APs）变少。这种现象也称为适应性，即神经元对输入的快速变化变得不太敏感，而对长时间尺度内发生的变化更为敏感。
当与LIF神经元结合使用时，SFA的思想转化为在神经元产生尖峰后增加其阈值，在没有尖峰发生时将阈值降低到其正常值（例如1）。以下方程描述了这一过程。使用θ(t)作为动态阈值，而不是1。β和γ是控制阈值增加和减少的参数。
Figure 3.2 展示了LIF神经元和带有SFA的LIF神经元之间的比较。从计算的角度来看，SFA可以具有各种功能上的影响，例如，它可以有助于调节在尖峰神经网络中兴奋性和抑制性信号之间的平衡（见第4节）。
3.5. 分区神经元
在许多模型中，包括多层感知器，突触被统一对待，没有考虑到特定的树突类型或树突处理。然而，与这种传统方法相反，分区神经元模型认识到区分不同类型的树突（即近端（基底）和远端（顶端））的重要性。在第10.1节中，我们将看到这种区分是如何应用于受到神经科学启发的分层时间记忆模型中。
近端（附近）树突靠近神经元细胞体，作为接收来自邻近神经元的传入信号的主要部位。远端（远程）树突从细胞体延伸得更远，通常进入神经元感受场的更远区域。
在（Schubert & Gros，2021）中，提出了一个两隔室模型，该模型解释了近端和远端输入之间的非线性相互作用。这项研究的主要动机是，皮质中生物锥体神经元细胞的一些动态特性无法使用简单的点神经元模型来重现（Spruston等人，1995；Häusser等人，2000）。当来自近端和远端来源的突触输入同时发生时，神经元表现出高尖峰活动，这比仅通过近端突触输入可能的最大放电率要大。这表明了一种远端和近端刺激之间的时间巧合检测形式。
这里提出的神经元模型是一个离散时间速率编码模型，即其输出表示神经元在某个时间步长的尖峰频率。实际上，这意味着它的输出是一个实数值，就像经典MLP神经元的输出一样。该模型假设两个不同的输入变量Ip（总近端输入）和Id（总远端输入）。它们可以是正数或负数，再次类似于MLP神经元的情况。隔室神经元的输出为：
该论文还在方程（3.21）中使用了某些阈值，但由于它们的值也被提供（例如，一些阈值被设置为0，另一个设置为-1），这些值被直接包含在内，以简化表达式。这个方程本身就是（Shai等人，2015）中描述的现象学模型的简化版本。
根据这个方程，在（Ip，Id）平面上有两个不同的神经激活区域，如图3.4所示。当输入电流Ip和Id都很大时，第二项占主导地位，导致y≈1。当Ip为正且Id为负时，会出现中等活动平台。因此，隔室模型区分了低活动水平的神经元（例如，在α=0.3时）和强烈爆发的神经元，其中最大放电率为1。在中等活动平台中，神经元在没有远端刺激的情况下处理近端输入。远端电流作为一个调制器。在图中，最大值为1的区域出现在右上角象限，两种类型的输入都处于活动状态，而值为α=0.3的区域出现在右下角象限。这意味着当只有近端输入处于活动状态时，只能达到最大放电率的30%。
4. 尖峰神经网络尖峰神经网络（SNN）旨在紧密模仿真实神经元的行为，强调神经信号的时间方面。与传统的多层感知器等人工神经网络不同，SNN使用离散事件（尖峰）来表示神经元激活。这些尖峰的时间和速率允许SNN捕获数据中精确的时间动态。
SNN的基本组成部分是尖峰神经元，它随时间累积输入信号，并在达到某个阈值时发出尖峰。神经元之间的突触连接由权重表征，这些权重决定了神经元活动对另一个神经元的影响。当一个突触前神经元发出尖峰时，这个脉冲（例如，归一化为1）乘以将其连接到突触后神经元的突触权重。然后，突触后神经元随时间整合加权输入。当其膜电位达到某个阈值（例如，也为1）时，它会依次发出尖峰，并重置其膜电位（例如，到0）。然后，这个尖峰通过相应的突触权重传输到其他神经元，影响它们的膜电位，依此类推。
4.1. 神经编码
SNN从生物神经元中获得比MLP更深入的灵感。神经元通信的一个重要方面是使用尖峰。生物神经元的另一个关键特征是稀疏性。神经元大部分时间都处于静止状态；在任何给定时刻，只有一小部分神经元处于活动状态。一个相关的概念是“静态抑制”（或“事件驱动处理”）。例如，在感觉系统中，神经元对输入的变化比对静态、不变的信号更敏感。这种对动态信息的响应性使大脑能够优先关注相关刺激，同时过滤掉恒定的背景输入（Eshraghian等人，2023）。这些原则导致了SNN中信号的编码和处理方式。
4.1.1. 速率编码
一种编码机制是速率编码，其中输入刺激x被转换为发射率或尖峰计数。输入的强度越高，产生的尖峰就越多。在这种方法中，感觉输入的强度对应于神经元的发射率。例如，更亮的光线导致更高的发射率，而更暗的输入导致更低的发射率。神经元在一定时间间隔内产生的一组尖峰被称为尖峰序列。在速率编码中，由于神经元的发射率是已知的（与x成正比）且恒定，因此产生的尖峰序列遵循泊松分布，用于描述在固定时间间隔内发生的事件数量。
设k为时间间隔内的总尖峰数，T为时间间隔的长度。那么平均发射率r = k / T。有两种常用的方法来生成泊松尖峰序列（Heeger，2000）。第一种是基于这样的想法：在一个短子区间Δt内发生尖峰的概率近似等于rt Δ。因此，总时间间隔被划分为一组短时间间隔（bin），并为每个bin生成一个均匀随机数ui ∈[0,1]。如果ui ≤ rt Δ，我们认为在第i个bin中发生了尖峰。
与SNNs的特征离散尖峰不同，发射率是一个实数值，可以与MLP神经元的激活函数的输出进行比较。对于单个神经元，两者并不等同，因为SNNs中的尖峰序列包含MLP神经元的瞬时激活中不存在的时间信息。然而，在统计背景下，例如，通过分析SNN神经元群体，MLP神经元的激活可以被视为代表一组尖峰神经元的平均发射率。
4.1.2. 时间编码
另一种神经编码方法是时间编码。在这里，输入刺激的强度决定了尖峰何时发生。例如，首次尖峰时间机制将较大的刺激编码为较早的尖峰。
感觉系统中的神经元表现出对广泛动态范围内的刺激做出反应的巨大能力。因此，尖峰时间和输入特征强度之间经常使用对数关系。我们将在第11.1节中遇到这种对数关系，该节专门讨论大脑中数量（与数字相关的量）的表示。
时间编码作为一种神经策略，可以缓解速率编码的一些缺点。它使大脑能够快速准确地解码复杂的感官输入，这在需要快速反应时间的场景中是至关重要的。在感觉处理中，有一些情况，例如，速率编码太慢，无法提供人类受试者观察到的必要速度。这些情况包括：声音定位，短暂刺激需要快速响应，视觉编码，特别是在高对比度情况下的边缘检测，以及味觉和嗅觉系统中相似刺激的辨别。此外，大脑的能耗估计低于仅使用速率编码所需的情况。
虽然时间编码方案比速率编码更复杂，但我们可以提到，例如，在一种简化的形式中，（Park等人，2020）在名为T2FSNN（深度SNN的首次尖峰时间编码）的模型中提出的想法，具有编码和解码阶段。
编码阶段将动态输入（或膜电位）Vi转换为尖峰时间si：
其中i是神经元的索引，τ是时间常数，r是定义为后续解码（或发射）阶段开始时间的参考时间，δ是时间延迟。该模型假设一定数量的层，信号在层之间传播。τ和δ是每个层的可训练参数，但为了简单起见，它们可以对所有层具有相同的值。
在解码阶段，突触后神经元整合在前一阶段编码为单个尖峰的信息：
其中w是突触权重。神经元是IF神经元，因此它们在相应的时间连续整合每个尖峰，除了权重之外，由于指数变换，较早的尖峰具有更大的影响。
时间编码可以用于分类任务（Comșa等人，2020），基于其对应的输出神经元首先尖峰的类别。在生物学背景下，获胜神经元可以通过侧向抑制来抑制邻近神经元。在机器学习中，受抑制神经元的尖峰时间可以按后续尖峰的顺序建议替代预测。
相关文献还包括反向编码方法（Zhang等人，2019），其中输入刺激越强，相应的神经元就越晚发出尖峰。
4.1.3. 突发编码
速率编码和时间编码是神经编码过程的两个极端。然而，还有其他类型的编码。例如，在突发编码（Park等人，2019）中，考虑一个归一化的刺激x ∈[0,1]，神经元在时间间隔T内产生的尖峰数为：
其中nmax是尖峰的最大数量，通常不超过5（Buzsáki，2012）。
这些尖峰然后在指定的间隔内均匀分布，尖峰间间隔（Guo等人，2021）为：
因此，x刺激越大，尖峰的数量就越多，但与速率编码不同，它们是均匀分布的。突发也会导致不遵循泊松分布的尖峰序列。突发编码的优点是，在噪声存在的情况下，它比单尖峰时间编码更可靠。
4.1.4. 比较
速率编码和时间编码提供了不同的优势。速率编码通过随时间出现多个尖峰提供了容错性。这种冗余减少了错过事件的影响。此外，速率编码产生更多的尖峰，在使用基于梯度的算法时，这增强了学习的梯度信号。另一方面，时间编码通过产生更少的尖峰来实现更好的功率效率。这减少了专用硬件中的动态功耗，并由于稀疏性而最小化了内存访问频率。时间编码在需要快速响应的场景中特别有效，因为单个尖峰有效地表示信息，使其成为具有时间限制的任务的理想选择。这与生物学中的观察结果一致，大脑通过神经元中的低平均发射率来优化效率。
4.2. SNNs的计算能力
Maass（1997）表明，就某些任务所需的神经元数量而言，SNNs在计算上比使用sigmoid激活函数的MLPs更强大。他还证明了SNNs和MLPs作为通用函数逼近器是等价的。
为了展示SNNs的（理论）优越性，他考虑了一个“元素不同性”函数ED：(ℝ+)n → {0, 1}，定义为：
然后，他提出了一个不太直观的ED变体，定义为：
如果存在k ≥ 1，使得x1, x2, x3, x3k+1, x3k+2, x3k+3具有相同的值，则为1； 如果ℝ+中长度为1的每个区间最多包含3个输入xi的值，则为0； 否则为任意值。
作者证明了这个函数可以由单个尖峰神经元使用时间编码来计算，因为它只需要在两个相邻的三个突触块接收到同步兴奋性电位时才发射。他还发现了sigmoid MLP所需的隐藏单元数量的下限，对于n = 10000，这可能超过1000。
这绝对是一个巨大的差异，有趣的是，它是针对检测输入之间相似性的通用问题的版本发现的。从同一类别中，我们有xor问题，它不能由单层感知器学习。
进一步推广SNNs的通用性，在（Vineyard等人，2018）中描述了使用时间编码实现几种基本算法，例如计算最小值、最大值和中位数，排序，最近邻分类，甚至更复杂的神经模型，自适应共振理论，将在后面的第15.1节中描述。
4.3. 讨论
SNNs和MLPs在结构、行为和应用方面表现出差异和相似之处。
一个关键的区别是，SNNs显式地模拟神经元尖峰的时序，模仿真实神经元的时间动态，而MLPs将输入数据作为静态快照处理，没有显式的时间表示。SNNs可以使用更符合生物学的学习规则进行训练（在第5节中介绍），这些规则可以根据尖峰的精确时序调整突触权重，而MLPs主要使用梯度下降算法，如反向传播及其现代变体进行权重更新。此外，由于SNNs的事件驱动处理特性，它们往往具有更高的能源效率，仅在必要时激活神经元，而MLPs通常需要连续计算，因此消耗更多资源。
然而，它们也有相似之处。SNNs和MLPs都由相互连接的神经元层组成，适用于分类、回归和模式识别等任务。在SNNs中，神经元基于膜电位的积累和发射阈值产生输出尖峰，反映了MLPs，其中神经元使用输入的加权和后跟一个激活函数来计算激活。这两种模型都依赖于输入累积的思想，并且它们都包括对这个净输入进行非线性转换的思想。
SNNs具有各种优点和缺点，这些优点和缺点会影响它们在不同任务中的适用性和性能。
讨论它们的优点，与传统神经网络（如MLPs）相比，它们表现出更高水平的生物学合理性。SNNs擅长处理时间信息和序列，使它们适用于涉及语音识别、事件预测和时间序列分析的任务。它们通过尖峰模式编码时序的内在能力在事件顺序和时序至关重要的场景中提供了显著的优势。SNNs还表现出对输入噪声的鲁棒性，依赖于随时间推移的尖峰模式，而不是确切的连续值。
然而，SNNs也存在一些值得注意的缺点，需要加以考虑。首先，它们的复杂性是一个突出的挑战。与传统的NNs相比，开发和训练SNNs本质上更加复杂。在大规模网络中，由于硬件限制，可扩展性可能是一个问题。SNNs的学习和训练过程，特别是当使用生物学上合理的学习规则时，可能比MLPs中使用的反向传播变体更慢、更困难。此外，SNNs通常依赖于稀疏表示，这可能导致在某些应用中过度拟合或未充分利用可用资源。最后，SNNs的可解释性和表达能力带来了挑战。尖峰模式和网络行为之间的复杂关系可能使解释和理解SNNs的内部表示和决策变得更加困难。
尽管尖峰神经元是现实大脑建模的基础，但如果目标是解决认知能力，直接使用它们可能过于底层。这可能就像用汇编语言编写智能算法一样。这就是为什么，在第7节中，我们将描述在神经元组级别上运行的模型，称为“细胞集合”。
5. 学习规则
在本节中，我们将介绍几种神经网络的学习规则，这些规则比经典的反向传播算法及其最近的扩展更具生物学合理性。
反向传播被认为不具有生物学合理性，因为错误传播是通过与神经元激活不同的机制发生的。在等效的生物环境中，需要一个全局错误信号，提供关于网络实际性能与期望输出相比的信息，该信号需要从突触后神经元的树突传播到突触前神经元的轴突。实际上，这种通过网络向后传播以调整权重的明确的全局错误反馈并不存在，尽管确实存在错误后发生变化的想法。此外，梯度编码的实际数量没有生物学对应物。
总的来说，大脑中的学习依赖于更局部的学习规则，神经元根据邻居的活动模式调整它们的连接。
单层感知器中使用的简单delta规则可以被视为生物学上合理的，因为权重的变化取决于局部错误。正是通过MLP的隐藏层的梯度传播不太合理。
生物突触也表现出各种形式的可塑性，包括神经元尖峰的时间，这些可塑性更复杂，通常涉及超出简单基于梯度的调整的多个因素。
5.1. Hebbian学习
Hebbian学习描述了一种基于突触可塑性的基本学习原则，即神经元之间连接（突触）的强度能够响应神经活动而改变。它以唐纳德·赫布的名字命名，经常被总结为著名的短语：“一起激发的细胞（神经元），一起连接”。
Hebb的规则实际上是这样表述的：“当细胞A的轴突足够接近以激发细胞B，并反复或持续地参与激发它时，一个或两个细胞中会发生某种生长过程或代谢变化，使得A的效率，作为一个激发B的细胞之一，得到提高”（Hebb，1949）。简单来说，如果两个神经元经常同时活跃，它们之间的突触就会加强。如果神经元A总是在神经元B之前激发，那么从A到B的突触就会变得更强，使得A的活动在未来更有可能触发B的活动。
这一原则基于这样一种观点，即大脑中的学习和记忆形成是频繁一起激活的神经元之间连接加强的结果。
从计算的角度来看，这种学习规则通常是无监督的，涉及具有图5.1所示结构的网络。我们在这里介绍它对具有静态行为的神经元的应用，例如MLPs中的神经元，而不是尖峰神经元。这些神经元通常是简单的，具有线性激活函数。
这样一个简单的模型能够识别输入数据中最相关的变化方向非常有趣。然而，输入数据应当具有零均值，这可以通过从实际数据中减去平均值来轻松实现。
这种方法的主要缺点是权重向量会呈指数增长。这个问题通过接下来介绍的扩展来解决。
5.2. Hebb 规则的扩展
5.2.1. Oja 规则
为了避免权重变得无限大，Erkki Oja 提出了一种称为减法归一化（Oja, 1982）的解决方案。它包含了一个竞争性或稳态项，限制了突触权重的增长。这个项有助于确保突触权重随时间收敛到一个稳定的范围。相应的权重更新方程是：
这个规则是一种权重归一化的形式，即当权重向量的一个元素增加时，其他元素会自动减少。在这种情况下，网络可能会忘记旧的关联：如果一个训练实例不经常被呈现，它可能会被遗忘。
由于它使用与Hebb规则相同的相关项，Oja规则也计算输入数据的第一主成分（Hertz, Krogh & Palmer, 1991）。
5.2.2. Sanger规则
第一个输出神经元相当于Oja模型，它学习了第一个主成分。由于涉及到对1到j的求和的减法，第二个神经元被迫寻找另一个主成分，依此类推。其结果是，权重收敛到一组有序的m个主成分（即相关矩阵C的特征向量）。
这突显了这类简单模型仅通过Hebbian关联就能提取输入数据分布中重要信息的能力。
5.2.3. ABCD规则
这是Hebb规则的一个广义版本，它不仅考虑了输入和输出之间的乘积，还单独考虑了输入和输出值，以及一个偏置项：
在这个方程中，A（相关项）、B（突触前项）、C（突触后项）和D（偏置或常数）是可以找到最优值的参数，例如，使用进化算法。这个规则被用于强化学习任务，其中进化的Hebbian规则足以让一个代理学会在一个2D环境中导航，并学会在一个3D环境中行走（Niv等人，2001；Niv等人，2002）。
5.2.4. BCM规则
BCM规则（Bienenstock，Cooper & Munro，1982）建议使用另一种解决Hebb规则不稳定性的方法，该方法使用滑动阈值：
图中函数的形状与观察到的突触变化相似，例如，在视觉皮层中（Intrator & Gold，1993）。
5.3. 尖峰时间依赖性可塑性
在这一部分，我们将考虑突触前和突触后神经元尖峰的相对时间。在生物系统中，神经元不太可能完全在同一时间发射。
此外，只有当突触前神经元的激活导致突触后神经元的激活时，即两次激活之间存在因果关系时，突触才会增强。
尖峰时间依赖性可塑性（STDP）规则（Markram等人，1997；Bi & Poo，1998）认为，突触前和突触后尖峰之间的时间差决定了突触是增强还是减弱。当一个突触前神经元刚好在一个突触后神经元之前发射时，突触会增强，并进一步增强信号传输。相反，如果是突触后神经元在突触前神经元之前发射，突触会减弱，从而减少信号传输。
这些行为对应于与突触可塑性相关的两个重要过程：长期增强（LTP），意味着突触的持续增强，和长期抑制（LTD），意味着突触的持续减弱。根据STDP，突触前尖峰在突触后尖峰前几毫秒到达会导致突触的LTP，而突触前尖峰在突触后尖峰之后到达会导致突触的LTD。
为了将这些想法形式化，设Δt为突触后神经元j的尖峰时间与突触前神经元I的尖峰时间之差：
图5.4展示了不同尖峰时间差对 postsynaptic potential 幅度变化的影响，这是根据 Bi 和 Poo (1998) 使用海马细胞培养中的神经元获得的实验数据。在大脑中，实际观察到了几种STDP的变体（例如Hebbian或反Hebbian），这取决于通过突触进行通信的神经元类型（例如兴奋性或抑制性）（Shulz & Feldman, 2013）。
可以看到，当两个神经元在短时间间隔内被激活时，可以获得最大的长时增强（LTP）和长时抑制（LTD）效应。如果前突触神经元在后突触神经元之前发放，突触强化效果最大。
从某种意义上说，Hebb规则可以看作是STDP的一种近似，考虑到神经元同时激活，并且前突触神经元对后突触神经元的激活有直接影响。针对基于速率的（非尖峰）神经元，提出了几种反Hebbian方程的变体，以解释LTD现象。例如，当前突触神经元活跃而后突触神经元不活跃时，突触会被削弱。
从生物学角度来看，前突触神经活动涉及到兴奋性神经递质谷氨酸的释放。相应的后突触活动与去极化的膜电位相关。这两个条件打开了N-甲基-D-天门冬氨酸（NMDA）通道，允许钙离子（Ca2+）进入突触。这种机制发生在树突水平。经过数个复杂的化学反应后，突触的效能发生改变。高浓度的钙导致LTP，而较低浓度导致LTD（O’Reilly & Munakata, 2000）。我们将在第10节重新审视与NMDA相关的过程。
然而，突触的强化也受到神经递质多巴胺的影响。当人们期待获得奖励时，多巴胺产生神经元被激活。影响情感反应和记忆最强烈的是奖励的期待，而不是奖励本身。当个体遇到意外的结果时，奖励学习过程发生。如果奖励超出他们的预期，多巴胺信号增加。相反，如果奖励低于预期，多巴胺信号减少。但是，正确预测奖励不会显著改变多巴胺信号，因为这不涉及新的学习（Halber, 2018）。
5.4. 其他学习算法
一般来说，针对训练脉冲神经网络（SNNs），提出了许多算法。有些算法使用STDP的变体，而其他算法则从反向传播中汲取灵感，设计了适用于尖峰神经元的算法，例如使用替代梯度，其中不连续的脉冲函数被可微函数近似。关于这类方法的综述可以参考(Han & Lee, 2021)。
一个尝试以生物学可信度方式实现反向传播思想的算法是GeneRec（Generalized Recirculation）（O’Reilly, 1998），也被应用在LEABRA（本地误差驱动和联想，生物真实算法）认知架构中，该架构最初由(O’Reilly, 1996)引入。GeneRec受到了重新循环算法（Hinton & McClelland, 1987）和递归反向传播算法（Almeida, 1987; Pineda, 1987）的启发。
GeneRec假设双向连接：从输入到输出以及反之（这也可以视为自下而上和自上而下）。学习分为两个阶段。在加法阶段，期望值被“固定”在输出层上。因此，输入值和期望值都被呈现给网络。由于网络是递归的，隐藏层神经元的激活取决于两者。在减法阶段，只呈现输入。根据几个假设和近似，建议的学习率是：
正如可以注意到的那样，方程（5.16）具有δ规则的形式。激活状态两个阶段的差异表明了一个单元对整体误差信号的贡献。双向连接将这个信号的两部分传播到整个网络中，因此学习可以基于这种差异进行。此外，激活状态局限于权重改变必须发生的突触位置。
6. 神经元集合（细胞组装）
唐纳德·赫布引入了细胞组装（CA）的概念，也称为神经元集合，用于描述对相关刺激响应中活跃的稀疏分布的小组神经元。它们代表了一组相互连接的神经元，共同执行大脑内特定功能，从简单的感觉处理到复杂的认知任务。
这些集合作为处理信息的功能单元，可以被视为大脑神经信息处理的基本组成部分。细胞组装假设（赫布，1949）认为，神经元集合作为概念的神经表示。随着时间的推移，这一假设得到了生物学、理论和模拟数据的支持。神经元集合可以对感觉刺激进行分类，使个体能够识别物体，但它们也可以在没有直接感觉输入的情况下被激活，例如在思考一个概念时。
由于它们由一组神经元组成，比单个神经元大但比整个大脑小，因此它们可以为研究心理学和神经生物学提供一个组织原则，并可能弥合心理学与神经生物学之间的差距。
神经元集合使用高发射率的神经元集合来表示概念（群体编码）。它们由一组相对较少的神经元组成，每个概念编码，估计的大小范围从个神经元每个细胞组装。虽然大脑通常由以低频率（例如1赫兹）持续发放的神经元组成，但细胞组装神经元以高频率（例如100赫兹）发放。
细胞组装内的神经元在初始刺激后表现出自持续活动，即所谓的回响。它们之间有强烈的互相突触连接，当足够的子集被激活时，例如通过提及特定概念，它们会启动一个神经级联，这个级联会在初始刺激呈现结束后持续存在。这种持续的激活特征化为短期记忆（STM），可以持续几秒钟。
细胞组装内的神经元集合通过突触权重变化、神经生长、神经细胞死亡和突触增长等过程形成。高度的互相突触强度是赫布学习的结果。这些神经元之前曾一起对早期刺激作出响应，导致它们之间的突触连接强化。因此，细胞组装通常是通过重复呈现类似刺激形成的，因此它们也可以被认为代表长期记忆（LTM）。
相关的神经元放电，或称同步，在响应相同刺激或引发相同动作的神经元同时放电时被观察到。同步被认为是细胞组装协同工作的标志。研究表明，同步神经放电可以是将感知元素绑定在一起并协调大脑区域活动的机制。
细胞组装可以重叠，个别神经元可以参与多个细胞组装。一些神经元可能比其他神经元更加核心或关键于某个细胞组装。此外，细胞组装是活跃的实体，通过兴奋或抑制影响其他组装。它们可以招募新的神经元，失去神经元，或分裂成不同的细胞组装。此外，细胞组装是动态和灵活的，能够根据经验重新配置自己。这种可塑性使大脑能够适应或在不断变化的环境中学习。
个别细胞组装之间的关联可以支持符号基础化（在第17.4节中讨论），即符号获取意义的过程。学习得到的细胞组装可以直接来源于环境刺激。
尽管有大量证据显示细胞组装的持久性，将这些证据与预测记忆强度和持续时间的模拟和心理学理论联系起来仍然是一个挑战。现有的细胞组装模型要么无限期地持续下去，要么在相对短的时间内停止，缺乏记忆强度与神经放电之间的稳健联系。快速形成细胞组装也是一个问题，特别是在区分语义和情节记忆时，语义记忆可能需要重复呈现以形成细胞组装。细胞组装形成的动态可能非常复杂，可能涉及遵循神经连接中的幂律动力学的神经雪崩等现象。
每个神经元集合都专门用于特定的功能或任务。例如，在视觉皮层中，有专门用于识别面部的神经元集合，而其他集合则负责检测运动。在海马体中，神经元集合负责编码和检索记忆。在回忆过去事件或学习新信息时，特定的集合会变得活跃并同步它们的活动模式。神经元集合还参与感觉处理，例如在视觉皮层中，不同的集合对特定的视觉特征如边缘、颜色或运动作出响应。这些集合中神经元的集体放电模式允许对复杂视觉场景进行感知和解释。
传统的记忆研究集中在确定记忆存储的位置，即哪些细胞或大脑区域代表记忆痕迹。这些记忆的物理表现称为“记忆印记”（memory engrams）。最近的实验表明，特定神经元群体的相互作用和重新激活，而不是记忆在特定区域的局部化，可能是大脑记住过去经历和想象未来行动的主要机制。神经元集合之间的相互作用对将序列活动模式转化为记忆以及通过记忆的重新激活组合复杂行为至关重要。
当经典的人工神经网络在学习完一个初始任务后，再学习新任务时，它们在第一个任务上的表现通常会显著下降。这个问题被称为灾难性遗忘，是神经网络领域的一个持续性挑战。持续学习指的是神经网络在学习多个任务时能够顺序地学习，而不会忘记从前面任务中获得的知识。与人工神经网络不同，人类大脑能够顺序学习和记住多个任务，而不会经历灾难性遗忘。负责这种能力的机制尚未完全理解，但在神经科学领域得到了积极研究。
一个假设是，一旦形成了记忆，大脑会限制对记忆重要的突触连接的可塑性。对于新任务会建立新的连接，而与之前任务相关联的连接会降低可塑性，以保留已获得的知识。
另一个提出的机制是，大脑在不同的神经元集合中编码记忆，在不同的上下文中使用不同的神经元集合来编码记忆。这种方法减少了记忆之间的干扰，并防止灾难性遗忘的发生。
7. 神经元集合模型
在本节中，我们将介绍几篇利用神经元集合概念进行计算任务或神经科学研究的论文的贡献。
Papadimitriou等人（2020年）提出了一个名为“组装微积分”的计算模型，旨在弥合神经元尖峰活动水平与整个大脑水平之间的差距。他们确定了一组神经元集合上的操作，通过分析方法和模拟展示了它们的可行性。
该模型侧重于兴奋性神经元的集合，这些神经元可能构成人类更高级的认知功能，如推理和规划，以及与实验结果一致的句法语言处理。它定义了几个高级过程，可以转换为神经元操作，类似于高级编程语言被编译成机器代码。
组装微积分采用了简化但现实的神经元和突触表示。使用了几个区域，象征着大脑皮层的不同部分。每个区域都有一群通过随机突触连接的兴奋性神经元，形成循环回路。不同区域之间也有随机连接。
这篇文章采用了赫布学习，并结合了较慢时间尺度上的突触权重重新调整。这种调整旨在保持每个神经元的前突触权重总和相对稳定，类似于一个稳态过程（或遗忘过程）。为了避免对抑制的明确建模需求，在任何给定区域内，固定数量的神经元在任何给定时间点都会激活，即那些具有最高激活水平的神经元。这是一种k最大值选择（k winners take all, kWTA）功能。尽管kWTA由于其对激活状态和排序机制的全局信息要求在生物学上不太可能，但它提供了抑制动态的计算有效近似。在本文中，这个概念被称为capping，并且在LEABRA认知架构（O’Reilly, 1996）等地方也有应用。
一个kWTA的例子是果蝇（Drosophila melanogaster）如何识别气味，如图7.1所示。果蝇大约有50种气味受体（气味分子）。感觉神经元与其他50个神经元一对一连接，这些神经元又随机连接到2000个神经元（Kenyon细胞）。在这个阶段，由于抑制作用，大约只有100个Kenyon细胞被激活并表达出对气味的识别。这个过程可以建模为有100个胜者的kWTA。
在组装微积分中，随机投影和capping操作的有趣之处在于，投影可以看作是源神经元集合的低维表示。例如，如果两个不同的输入在区域A中创建重叠表示，那么在区域B中对应的投影也会重叠。这可以导致在区域B中进行低维空间中的近似最近邻搜索，而不是在区域A中的原始空间中。
组装微积分计算模型是通用的，不依赖于为特定任务设计的预先存在的神经回路。功能性，包括集合操作，是由网络内部的随机性和高输入值神经元的选择产生的。这种功能性是简单事件的结果，如一个集合的重复激活。主要操作如下所示。
在关联皮层中，假设神经元群通过从一个区域到另一个区域的投影形成集合。例如，考虑两个区域A和B。A区中激活度最高的k个神经元在B区激活。B区中激活度最高的k个神经元则向B区的其他神经元激活。从A到B的重复激活结合B自身的递归激活，增加了连续回合中B区中激活神经元的重叠。因此，投影在下游区域复制了一个集合，确保新形成的集合在原始集合激活时也会激活。集合内部连接密集，意味着同一集合内的神经元相比于位于不同集合内的神经元更有可能连接。尽管在稀疏图中寻找密集子图的计算复杂性很高，但集合的存在可以通过投影创建集合来解释，从而增加突触连接性。
互相投影代表了投影的一种精细化形式。就像标准投影的情况一样，当区域A中的集合x激活时，它会触发区域B中一组神经元（标记为y1）变得活跃。主要区别在于，除了从A到B的连接外，还存在从区域B回到区域A的突触连接。在下一步中，集合x略微偏移，变为x1，而y1变为y2。这个过程迭代继续，直到收敛为止。最终形成的集合y展示了在集合x内部和集合x之间都有强大的突触连接。这与常规投影形成对比，常规投影中突触连接是单向的，只从x到y。
模式完成发生在集合内部的一小部分细胞激活时，整个集合以高概率激活的情况下。由于递归连接的存在，集合内的少数神经元部分能够触发该集合中绝大多数神经元的激活。
通过关联，两个现有的CA由于反复的同时激活而收敛。这种共同发射加强了它们神经元之间的联系，增强了重叠并提高了相应组装体的相互连接性。这个操作表达了使用连接到人类受试者海马体的电极的实验的想法（Ison，Quian-Quiroga & Fried，2015）。他们展示了熟悉的地方图像，并观察到每个地方都有独特的神经元激活。同样，名人的图像引发了独特的神经元放电模式。当他们同时显示一对人-地方图像时，特定的神经元做出反应，一些与地方有关，一些与个人有关。在反复暴露于这些组合刺激后，先前不同的神经元组装开始重叠。最初只对一个刺激（一个人）有反应的神经元开始与其他刺激（一个地方的形象）相关的神经元一起发射，突出了不同刺激之间的关联关系如何随着时间的推移改变神经组装配置。
合并操作是最复杂和最精细的操作。它可以被视为双重互惠投影。当组装体x和y分别在区域B和C中反复发射时，最终会在区域A中形成一个新的组装体z，这也会改变原来的组装体x和y。在生成的组装体中，x和z之间以及y和z之间出现了强烈的双向突触连接。合并操作在创建层次结构方面具有重要作用，并被认为是语言句法处理和层次思维过程的贡献者。这被应用于设计一个强调语言处理中句法方面的皮质架构。
（Dabagia，Vempala & Papadimitriou，2022）证明了组装演算框架可以用于分类。该论文证明了新的组装体可以可靠地形成以响应来自不同类别的输入并保持可区分，特别是当这些类别合理地分开时。
（D'Amore等人，2022）实证表明，复杂的规划策略，如解决积木世界任务的启发式方法，可以在组装演算中有效地实现，并提出了一种解决此类问题的近似策略。然而，它也强调了规划所需表示的限制，这些规划涉及长链的强连接组装体；具体来说，对长链的可靠实现存在限制。这个想法是，一个积木堆被建模成或多或少像一个链表，连接到一个头节点。当顶部积木被移除时，它与头节点的关联通过权重归一化（稳态）慢慢被遗忘，并且学习积木与其新相邻节点之间的新关联。
（Xie，Li & Rangamani，2023）讨论了两种组装演算操作的使用，即从刺激创建组装体的投影和实现变量绑定的互惠投影，这是一个具体对象（变量）被绑定到由其关系确定的抽象结构的过程，或者换句话说，由不同CA编码的项目如何可以被组合在各种设置中使用。它类似于谓词逻辑中用一个事实替换一个变量（我们将在第13节后面关注的一个重要概念）。研究表明，互惠投影的容量低于投影，但提出了一种跳过连接方法，增加了容量，并为使用神经元组装探索层次模型提供了机会。
（Huyck，2007）表明，高度循环的神经网络可以学习以CA形式的回响电路。它们有能力对其输入进行分类，该论文探讨了它们学习层次类别的潜力。基于尖峰疲劳泄漏积分器的模拟器用于建模，学习是通过一种Hebbian学习形式实现的。重叠的CA允许神经元参与多个CA，增强了网络的分类能力。包含CA的NN可以根据感官信息学习和适应，CA通过无监督学习形成、增长、修改和分裂。这样的网络充当分类器，CA代表类别，当一个实例属于一个类别时被激活。在论文中的例子中，网络被划分为识别10种动物特征的神经元，包括那些特定于动物类别的特征（例如，狗、猫和老鼠的特征0到2），以及所有哺乳动物的共享特征（特征3和4）。其他特征与尾巴和饮食习惯有关。与这些特征相关的神经元根据动物实例中特定特征的存在而被激活。模拟显示了层次分类的出现：神经网络识别四个类别：狗、猫、老鼠和哺乳动物（超类）。这是通过形成重叠的CA实现的。例如，狗和老鼠与猫共享特征，而哺乳动物包含其大多数子类共有的特征。
这种层次结构的一个优点是能够执行默认推理。经过训练的网络可以根据其超类的特征推断出新类的属性。给出了一个例子，当网络面对熊的一个实例时，它使用默认推理根据哺乳动物超类的特征推断出熊是杂食动物。
SHRUTI（Ajjanagadde & Shastri，1991；Shastri，1999）是一个反射推理的生物合理神经模型。它表明，对于一个庞大的通用和特定知识的体系进行系统推理可以是神经系统自发和自然的结果。人类具有快速高效地进行各种推理的先天能力，类似于反射反应。认知科学和计算神经科学面临的挑战是解释一个类神经元元素的网络如何表示广泛的知识并进行快速推理。SHRUTI模型展示了神经网络如何编码语义和情景事实、规则和知识，实现广泛的快速推理。
关系结构由细胞群表示，推理涉及这些细胞群上的节奏活动传播，以及适当细胞的同步发射。涉及关系知识的推理对应于这些焦点群集上节奏活动的瞬态传播。
SHRUTI提供了一个详细的计算账户，说明如何使用同步活动来表示和处理高级概念知识和推理。
在SHRUTI中，“理解”对应于沿着神经回路闭合环路的连贯活动。该模型通过适当细胞的同步发射来表示在给定情况下概念角色和满足这些角色的实体之间的绑定。LTM中的事实被编码为时间模式匹配电路，检测正在进行的节奏活动流中的巧合和巧合失败。例如，基于包含断言give(John, Mary, a-Book)的知识库，对问题“玛丽是否拥有一本书？”的回答导致了图7.2中所示的那种激活模式。绑定通过角色和实体节点的同步激活来表达。每个尖峰表示适当节点集合中细胞的同步发射。 SHRUTI模型的一个局限性是，尽管概念以神经方式编码，但它们并没有基础，而是任意的，就像在经典符号表示中一样。
（Tetzlaff等人，2015）提出，Hebbian意义上的突触可塑性和较慢的突触缩放过程的结合实现了两个关键目标：CA的形成和神经动力学多样性的增强。突触缩放是一个调整神经元之间连接强度的过程，以保持活动水平的平衡。当活动高时，它会削弱突触，当活动低时，它会加强突触，确保稳定的神经功能。该研究引入了一种基于不同时间尺度上神经和突触过程相互作用的机制。它的目标是在长期内实现CA的自组织形成，同时在短期内执行非线性计算。主要的动机是大脑中CA的形成需要适应性地学习和适应新信息，但它也应该是稳定的，不会迅速改变。这表明，使学习成为可能的突触可塑性必须由作用于更长的时间尺度的过程（如突触缩放）来稳定。分析结果表明，突触可塑性和缩放的结合非常适合实现多个CA的共存，因为这很难通过其他突触可塑性规则或机制（如抑制或短期可塑性）来实现。
（Buzsáki，2010）建议，理解大脑中的CA应该关注它们如何影响下游的“阅读器-执行器”机制。换句话说，一组活跃神经元或假定的CA的重要性只能通过考虑它们产生的明确输出来确定。为了识别有意义的组装体，检查这些神经元之间的同步性是很重要的，而这种同步性从一个能够随时间整合事件的阅读器机制的角度来看变得有意义。这种方法不同于仅基于神经元连接性而不考虑其功能影响的CA的替代观点。
该论文介绍了CA及其激活序列可以被理解为具有层次神经语法的观点，类似于语言。这种句法组织定义了组装体之间的关系，促进了大脑中的通信和计算。离散组装体的时间排序产生了“神经词汇”和“句子”，并使复杂的认知功能（如回忆、思考、推理和计划）成为可能。
突触权重的动态变化被称为“突触体”，它们被认为在连接不同的尖峰CA中起着重要作用。突触体有两个重要的功能。首先，它们将神经组装体的寿命限制在短时间范围内，通常持续从亚秒到秒。这种时间约束有助于组装体活动的组织和终止。其次，突触体通过改变神经元之间突触连接的强度，即使在没有任何正在进行的尖峰活动的情况下，也能弥合不同CA之间的差距，从而连接被不活动期隔开的神经元词汇。突触体的这种双重作用被认为是理解大脑功能连通性如何随时间演变的关键。
（Huyck，2020）概述了一个神经认知架构的建议，该架构旨在紧密接近人脑的神经和认知功能。它使用尖峰神经元作为其基本单元，强调它们有效地近似生物发射行为和突触修改的能力。所提出的架构可以帮助阐明神经网络如何产生认知功能，促进各种系统（如基于规则的系统和联想记忆系统）的整合，并使在认知任务背景下探索神经行为成为可能。
（Valiant，2005）提出了神经模型，这是一种关于神经系统及其计算能力的原创观点。主要的贡献围绕着两个主要计算功能的开发：记忆形成（一个“连接”功能）和在神经系统中已经表示的项目之间的关联（一个“链接”功能）。这些功能被设计为与生物系统中观察到的神经参数一致。
文章强调了在实施这些功能时不产生有害干扰或副作用的必要性，确保它们不会破坏先前建立的神经回路或导致意外后果。此外，它探索了使用随机图作为在神经系统内实现记忆和关联任务的计算框架的概念。它表明，即使突触强度相对较弱，随机图也可以用于创建记忆形成和关联路径。识别它们意想不到的计算能力是一项重大贡献。该论文还引入了用于神经网络内部通信的节点链的概念，扩展了之前的提议，如“同步链”。它强调这些通信链必须在网络中无处不在，而不是局限于特定区域。
8. 动态模型
神经动力学研究神经元发射状态的持续变化、同步模式的出现以及神经群体的集体行为。这些研究为感知、认知和其他各种神经现象的潜在机制提供了很好的见解。这些动态过程对于理解大脑如何管理信息、编码记忆和产生复杂行为至关重要。
在本节中，我们将从三个角度介绍大脑的动态模型。第一个与一组描述大量神经元网络活动的方程有关。第二个指的是一类被称为“储层计算”的计算动态模型。第三个展示了一些表现出可以用混沌理论方法分析的复杂行为的模型，例如，强调神经群体行为中吸引子的存在。
8.1. Wilson-Cowan模型2
在1970年代，Wilson和Cowan发表了两篇革命性的理论神经科学经典论文。在他们的第一篇论文（Wilson & Cowan，1972）中，他们引入了一组耦合方程，提供了由兴奋性和抑制性神经元群体组成的网络动力学的粗粒度描述。粗粒化涉及以较低的分辨率（从更高的角度）表示系统；在我们的案例中，它是关于描述神经元群体的行为，而不是单个神经元。第二篇论文（Wilson & Cowan，1973）将他们的工作扩展到包括空间依赖性。这些结果标志着计算神经科学领域的转折点。
在1960年代，许多与Wilson-Cowan方程有关的核心概念已经被提出，但它们还没有被整合到一个统一的模型中。Wilson和Cowan的目标是开发一个全面的神经元活动描述，明确考虑兴奋性和抑制性细胞之间的区别。他们的灵感来自于生理学证据，表明存在对外部刺激有类似反应的特定神经元群体。
以前的研究和模拟探索了空间局部化的神经群体。这些研究使用了各种方法，包括离散和连续时间模型。然而，它们都使用单一变量（如每单位时间变得活跃的细胞比例）来描述某一时刻的群体状态。
鉴于大脑的复杂性和对微观细节的有限访问，人们认为有必要采取统计方法，涉及平均场理论等概念。挑战在于确保丢失的信息对于理解感兴趣的现象并不关键。 平均场理论最初是为磁性开发的，作为一种粗粒化方法，用于通过简化系统中单个粒子或组件之间的相互作用来描述和分析复杂系统的行为，从而使研究更容易处理。平均场理论背后的关键思想是通过将组件之间的相互作用视为受到其他组件产生的平均或“平均”场的影响来近似它们的效果。换句话说，系统中的每个组件都与所有其他粒子创建的有效、平均场相互作用，而不是考虑与每个单独实体的特定相互作用。这种简化允许人们获得分析解决方案，这些解决方案提供了对系统集体行为的洞察，即使当个体相互作用非常复杂且难以精确建模时也是如此。这种方法类似于使用统计热力学将粒子的低级布朗运动与温度、压力或扩散等高级特性联系起来。
Wilson和Cowan根据Dale原理明确考虑了兴奋性和抑制性神经元两个不同亚群之间的相互作用。作者表明，他们的方程描述的动力学表现出多稳定性和滞后性，这可以为记忆提供基础，以及由刺激强度调制的振荡频率的极限周期。（Wilson & Cowan，1972）中引入的一个定理指出，对于一类刺激表现出极限周期行为的神经群体对于另一类刺激表现出简单的滞后性。
滞后性（图8.1a）是指神经群体响应表现出关于变化的输入条件的延迟或非线性关系的现象，因为其状态不仅取决于当前输入，还取决于其过去的历史，即以前的输入条件继续影响其当前状态。极限周期（图8.1b）代表了神经群体对某些刺激的响应中稳定的、重复的振荡模式。这种周期性行为通常对应于大脑中观察到的节律活动，如各种认知过程中的振荡模式。
热门跟贴