神经信息处理系统动态计算的时空视角

A Spatiotemporal Perspective on Dynamical Computation

in Neural Information Processing Systems

https://arxiv.org/pdf/2409.13669v2

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

摘要

自最早的记录以来,大脑中一直观察到神经活动的时空流动,例如行波;然而,对于其功能作用仍缺乏共识。最近的实验和模型已将行波与视觉及物理运动联系起来,但这些发现难以与关于拓扑组织选择性和前馈感受野的标准理论相调和。在此,我们引入一个理论框架,用等变神经网络理论的语言形式化并概括“运动”与流动神经动力学之间的联系。我们考虑的“运动”不仅限于物理或视觉空间,还包括更抽象的表征空间,并且我们认为,类行波的循环动力学不仅有用,而且对于准确且稳定地处理任何经历此类运动的信号都是必要的。从形式上看,我们证明,对于任何非平凡的循环神经网络,若要以结构化的等变方式处理经历流变换(如视觉运动)的序列,其隐藏状态动力学必须通过循环连接主动实现对该流的同态表示。在这种“动态计算的时空视角”下,行波及相关流动最好被理解为对刺激流的忠实动态表征;因此,生物系统对此类动力学的自然倾向可被视为一种先天的归纳偏置,旨在适应其所栖居的具有时空结构的动态世界中的效率与泛化能力。

引言

在现代神经科学的绝大部分时间里,皮层计算一直被置于“滤波器”的视角下进行审视:即通过层级化的神经元从感觉流中提取日益抽象的特征。从早期对视网膜感受野¹,² 以及 Hubel 和 Wiesel 发现的简单/复杂细胞³ 的研究,到颞下皮层中的面孔⁴、位置⁵ 和身体⁶ 斑块,主流的直觉认为,感知是通过滤波和组合的渐进级联实现的,将刺激空间抽象化为选择性神经探测器的镶嵌图案。这种以特征为中心的范式植根于早期的单单元记录,并在后来的并行分布式处理运动⁷ 中得到形式化,已被证明极具生产力,为经典的感知理论乃至当今的人工智能⁸–¹¹ 播下了种子。然而,在过去的几十年里,随着神经记录技术的不断发展,越来越多的证据与这一解释产生了张力。

多电极阵列、电压敏感染料和宽场钙成像技术的进步提供了群体活动的宏观视图,揭示出的图景并非由静态感受野绘制而成,而是由扫过皮层的神经活动波、螺旋和行进前沿所描绘¹²–¹⁶。感觉诱发的反应很少局限于选择性所暗示的晶体状平铺;相反,它们会扩展和传播,产生丰富的结构化时空动力学,这与纯粹的前馈特征探测器模型难以调和。如果一个神经元的发放仅仅是因为行波恰好经过其皮层区域,那么它的“偏好刺激”究竟意味着什么?

我们提出,一旦转换视角,这种表面上的冲突就会消解。我们不再询问神经元对什么具有选择性,而是追问具身代理为了在随时间和空间展开的世界中连贯地行动,需要什么样的表征。在自然环境中,刺激并非作为独立的帧到达,而是作为连续流到达,从一个瞬间平滑地变换到下一个瞬间。因此,计算问题不仅仅在于识别静态特征,还在于当输入移动时维持结构化的内部变量:在运动下保持同一性,预测合乎规律的变换,并支持推理和控制,而无需在每个移动的参考系中重新学习相同的内容。

在此,我们提出一种时空视角,它不仅缓解了行波与结构化神经选择性之间的张力,还为局部循环时空动力学提供了理论依据——使表征随着输入的移动而同步移位,从而在世界流动时可以重用相同的前馈计算。换句话说,神经活动的时空流动可以实现内部的“参考系变换”,使计算在移动与静止刺激之间保持稳定,允许具身网络在其栖居的不断变化的环境中有效地在共动参考系中运行。

我们通过流等变性(flow equivariance)将这一思想形式化。在几何深度学习的语言中,主导自然经验的平滑变换可以被理解为流:即捕捉随时间结构化变化的时间参数化对称性。流等变性随后成为对循环神经网络的要求,即必须以与处理静止输入相同的方式处理移动输入,只是将其隐藏状态施加等效的移动。关键在于,我们的理论断言,对于任何非平凡的循环网络要实现这种流等变性,其隐藏状态动力学必须主动以与输入流同态的方式流动。换言之:如果世界在移动,潜在状态必须通过循环动力学预先同步移动。在这种视角下,我们将“运动”的概念推广到抽象表征空间中的流动,并展示这些流动如何 additionally 被视为一种记忆形式。我们进一步论证,一旦认真考虑生物约束(如传导速度和代谢成本),这些潜在流动最自然的实现形式就是局部时空流动——由侧向连接支持的类行波动力学。

在下文中,我们将概述支持这一视角的日益增多的证据,在神经科学文献中将时空神经动力学与运动实证地联系起来。我们将从理论角度描述为什么“运动的结构”最好被表示为流;并进一步提供论据,支持为什么这种流会在受生物约束的神经网络中表现为清晰的时空动力学。随后,我们将论证,生物神经网络对这种结构化时空动力学的自然偏置,最好被视为一种归纳偏置,旨在恰当地表征我们周围世界的结构化变换。最后,我们将回顾来自现代人工智能和实验神经科学的证据以支持这一视角,并以我们的广义视角所支持的一系列预测作为结束。最终,我们的目标不是抛弃选择性的概念,而是将其嵌入更广泛的时空视角中,承认大脑与其所栖居的世界一样,是空间嵌入的动态系统,而这些时空动力学本身应被视为基础。

神经系统中的时空动力学

对神经活动时空动力学的研究可以追溯到神经科学的起源本身。在下文中,我们将总结这段历史的一部分,并强调此类观察在历史上的普遍性。关于这一历史的全面概述,我们建议读者参考 Hughes (1995)¹²、Ermentrout 和 Kleinfeld (2001)¹³、Sato 等人 (2012)¹⁴ 以及 Muller 等人 (2012 & 2018)¹⁵, ¹⁶ 的综述文章。在这段历史讨论之后,我们将回顾有关时空动力学的更近期文献,重点介绍大量似乎将此类动力学与“运动”(包括视觉运动和物理运动)联系起来的工作。

从最早的神经记录开始

已知最早的神经活动行波记录证据由 Adrian 和 Matthews 于 1934 年报告。作者报告了在麻醉兔和猫的皮层上通过电极记录发现的一种振荡性“损伤反应”,指出“单次脉动可能像涟漪一样在大脑表面传播”,并进一步 noting “几乎相同的活动模式可能出现在相距 10 毫米或更远的点上”¹⁷。这些初步观察之后出现了大量的脑电图(EEG)研究,这些研究测量了神经振荡(主要是 alpha 振荡)相位相对于皮层空间位置的系统性偏移,并假设行波是其根本原因¹⁸–²⁰。更精确地刻画神经活动行波的一些早期研究由 Goldman 等人 (1948 & 1949)²¹, ²² 和 Lilly (1949)²³ 完成,他们分别引入了 16 元和 25 元电极阵列,产生了 Lilly 称为“电图标记图”(electro-iconograms)的动物首批记录。在猫的离体视觉皮层中,Burns (1950 & 1951)²⁴, ²⁵ 随后测量了活动行波的速度;Mickle 和 Ades (1953) 记录了猫听觉皮层中由可听 clicks 诱发的一些最早清晰的皮层行波传播轨迹。用 Mickle 和 Ades 的话来说:“记录设备的性质使得解释变得困难 [...] 然而,毫无疑问,波形似乎在皮层表面扩散”²⁶。不幸的是,由于行波在单神经元记录中难以检测,随着 20 世纪 60 年代皮层神经元单单元记录成为主流,这些开创性的研究随后被掩盖。

新技术; renewed interest

随着时间的推移,随着多电极记录设备、电压敏感染料和光学成像技术的不断发展,我们测量此类结构化时空活动的能力得到了极大扩展,从而引发了对这些动力学的 renewed interest。例如,现在已在各种意识状态和刺激条件下¹⁶, ²⁷, ³⁵, ³⁶,在视觉²⁹, ³⁰、听觉³¹、体感³², ³³ 和运动³⁴ 皮层中直接观察并测量到了行波。同样,在大脑的几乎所有尺度和空间位置都观察到了波动力学,包括皮层³⁷、海马³⁸ 和丘脑¹⁵, ³⁹ 中的 theta、alpha 和 beta 振荡;一些具有影响力的研究发表表明,大规模神经活动通常最好用沿皮层空间几何结构传播的理想化波来描述⁴⁰–⁴²。通过精确的实验控制和训练,类行波动力学已被直接证明具有行为后果:非人灵长类动物视觉皮层中的波被证明可以调控对低对比度刺激的感知²⁷(框1,顶部);连接视觉和前额叶皮层的前馈 theta 波被证明可以预测行为反应时间⁴³;前额眼区中的 theta 波段行波被证明可以在灵长类动物视觉工作记忆变化检测任务中节律性地调节准确性和反应时间⁴⁴。这些观察的多样性自然导致了对类波动力学假设角色的多样性,包括:信息传递⁴⁵、睡眠期间长期记忆的巩固³⁵、视觉处理的调制⁴⁶, ⁴⁷、皮层区域的排序⁴⁸、皮层空间的结构化¹⁴、运动的编码⁴⁹、短期⁵⁰ 和工作记忆⁵¹–⁵⁴ 的存储等等⁵⁵。

非视觉运动:流

除了视觉之外,行波与运动之间的关系并不局限于视觉刺激。就物理运动而言,已观察到 beta 振荡沿主导轴在猕猴的运动和前运动皮层中传播³⁴,并且在人类初级运动皮层中也报道了类似的传播性 beta 波⁷²。这些传播动力学还显示出行为相关性:与内源性波前反向传播的模式化皮层内微刺激会延迟反应时间,这为传播性兴奋性模式参与运动发起提供了因果证据⁷³;相关研究还表征了在准备稳态期间丰富的瞬时 beta-LFP 波模式⁷⁴。在发放水平上,大规模时空发放模式已被证明与 beta 波段波的传播一致,对于沿主导波轴定向的神经元对,任务相关的序列发放最强⁷⁵。除了皮层外,众所周知,海马 theta 频率和功率随跑步速度增加而增加⁷⁶, ⁷⁷。在模型中,类波动力学长期以来被认为是脊髓中枢模式发生器的核心要素⁷⁸;与此图景一致,猫脊髓在假想抓挠期间的多节段记录揭示了头尾方向传播的正弦场电位波,其周期持续时间与抓挠周期持续时间 strongly correlated,这建立在早期关于抓挠相关传播性背侧电位报告的基礎上⁷⁹。

此外,还有一些证据将已知处理视觉运动的区域与更抽象空间中的运动联系起来。例如,已证明 MT/V5 区对抽象的听觉“运动”显示出激活⁸⁰, ⁸¹。众所周知,某些患有脑动觉失明症(运动视觉丧失)症状的患者似乎失去了一种更普遍的能力,即将顺序信息(通过抽象空间的运动)整合为连贯整体的能力。例如,2003 年,一名因创伤性脑损伤后报告无法看到运动的 60 岁男子还报告说:“在群体交谈中跟不上谁在说话;在垂直和水平方向视觉扫描书面文档时迷失位置;以及无法从蓝图上的二维表示中可视化预期的三维图像”⁸²。虽然这些例子数量有限,但它们暗示视觉和非视觉运动处理之间可能存在至少某种共享机制。

综上所述,这些证据指向类波神经动力学与广义形式的“运动”之间的联系。在接下来的部分中,我们将提供一种数学形式化方法,证明这种联系并非偶然,而是波对于准确表征此类运动是必要的。为此,我们将抽象空间中的广义“运动”视为作用于信号之上的流,而不仅仅局限于物理或视觉环境(框 2)。例如,视觉运动可以看作是像素值在图像上的流动;身体的物理运动可以看作是作用于自身周围空间的流,其传播方向恰好与自我运动方向相反;听觉运动可以看作是作用于定义在频率空间上的信号的流。

打开网易新闻 查看精彩图片

通过将“运动”抽象为基于流的一般变换,我们可以利用群的数学结构——即共同遵循精确结构化代数的变换集合。这种结构使得群等变神经网络的开发者能够将这些群定义的对称性直接嵌入到网络架构中,从而为包含等效对称性的数据获得更好的数据效率和泛化性能。正如我们将通过这一视角所概述的那样,神经活动的行波是将“运动”的群结构整合到生物神经系统中的自然选择。因此,我们认为,鼓励神经动力学中的这种抽象群结构并获得其相关的效率效益,可能是神经网络先天偏向于产生时空动力学的主要规范性原因之一。

动态环境中的表征学习

在形式化等变性的概念之前,退一步从更一般的角度理解什么构成了“好”的表征是有帮助的。考虑一张自然图像——代表图像的完整百万像素阵列具有非常高的维度,但需要提取的图像部分是由一个低得多的维度的过程生成的。例如,想象一个由九根线控制的木偶(每条腿一根,每只手一根,每个肩膀一根,头部运动每只耳朵一根,鞠躬时脊柱底部一根);木偶的状态可以通过 9 个参数的时间过程传输到另一个位置,并在另一个木偶中重建。因此,用这些低维因子来表征世界更为高效,从而能够减少高维数据中相关的结构冗余。准确地在空间和时间上压缩这些相关性,对于高效地表征世界以及在复杂环境中促成行动至关重要;此外,如果每张图像都像相机那样存储,泛化能力将受到限制。这正是阿根廷作家豪尔赫·路易斯·博尔赫斯笔下的虚构人物富内斯(Funes el Memorioso)⁸³ 的命运。在那个故事中,该角色遭遇事故后能记住每一个细微细节。结果,他不再能够进行泛化——他无法捕捉从一个场景到下一个场景的任何相关结构,最终无法过上正常的生活。虽然这个故事是虚构的,但亚历山大·卢里亚⁸⁴ 记录了一个非常真实的对应案例,突显出核心概念不仅是一个理论构想,也是现实世界学习系统的实际问题。

学习的目标——结构化抽象

从高层来看,可以将深度神经网络中“学习”的目标理解为试图构建这些有用的因子,它们是对感官输入中高分辨率自由度的抽象,就像推断万能木偶操纵者的控制线一样。这类似于物理学中的重正化群过程通过粗粒化压缩无关的自由度,以揭示更大时空尺度上的新物理规律,这也是不同空间和时间尺度上新定律涌现的模型。作为复杂自然界中的代理,我们寻求用有用的抽象概念来表征我们的周围环境,这些概念可以帮助我们预测和操纵世界,从而增强我们的生存能力。

关于大脑如何计算有用的抽象表征,早期的一种理想化观点是通过学习对多种自然变换具有不变性的特征。这一观点源于人类尽管在像素层面外观多样且经历各种自然几何变换,仍能快速识别物体的明显能力,同时也源于 Gross 等人 (1972)⁸⁵ 的早期发现,即视觉层级较高层次(颞下皮层,IT)中的单个神经元对特定物体表现出选择性反应,而不受其位置、大小和方向的影响。

然而,即使在早期,许多有远见的研究人员开始对另一种想法表现出兴趣,即也许实现所需压缩和不变性的最佳方式并非抛弃所有自然变换,而是以可泛化的方式显式地学习世界的对称性,并有选择地“撤销”它们以产生更稳定的表征。例如,William Hoffman (1966 & 1968)⁸⁶, ⁸⁷ 是最早明确阐述大脑如何实现这一点的研究者之一,他将特定的对称变换生成元(李导数)与视觉皮层中的单个细胞形态进行比较;而其他人则将这一普遍思想追溯至 Akishige (1961)⁸⁸、Rosenblatt (1960)⁸⁹、McCulloch 和 Pitts (1947)⁹⁰ 以及 Cassirer (1944)⁹¹。

等变性:将对称结构构建到神经网络中

在机器学习文献中,结构化地表征特征变换的思想已在多种统称下被描述,包括:解缠结的“对象流形”⁹²、“解缠结”表征⁹³、“胶囊网络”⁹⁴ 以及“等变神经网络”⁹⁵。尽管这些框架在细节上各不相同,但它们的一个共同点是:物体的身份由其对称变换集合所定义,因此这些变换应当被结构性地嵌入模型本身之中⁹³,⁹⁶,⁹⁷。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

等变表征已被证明既有助于减少所需训练样本的数量(样本复杂度)⁹⁸,又能提高测试性能(泛化能力)⁹⁵。最普遍且广为人知的等变神经网络架构是卷积神经网络,它对空间平移具有等变性;正是由于其改进的数据效率和泛化特性,它才在图像建模领域占据了主导地位。作为其益处的进一步证明,针对已知物理对称性的等变性如今已成为深度神经网络应用于科学数据的最前沿应用的基石⁹⁹–¹⁰¹。甚至有人进一步提出,准确地表征对称性及其相关的不变量是机器学习中可能实现的最强大的泛化形式⁹³。

运动的结构

迄今为止,与神经科学中占主导地位的“滤波器”思维范式相呼应,机器学习研究的主要焦点一直集中在前馈神经网络(如卷积神经网络和 Transformer)上。因此,在等变深度学习这一子领域中,研究前沿也主要聚焦于影响这些模型输入的“静态”对称变换。

然而,自然界中的具身经验显然由运动变换所主导。从风中摇曳的树木,到自我运动引发的视觉流,我们体验中的每一个瞬间几乎必然通过随时间平滑连续的运动变换相互关联。最近,等变深度学习理论已通过“流等变性”框架扩展至涵盖循环神经网络及这些时间参数化的变换¹⁰²。从高层来看,传统等变性描述了如何构建前馈神经网络,使其潜在空间准确反映世界瞬时快照的结构。流等变性则将这些瞬时时刻联系起来,描述了如何构建潜在动力学,使其准确反映世界动力学的结构。在下文中,我们将更正式地描述流等变性,并提出时空神经动力学是诱导此类动态结构的自然候选者。

流等变性:正确表征运动需要潜在流

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

我们看到,这与前述等变关系直接类似,只是将其扩展到了处理序列的模型——如果输入经历了一个变换,输出也会经历一个对应的“等价”(同态)变换。我们再次指出, ψ ψ 对 u u 和 h h 的作用方式可能不同,但为了简便起见,我们使用了相同的作用符号。我们在框 4 中对此进行了直观的可视化展示。

打开网易新闻 查看精彩图片

如图所示,为了实现流等变性,事实证明必须在输入的共动参考系中进行计算。换句话说,对于简单的循环神经网络(RNN),其隐藏状态必须与输入同步流动(框 4 中部)。对于输入流,一个具有流等变性的简单 RNN 的形式必然类似于:

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

作为流等变性的方向选择性

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

有了这个具体例子,我们很自然地断言,在更一般的运动情况下,除了简单的方向选择性之外,神经系统中的某些时空动力学可能充当了流等变性所要求的循环潜在流的角色。在下一节中,我们将概述进一步支持这一视角的证据。具体而言,我们将论证,鉴于自然神经网络面临的生物约束,大脑中观察到的平滑局部时空动力学是必要潜在流算子最合乎逻辑的实现方式。这将自然地引出我们的结论:大规模神经网络对结构化时空活动的自然偏置,最好被理解为一种朝向流等变性形式的自然归纳偏置。最后,在最后一节中,我们将展示这种关于神经信息处理系统的时空视角如何提供一个统一的观点——即在自然和人工系统中,将连接性与选择性联系起来,并将时空动力学与记忆联系起来。

时空神经动力学是自然的潜在流

在前文关于流等变性的形式化讨论中,我们并未对隐藏状态中必要的流作用的具体形式做出任何假设。类似于现有的群等变神经网络,我们知道只要满足群公理,神经网络的潜在空间中就存在许多有效的群作用表示(例如,有效的选择包括正则表示⁹⁶,或可操纵表示¹⁰³, ¹⁰⁴)。在本节中,我们将论证,由于生物约束对时空局部性施加了压力,以及运动变换的时空不可分性与流的不可分性相匹配,神经活动的时空流是实现潜在流的最合理的自然候选者。

时空不可分性——运动的特征

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

此外,强有力的证据表明,很大一部分神经活动确实是时空不可分的,并且在分析过程中尊重这种不可分性对于得出正确结论是必要的。例如,Makeig 等人 (2002)¹⁰⁵ 的一项研究表明,在分析试次平均的脑电图(EEG)反应与使用独立成分分析(ICA)对记录进行单试次分析时,对事件相关电位(ERP)来源的解释存在显著差异。ICA 揭示了视觉刺激对潜在 alpha 节律的相位重置;也就是说,刺激并没有诱发这些峰值,而是偏移了正在进行的活动。ERP 峰值通常相隔 100 毫秒,即 10 Hz alpha 节律的周期,这表明这些峰值可能反映了正在进行的 alpha 行波的相位重置,而非独立的诱发反应。Alexander 等人 (2015)¹⁰⁶ 后来强调了假设时空可分性(如通过试次平均等技术)的后果,强调当违反可分性假设时,这些方法不仅会给测量引入额外的噪声,还可能导致错误的结论。Muller 等人 (2014)³⁶ 提供了一个具体的例子,其中波动力学在试次平均反应中不可见,但在单试次水平上却十分突出。

虽然这是强有力的证据,表明时空神经动力学可能是表征移动输入流的自然选择,但它并未对动力学本身的空间布局施加任何约束。换句话说,一组空间上非结构化的神经动力学可以用来表征运动变换,只要它在某种基底下是有效的流变换即可。事实上,最近的建模工作训练了没有任何生物约束的简单人工 RNN 模型,并发现潜在的类行波流在一个替代的“隐藏”基底中传播¹⁰⁷。在下文中,我们将论证,由于代谢效率方面的原因(类似于被认为支撑拓扑组织的原理¹⁰⁸, ¹⁰⁹),也会对神经动力学的时空局部性产生压力,因此假定的时空不可分潜在流也将被约束为平滑的时空流,即大致沿皮层表面传播的行波。

代谢效率与时间延迟促进时空局部性

生物系统最确凿的约束之一是实现代谢效率的压力。在神经系统的背景下,这一约束催生了极具影响力的观点,例如描述简单细胞感受野涌现的高效编码假说¹¹⁰,以及描述皮层选择性拓扑组织涌现的连线长度最小化假说¹⁰⁸。在拓扑组织的背景下,核心原则之一是维持神经元之间的长距离连接比短距离连接在代谢上代价更高,因此必须频繁相互通信的神经元应在空间上彼此靠近,以最大化效率。我们认为,同样的原则可以用来解释为何存在对神经动力学时空局部性的压力。具体而言,如果两个神经元必须频繁地依次发放,并且由于流等变性要求神经活动必须在它们之间预先流动,那么将这些神经元安置在空间上紧密相邻的位置在代谢上更为高效。事实上,最近的建模工作加强了这一假设,表明只有当优化目标中加入“连线长度成本”项时,在执行记忆任务的循环神经网络中才会涌现出类行波动力学¹¹²。

此外,除了直接维持长距离连接的代价外,有理由假设距离依赖性时间延迟这一额外的生物约束也起到了强化作用。由于动作电位具有有限的轴突传导速度,如果信号需要在特定的时间延迟内到达目标,这可能需要侧向连接的髓鞘化。这种髓鞘化会带来额外的代谢成本,因此无疑会产生进一步缩短侧向连接长度的压力。虽然这只是推测,但这一假说限制了潜在流的可能实现形式,使其符合神经系统中经常观察到的时空连贯的行波。

时空动力学作为生物基质的归纳偏置

综上所述,我们论证了神经活动的潜在流对于准确表征经历运动变换的刺激是必要的,并且由于生物约束,这些潜在流最自然地由神经科学文献中观察到的神经活动中的相干时空结构(如行波)来实现。从这个角度来看,人们自然会想知道:行波究竟是作为一种实现流等变性的适应性解决方案而出现的,还是因为它们本身就是生物基质所固有的,因而在有益时被征用为一种朝向流等变建模的自然归纳偏置?在本节中,我们将为后者提供证据,表明虽然两者在一定程度上可能都是正确的,但流动的时空动力学似乎确实是大规模生物物理神经网络动力学的固有属性,因此这种归纳偏置很可能在塑造这些系统的学习表征方面发挥重要作用。

大于膜时间常数的时间延迟产生时空动力学

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

那么,人们自然会问,为什么生物体没有通过修改这些通路来避免延迟呢?要理解这一点,需考虑神经回路中提高信息传输相对速度的两种已知主要机制:一是增加传递信号的轴突直径;二是髓鞘化,即辅助细胞用脂质鞘包裹轴突以提高动作电位的传导速度¹¹⁹。已知对于有髓鞘神经元,传导速度与轴突直径呈线性关系¹²⁰;但对于无髓鞘神经元,传导速度随轴突直径的平方根亚线性增加¹²¹。髓鞘化可将传输速度提高至高达 150 m/s¹²²;然而,这也以增加轴突连接的直径为代价¹²³。基于这些观察可以推断,若要使所有神经传输时间延迟变得微不足道,这些连接所需的体积将极其巨大,导致仅由轴突构成的大脑体积比例过高,这对自然行为而言是极度次优的。为了维持同等数量的神经元,整体脑容量将变得过大,更广泛地说,这将使自然行为成为不可能¹⁰⁹。此外,还有人认为,脑容量、互联性与时间延迟之间的这种权衡可能是较大脑容量中功能特化程度增加的原因¹²⁴。

从这个意义上说,显著大于膜时间常数的传输延迟似乎是生物神经系统的自然结果,因此预计会在这些具有长延迟的轴突上测量到行波。事实上,已测得皮层中的局部(介观)行波传播速度约为 0.1 至 0.8 m/s,这与无髓鞘侧向连接的传导速度一致¹⁶, ¹¹³;佐证证据还表明,皮层浅层水平纤维的传导延迟是控制大脑中类波动力学产生的主要因素³⁶, ¹²⁵。

波作为大型神经网络动力学的自然解

在最初对时空神经动力学的兴趣被单神经元电生理学所掩盖的几十年里,理论神经科学家并未受到记录技术局限性的阻碍,因此继续研究大规模抽象神经动力学的时空解。例如,早在 1972 年,Wilson 和 Cowan 就写下了他们所谓的“神经组织方程”,将皮层建模为具有侧向连接的一维或二维均匀片层¹²⁶。一年后,同一批作者通过解析证明,当这样的片层受到局部刺激并具备足够强的全局抑制时,行波便作为这些方程的解而存在,它们从刺激位置向外传播且不发生衰减,其频率和波长是刺激脉冲本身的非线性函数,而非连接的函数¹²⁷。不久之后,Ellias 和 Grossberg (1975)¹²⁸ 研究了类似的方程,并观察到“[p]产生了持久的行波,其形式取决于初始数据。[...] 这些回响确实‘记住’了它们的初始数据,因为它们生成了不同的波结构。”随后 Amari (1977)¹²⁹、Ermentrout (1998)¹³⁰、Roxin 等人 (2005)¹³¹ 以及其他人的工作进一步在各种不同的网络方程中强化了这些发现。因此,即使从这些早期例子来看,行波和结构化时空动力学显然是神经系统生物物理模型中现实且常见的解。

然而,更近期的计算工作已开始证明,这类动力学不仅是近似平均场方程的解,也是大规模生物物理发放神经元模拟的结果。例如,Davis 等人 (2021)²⁸ 研究了一个大规模的漏积分-发放(LIF)发放神经网络模型,并证明在具有拓扑组织连接和距离依赖性时间延迟的情况下,处于生物学真实规模的网络会自然地产生与皮层中观察到的统计相似的行波(框 1,底部)。值得注意的是,该模型产生的自发波在稀疏性方面与皮层波精确匹配;具体而言,在清醒且行为活跃的动物中,任何给定神经元参与某个波的概率相对较低。这与例如癫痫状态下观察到的密集波形成鲜明对比¹³²。

打开网易新闻 查看精彩图片

时空结构的归纳偏置

综上所述,上述数学、计算和生物学理由有力地支持了这样一种观点:诸如行波之类的时空结构是神经动力学固有的。鉴于此,我们认为理解此类动力学潜在“作用”的最佳方式是将其视为一种归纳偏置——即先验地施加于学习系统上的一组约束,它定义了系统的泛化和数据效率属性¹³³。因此,我们自然会问:如果一个学习系统天生偏向于产生时空动力学,那么学习到的表征将如何被塑造或约束?

回到我们对流等变性的定义,我们看到一个流等变的循环神经网络需要在输出空间中具有相应的输入流表示。从前文中,我们反复论证了时空动力学很可能正是扮演这一角色:我们已经表明,它们的时空不可分性使其成为表征输入流的理想选择,并且我们论证了它们是大规模神经网络动力学的自然属性。但是,神经活动的内在流是如何最终学会表征时间参数化对称性的呢?

要理解这一点,我们必须考虑时间的影响,特别是输入刺激(据称神经系统正试图对其进行表征)随时间的变化方式。如果我们像 J. J. Gibson¹³⁴ 那样采取生态视觉方法,感官输入随时间的自然变换是由运动引起的,例如自我运动或外部世界的运动。无论我们的感官如何,世界的一个重要特征是它往往不会变化得非常快(这是慢特征分析¹³⁵ 的一个基本原则)。例如,如果一个孩子现在正在花园里玩耍,尽管我的感官输入可能发生了巨大变化,但下一秒她很可能仍在花园里玩耍。因此,我们可以将快速的外部变化以及由身体运动引起的变化解释为真实世界状态的近似对称性,并且我们可能希望构建相对于这些广义对称变换而结构化的表征。

因此,我们的论证结论如下:如果我们考虑一个在世界中行动的代理,运动会引发刺激的时间参数化“流”对称变换,而时空结构化动力学(行波)的自然归纳偏置将填补相应潜在算子的角色。诸如预测编码之类的学习过程会鼓励视觉系统满足交换图(框 7),进而促使视觉系统学习一种潜在结构,以精确满足我们所期望的这种一般形式的流等变性。最后,我们强调这一概念远比简单的平移和旋转对称性更为广泛:在这种架构中,输入的任何平滑“流”变换都可以映射到时空动力学中。

打开网易新闻 查看精彩图片

在这一视角下,我们提出这样一种观点:观察到的结构与功能的趋同或许并非巧合,而是时空归纳偏置的结果。更明确地说,如果一个神经系统倾向于产生结构化的时空动力学,而其驱动刺激同时经历近似的流对称变换,我们相信这种流等变的潜在结构便是一个自然的结果。此外,鉴于上述这种表征结构在人工神经网络中已知的益处,我们没有理由认为它不会同样有益于自然神经系统,从而增强其抽象和泛化能力。

我们认为,时空结构化动力学的时空不可分性,以及它们所能表征的对称变换的相应不可分性,正是使这种联系如此具有吸引力的一点——如果一个系统拥有自然的潜在动力学,且该动力学与世界中广泛观察到的动力学具有独特的同态关系,那么将这种结构用作编码机制便是顺理成章的。在实证方面,一系列计算工作进一步提供了支持这一观点的有力证据。例如,研究人员表明,只需对潜在动力学施加强烈的归纳偏置,而无需指定这些潜在动力学在输入中应对应什么(即编码器是随机初始化的),网络就能学会将输入中类似的“匹配”变换(如旋转和颜色变换)编码到这些结构化的潜在流中¹³⁸–¹⁴¹。尽管已有其他研究者提出,神经元的方向柱结构和时空感受野可能支持低级视觉区域对微小视觉变换的等变性¹⁴²,但这一观点尚未被证明能扩展至整个视觉层级,而我们认为我们的视角恰好支持这种扩展。

在本文中,我们主张这种时空结构的益处可能远远超出我们迄今为止所讨论的简单视觉变换。在下一节中,我们将展示:当记忆任务被视为作用于部分观测到的时空信号上的流时,一组众所周知的模型与实证结果如何作为流等变性的具体实例重新浮现。

作为记忆的流等变性

在这一视角下,我们将流描述为表征输入信号“运动”的必要条件。尽管我们曾暗示这种“运动”是普遍且抽象的,但为了概念上的清晰,迄今为止我们主要将示例和讨论局限于视觉领域。在本节中,我们将提供本视角所支持的更抽象运动形式的具体示例,以阐明我们抽象概念的完全普遍性。

具体而言,我们将讨论作用于未观测“世界状态”的流,代理在每个时间点只能部分地观察到该状态。我们将展示,通过相对于作用于该世界状态但未直接显现于观测中的潜在(且可能未被观测到的)流保持流等变性,代理如何能够构建起对世界的准确、结构化且稳定的记忆。

部分可观测环境中的流动

打开网易新闻 查看精彩图片

在这种设置下,流等变性的实例化可能会显得令人困惑:尽管没有流动刺激的迹象,网络的活动可能看起来却在流动。然而,当仔细考量世界状态时,我们可以看到,相对于全局未观测动力学的这种流等变性,对于在部分可观测环境中运行以及为不再处于视野中的事物维持记忆,确实具有极其强大的作用。在下文中,我们将提供几个具体的例子。

将世界流的等变性视为记忆

在最简单的例子中,考虑一个滚动的 LED 标志,这在纽约市的餐车顶部很常见。此类标志可能会显示供应商提供的食品项目,但通常列表太长,无法一次性全部显示。例如,供应商可能出售“Pizza, Hot Dogs, Burgers”(披萨、热狗、汉堡),但在任何给定时刻,屏幕仅限于显示 12 个字符,因此当你第一次看时,它可能只显示“Pizza, Hot D”,但随着时间的推移,屏幕会在该列表上“滚动”,显示出:“za, Hot Dogs”。

打开网易新闻 查看精彩图片

首先,让我们概述一下流等变性在此处可能呈现的样子。一种可能的实例化意味着网络拥有一个巨大的隐藏状态 h h,其规模大于观测尺寸,并且经历一个同态移位操作,该操作“镜像”了世界状态的移位。我们在框 8 中可视化了这一过程。通过这种方式,每个新观测将与之前的观测“对齐”,同时为新观测“腾出空间”。正因为如此,即使未被观测到,隐藏状态中的项目仍将在空间上结构化,以匹配世界状态的真实结构——这就是同态流的好处。在句子结束时,由于这种同态性,完整的原始句子将按正确顺序存储在隐藏状态中。

然而,我们要强调,这不仅与视觉记忆相关,该机制适用于存储任何类型的结构化记忆。例如,如果你试图记住一个一次报一个数字的电话号码,将其视为作用于数字世界状态的流是很自然的,该流每次向你揭示一个数字。为了按正确顺序记住这些数字,你的隐藏状态中应该有一个相应的流——有效地将此记忆“写入”活动的空间模式中,将经历的时间转化为空间。

统一的视角

当我们采用上述关于神经动力学和神经表征的时空视角时,我们会发现它为自然智能和人工智能领域的多样化发现提供了一个统一的视角。正如我们已经概述的那样,我们的视角在生物神经网络中观察到的类行波动力学与人工神经网络中的等变结构之间建立了联系。在下文中,我们将描述关于动力学和结构化循环连接的近期与历史发现如何能够在时空视角下得到统一。最后,我们将展示如何将许多最先进的人工模型(如状态空间模型 (SSM) 和 Transformer)从时空动力学的角度进行理解,从而深入了解它们与大脑的联系,以及这些模型可能如何被扩展。

侧向连接结构中的流等变性特征

一个通常被称为“神经几何学”¹⁵⁷ 的研究分支,正是从视觉皮层旨在表征的环境几何结构的角度来研究其连接性的。支持者认为,早期视觉皮层最自然地可以用微分几何的语言来描述,特别是通过纤维丛和接触结构¹⁵⁸–¹⁶⁰,其中精确的连接结构受我们 3D 环境和 2D 观测的“自然”几何结构所支配。从高层来看,这一框架可以理解为断言:定义知觉恒常性(如形状、尺度、运动、颜色)的变换是通过神经元之间的侧向连接在皮层中“编码”的,从而有助于检测平滑连续的线条、轮廓和形状,构成了格式塔“良好延续性”(good continuation)和“联想场”(association fields)的基础¹⁶¹。总体而言,这些思想可以被视为理解大脑如何结构性地表征低级特征的变换属性,并将其作为构建高级对象基石的开端。

详细而言,这种“接触丛”(contact bundle)的描述基于这样一个发现:侧向连接优先连接具有相似选择性的神经元¹⁶²。长期以来,这些连接的间接功能作用一直是根据所谓的“非经典感受野”或“静默周围感受野”¹⁶³ 来测量的,即神经元的活动可以被其主(经典)空间感受野之外的其他特定神经元所调节。然而,迄今为止,对这些连接在经典循环处理中作用的理解仍然有限——这与对时空动力学广泛作用的有限理解类似。然而最近,研究表明这些侧向连接确实正是介导行波动力学的连接¹⁶, ³⁶, ¹²⁵;此外,测量表明波正是沿着方向空间中这些优先方向传播的¹⁶⁴。在实证方面,测量表明,沿着这些优先方向移动的定向线条确实由于行波的增强效应而被感知为移动得更快¹⁶⁵;在计算方面,已经建立了模型,以非常类似的方式展示了侧向连接的前向预测能力⁵⁸, ¹³⁶。最后,最令人惊讶的是,测量表明,这种侧向连接似乎能够促进以类似扫视(saccade)的速度、精确地沿着这些共线方向轨迹进行的活动¹⁶⁶。那么,结合我们对时空动力学和流变换的视角,这意味着什么呢?

用微分几何的语言来说,早期视觉通路中众所周知的方向柱可以被视为将输入空间中的平滑曲线“提升”(lifting)到方向“纤维丛”内相匹配的平滑曲线中(类似于框 3 中描绘的旋转等变神经网络)。随后,V1 中的侧向连接在这个潜在的位置和方向空间中描绘出次黎曼流形(sub-Riemannian manifold)的平滑积分曲线¹⁵⁹, ¹⁶⁰。重要的是,这些平滑曲线是由简单的生成向量场定义的——即流,这里的流现在不是定义在时间上,而是定义在空间上。这种精确的“次黎曼”连接结构与自然图像中的特征共现统计相匹配¹⁶⁷,并且进一步精确预测了初级视觉皮层中侧向连接的分布和排列¹³⁷。

打开网易新闻 查看精彩图片

简而言之,神经几何学文献表明,视觉皮层中的侧向连接可以说最好用无穷小视觉元素的“自然”平滑流变换来描述,其中定义流的参数 t 不是时间,而是空间。我们还知道,正是这些相同的侧向连接可能支持行波,在神经连接研究的支持下,为各种流变换与时空神经动力学之间提供了强有力的联系。我们认为,这些“冻结”流的证据只是第一步,也许利用现有的神经记录方法最容易发现。随着新技术提供更高的时间和空间分辨率,我们相信,将神经动力学与随时间变化的世界流联系起来的精确特征将会显现。

在下文中,我们将讨论时空动力学及其相关益处不仅存在于生物神经系统中,而且正越来越多地被隐式或显式地构建在人工系统中。

人工神经网络中的流等变性特征

在人工神经网络中寻找时空动力学的一个自然切入点是其隐藏活动的循环动力学。如果这类模型中存在时空动力学,按照前几节的逻辑,它们很可能用于编码其被训练执行的任务的流、不变量和对称性;事实上,最近的许多研究也证实了这一点。

在视觉流对称性的背景下,Keller 和 Welling (2021)¹³⁹ 的研究表明,通过在生成模型中的神经活动上引入时空先验(被描述为移位拓扑分布),模型确实学习到了结构化的等变子空间(“胶囊”),以反映其训练数据的流对称性。在随后的工作 (2023)¹³⁶ 中,同一批作者证明,通过对振荡循环网络的耦合参数施加局部归纳偏置,并随后训练该网络以准确预测正在进行的对称变换的未来状态(有效地“闭合”框 3 和框 4 中展示的环路),该网络学会了在模拟的“皮层片层”上传播行波。他们进一步证明,这些波确实在空间上构建了网络中神经元的选择性,以尊重手头的对称性,具体通过:(i) 让人联想到方向柱的可视化选择性图谱¹⁶⁸,以及 (ii) 通过在隐藏状态中人为诱发行波,并观察到重建的刺激经历了网络所训练的同种变换¹³⁶。在海马结构的一个类似的生物学合理网络实现中,Chen 等人 (2024)¹⁶⁹ 证明,当一个循环自编码器网络被训练以通过编码输入、在隐藏状态中传播活动,然后解码最终结果来预测输入流的下一个状态时,该模型学习到了一种托普利茨(Toeplitz)循环连接结构,作为循环隐藏层存储序列并在以后回忆它的一种方式。这种托普利茨结构可以直接与非线性振荡器网络中的行波¹³⁸, ¹⁷⁰–¹⁷² 和复杂的时空模式¹³⁶, ¹⁷³ 联系起来,表明时空“类波”动力学确实有益于需要视觉流变换的任务。

在记忆的背景下,Karuvally 等人 (2024)¹⁰⁷ 证明,即使在具有密集隐藏层到隐藏层连接矩阵、被训练用于解决记忆保持任务的简单循环神经网络中,也有可能识别出一种替代基底,在其中可以观察到波的传播。然而,一旦循环连接的连通性被约束为局部的(例如,通过对隐藏状态进行卷积操作),Keller 等人 (2024)¹³⁸ 证明,隐藏层会收敛于波动力学,将其作为传播隐藏活动以在工作记忆中长时间保持信息的首选方式。这项工作还证明了卷积诱导的时空归纳偏置的明显益处——与不具备这种归纳偏置的网络相比,基于波的模型训练速度快了几个数量级,并且解决了时间跨度显著更长的记忆任务¹³⁸。在部分观测的世界状态流的背景下,已有研究表明,流等变代理确实能够更快地学会表征部分观测的动态环境,包括对仅短暂看到的项目具有更好的记忆,从而能够更好地预测未来的动力学¹⁷⁴。

然而,最令人惊讶的是,我们发现我们提出的视角可以描述许多最先进模型的设计选择,而这些模型在设计时并未预先考虑时空动力学或等变性的概念。例如,许多现代计算机视觉视频模型在时间聚合之前,都包含了显式的“特征对齐”或“表征扭曲”模块,以将过去帧的特征对齐到当前帧(通过光流扭曲或学习到的可变形对齐)¹⁷⁵–¹⁷⁹。这种启发式方法显著提高了视频目标检测和视频修复等任务的准确性,并且在观测流的完整群结构未知时,可以被视为对流等变性的一种粗略近似。类似地,近年来出现了一些循环神经网络架构,它们在自然语言生成的长程序列建模方面已被证明可与经典的 Transformer 架构相媲美。这些架构包括 Mamba¹⁸⁰、Hungry Hungry Hippos (H3)¹⁸¹、xLSTM¹⁸² 和 Griffin¹⁸³。有趣的是,所有这些状态空间架构在每一层都包含对序列长度的卷积操作,这显然是继承自 Fu 等人¹⁸¹ 最初的 H3 框架,该框架对为何这有助于记住过去的 token 提出了一种松散的直觉。这种架构模式的持续使用一直被延续下来,作为在大型循环神经网络中实现强大性能所需的经验性“黑盒”技巧的一部分;然而,从本文概述的视角来看,我们现在可以看出,这种模式是结构化时空神经动力学的一种实例化。具体而言,这种卷积操作源自被定义为“移位-SSM”(shift-SSM)¹⁸¹ 的循环神经网络,该网络维持一个“移位”矩阵作为其循环连接矩阵。这种移位-SSM 与 Keller 等人¹³⁸ 的 wave-RNN 的一个特例完全相同,并且可以推导为单向一维波动方程的有限差分近似——类似于框 8 中为记忆展示的移位。这些发现的一致性提供了证据,表明时空视角不仅与理解记忆存储的假设解决方案相关,而且适用于现代最先进人工模型中实现的近乎最优的解决方案。

最后,我们认为,即使是生成式 Transformer 架构¹⁸⁴ 的自回归循环,也可以被视为实例化了一个在时间上向后传播的行波。正如 Muller 等人 (2024)¹⁸⁵ 所详细阐述的那样,Transformer 的扩展“上下文”与上述 wave-RNN 中观察到的基于波场的记忆之间存在明显的联系。从高层来看,Transformer 一次性对整个序列进行操作(通常称为上下文),使它们能够通过一种称为注意力(attention)的机制,直接比较序列在不同时间步的元素,从而学习长程相关性。然而,在循环神经网络(如大脑)中,没有这种显式的记忆存储系统,因此必须利用固定大小的隐藏状态来存储传入的输入,以便稍后进行跨时间比较。Muller 等人认为,行波可能正是服务于这种“上下文”目的。Karuvally 等人 (2024)¹⁰⁷ 进一步通过数学方式将这种联系形式化,表明自回归 Transformer 可以等效地被视为基于波的模型,其中 Transformer 网络本身作为作用于波场的非线性边界条件运行。

总体而言,我们认为这些结果指向了人工神经网络和生物神经网络在功能上的趋同。我们展示这些模型,是为了证明我们提出的视角作为一个统一的概念框架的潜力,该框架由等变神经网络理论的语言形式化,这可能有助于解释这些发现,并为未来有希望的研究方向提供路线图。

早期关于大脑计算的概念框架主要集中在单个神经元的特性及其对外部刺激的反应上。鉴于现代的发展,很明显大脑是动态系统,特别是皮层网络具有高度的循环性,相邻神经元之间存在显著的相互作用¹⁸⁶。正如本文所概述的那样,皮层行波的存在为神经计算带来了一种新的动态范式,该范式既解释了经典选择性的空间组织,也解释了显著结构化的时空动力学。

我们提出的关于神经动力学的时空视角是迈出的第一步,它独特地将以前相互脱节的思想结合在一起。从数学、物理学和现代机器学习的观点来看,时空动力学与内在地定义我们世界的对称性有着直接的联系。从神经科学的角度来看,选择性的结构化空间组织可能以一种在计算上有用的方式有效地表征这些流对称性,这与现有的概念框架是互补的。

正如我们在本文中暗示并论证的那样,该框架得出了几个对神经科学的预测:

• 应该有可能将刺激流与潜在流关联起来。测试这一假设的主要复杂之处在于,可能存在大量同时传播的潜在混淆内部“流”,从而降低了可测量的信号。然而,通过适当的控制和改进的高分辨率记录技术,这些混淆因素很可能被消除。

• 除了刺激流之外,时空动力学在某种程度上应该被测量为与自我运动“耦合”。已知运动信号存在于整个皮层——我们的框架表明,我们应该能够从神经活动随时间变换的方式中解码运动,而不是仅仅从其瞬时存在中解码。换句话说,运动信号应该以一般的方式动态地转换神经表征,而不是简单地叠加在它们之上。

• 无论其皮层位置如何,都应该有可能将“记忆”观察为神经活动的空间波形(它应该在皮层表面具有平移不变性)。在一个皮层位置训练的解码器可以用于大脑的另一个位置,从而在它们之间实例化一个结构化的变换算子。早在 1934 年,Adrian 和 Matthews¹⁷ 就报告了这种现象的证据,此后也有许多人报告过;然而,由于缺乏功能上的动机,这些报告一直被忽视。我们现在拥有了分析时空记录以验证这些想法的计算工具和方法。

• 最后,我们应该看到选择性皮层组织与时空动力学之间有更大的关系。有新兴的计算证据支持这一点¹⁶⁴,而更多受控的发育研究可能会巩固时空动力学在结构化选择性方面的作用。

时空视角是一种改善我们对神经数据解释的方法,并进一步丰富我们对生物系统底层计算机制的理解。未来的工作将完善和扩展这些想法,既提高我们对生物神经系统如何编码和处理信息的理解,也提高我们构建具有更自然表征的人工神经系统的能力¹⁸⁷。

最终,我们的核心论点可以总结为以下四点:(I) 为了准确表征输入刺激流(“运动”),循环神经网络必须具有通过循环连接传播的相应活动流。(II) 当没有流变换直接作用于输入刺激时,活动的循环流仍可用于对抽象的“世界状态”流进行建模,从而实现结构化的工作记忆。(III) 由于生物学压力,这些潜在流很可能采取大致类似于行波的空间组织动力学形式。(IV) 由于生物神经网络天生倾向于产生此类时空动力学,它们很可能作为一种先天的归纳偏置,用于表征世界的流。

结论

时空神经表征作为一个概念框架,并不像基于单个神经元感受野的传统框架那样直观。20世纪初的量子力学同样不如经典力学直观,但它引入了粒子与波的二象性。我们汇集了来自神经科学与人工神经网络的趋同证据,将皮层波置于这一新视角的中心舞台,正如量子力学将波引入我们对物理学的基本理解之中。行波的优势广泛,从灵活处理源自世界的运动对称性与抽象概念,到在工作记忆中长时间保持信息,而这两种特性目前在 Transformer 等模型中往往依赖于自注意力(self-attention)等计算成本高昂的机制来实现。我们认为,通过审慎的深化与持续的探索,本文概述的概念框架有望阐明神经科学与人工智能领域中的一些深层奥秘。

原文链接:https://arxiv.org/pdf/2409.13669v2