Contextual Control of Hopfield Networks in a Hippocampal Model

海马体模型中的霍普菲尔德网络的情境控制

https://escholarship.org/content/qt1bj4d35q/qt1bj4d35q_noSplash_db9406697a8a0bc0ab9c7f0a0ae18353.pdf

https://hal.science/hal-04639128/document

摘要

执行功能引导情景记忆以检索对适应性行为至关重要的信息。前额叶皮层通过解剖学上的投射——目标为内嗅皮层和CA1区域——影响海马体的处理过程，从而实现这一功能。然而，大多数关于海马体的计算模型忽略了这种认知控制，要么完全忽视它，要么通过不切实际的直接连接到海马体来实现。本文探讨了在受海马体启发的自编码器中，由现代霍普菲尔德网络实现的情景记忆的上下文控制。我们的实验强调了前额叶传入与记忆存储位置之间的接近性对于情景记忆高效上下文调节的重要性，这对标准的海马体处理模型提出了挑战。这些发现不仅增进了我们对高级认知的理解，还为更具适应性的机器学习算法提供了设计原则。

关键词：情景记忆；认知控制；海马体；前额叶皮层；现代霍普菲尔德网络；计算神经科学

引言

高效的行为指导依赖于对与当前情境相关记忆的选择性回忆。这一过程受到上下文信息和感官信息动态交互的复杂影响。上下文信息不仅包含超出即时感知的内部表征，还在预测未来奖励和状态中起到关键作用。它包括时间事件序列、空间整合以及总体目标。尽管大量研究聚焦于刺激驱动的记忆检索，但情景记忆回忆受上下文因素调节的机制仍未得到充分探索。理解这些机制不仅对推进情景记忆理论至关重要，还对开发能够灵活应对多样化时空情境的机器学习算法具有重要意义。

前额叶皮层被认为在引导海马体中相关记忆的回忆中起着重要作用（Eichenbaum, 2017）。然而，在被称为标准模型（Nadel & Moscovitch, 1997）或标准框架（Cheng, 2013）的理论中，海马体中的情景记忆存储在一个名为CA3的区域，而该区域缺乏从前额叶皮层直接连接（Andrianova et al., 2023）。这引发了一个基本问题：前额叶皮层如何影响CA3中的记忆检索？在一项建模研究中（Pilly, Howard, & Bhattacharyya, 2018），上下文信息被传递到齿状回以调节回忆。然而，这与前额叶投射被认为终止于内嗅皮层的观点相矛盾（Eichenbaum, 2017），并且可能通过丘脑到达下游的CA1层（Anderson, Bunce, & Barbas, 2016）。本文旨在研究前额叶信号如何通过内嗅皮层或CA1调节记忆。为此，我们使用了一种自编码器人工神经网络来模拟内嗅-海马回路。一个代表前额叶皮层的层将上下文信息传递到自编码器的某一层（即前额叶传入的目标层）。现代霍普菲尔德网络（Ramsauer et al., 2020）被嵌入海马体的一个层中，用于通过结合感官信息和上下文信息来回忆该层的最接近状态，从而模拟情景记忆的存储。基于霍普菲尔德记忆相对于目标层的位置，研究了性能和上下文表征的表现。由于结果挑战了当前关于情景记忆存储的观点，最后一节讨论了这些发现对标准模型的意义。

方法
任务

模型
该模型由一个自编码器、一个现代霍普菲尔德联想记忆和一个前额叶层组成（图2）。

自编码器是一个多层全连接神经网络，其结构遵循内侧颞叶的解剖学布局。输入首先被发送到内嗅皮层（EC），然后通过三突触通路（ECII → DG → CA3 → CA1）和单突触通路（ECIII → CA1）流向CA1。信息从CA1传递到ECV，然后流向输出层。隐藏层使用ReLU作为激活函数，输出层使用Sigmoid（表1）。每个区域的神经元数量根据Cutsuridis、Graham、Cobb和Vida（2019）中检索到的模拟大鼠区域的神经元数量设定，并按比例因子
a=0.003缩小。

模拟细节

预训练阶段在每个周期中，所有任务-上下文组合以随机顺序呈现一次。学习是在线进行的，因为训练样本是一个接一个地呈现的。类似于最近提出的海马体自编码器模型（Santos-Pata等，2021），网络学习将其输入输出出来，即两个输入对象模式和奖励模式，以及上下文向量（除非另有说明）。这是通过在预训练阶段使用反向传播更新前馈自编码器权重来实现的。需要最小化的损失函数是输入和输出之间的均方误差。

获取阶段随后，在获取阶段，自编码器的权重被固定，记忆存储在联想记忆中。为了评估快速联想记忆的需求，使用了两种训练方案：单次学习（one-shot）和多次学习（many-shot）。在多次学习方案中，预训练持续20个周期，包含50个任务。然后，相同的50个任务被存储到记忆中，并用于测试性能。相比之下，在单次学习方案（类似于情景记忆）中，预训练仅持续一个周期，但包含1000个任务，因此网络的更新次数与多次学习方案相同。在单次学习方案的获取阶段，网络被呈现50个新任务以进行记忆获取，然后用于测试性能。因此，在单次学习方案中，自编码器权重不会通过获取/测试任务进行训练。

测试阶段在预训练和训练阶段，奖励模式作为输入提供给网络，但在测试阶段被屏蔽（即第三个输入槽位的值被设置为0）。在测试阶段，当输出的第三个槽位中存储的模式比非奖励模式更接近奖励模式时（通过均方误差评估），该试验被视为正确（图1）。因此，随机网络或没有上下文目标的网络的预期性能为50%，并作为基线。学习率是一个敏感参数，因为其最佳值在本研究测试的不同条件下会有所不同。因此，对于每个测试条件，学习率被设置为在随机搜索中表现最好的五个学习率的平均值。这一纯随机优化过程在每种条件下评估了模型的性能，共测试了300个随机学习率值。在此过程之后，针对每种条件的最佳学习率进行了50次不同的模拟。

结果

行为表现

首先评估了联想记忆的必要性，以确保任务需要情景处理。在多次学习（many-shot）方案中，单尾t检验比较了CA3中带有霍普菲尔德记忆的性能（M = 65.06%正确率，SD = 7.85）和没有现代霍普菲尔德网络的性能（M = 70.64%，SD = 4.05），结果显示模型总体上能够完成任务，但联想记忆在这种训练方案下略微损害了性能（t(49) = −4.97，p < .001）。另一方面，在类似于情景记忆的单次学习（one-shot）方案中，CA3记忆的结果（M = 75.06%，SD = 4.64）和没有现代霍普菲尔德网络的结果（M = 49.54%，SD = 3.19）表明，当测试任务未用于预训练自编码器时，记忆是必要的（单尾t(49) = 34.89，p < .001）。这证明了现代霍普菲尔德网络的编码和回忆操作可以将上下文纳入考虑。在这些条件下，CA3直接接收上下文信息。为了测试模型是否能按照Eichenbaum（2017）的解剖学综述执行任务，上下文信息被提供给接收前额叶投射的内嗅层（生物学大脑中的情况）。内嗅目标的性能（M = 51.06%，SD = 3.05）和CA3目标的性能（M = 75.06%，SD = 4.64）表明，当上下文信息提供给内嗅皮层时，模型的表现显著下降（单尾t(49) = 28.2，p < .001），且几乎接近随机水平（图3）。

当齿状回（dentate gyrus）是记忆增强层时，内嗅皮层为目标时的性能（M = 70.68%，SD = 4.49）和齿状回直接为目标时的性能（M = 71.44%，SD = 4.7）表明，针对内嗅层并不会显著损害性能（单尾t(49) = 1.12，p = .13），如图3所示。类似地，当联想记忆位于CA1时，模型在上下文信息提供给上游层时表现良好（图3）。当内嗅皮层的浅层为目标且记忆位于CA1时，有单突触通路的性能（M = 70.14%，SD = 4.71）和无单突触通路的性能（M = 56.28%，SD = 4.05）表明，该通路对于将上下文信息传递到记忆是必要的（单尾t(49) = 17.55，p < .001），如图3所示。通过结合齿状回、CA3或CA1（为简化起见，不包括单突触通路）作为记忆增强层的结果，可以根据目标层相对于记忆层的位置来评估性能。这种分析揭示了针对记忆下游区域的目标没有效果（图4）。计算了目标的相对位置（限制为小于或等于0的相对位置）与性能之间的Spearman秩相关系数，结果显示两者之间存在正相关关系，r(898) = 0.78，p < .001。此外，进行了双因素方差分析（ANOVA）以评估相对位置（小于或等于0）和上下文重建对性能的交互作用。在没有上下文重建的情况下，仅在自编码器损失中考虑感官（对象）输入。结果显示，相对位置的主效应显著（F(3,899) = 545.59，p < .001），上下文重建的主效应显著（F(1,899) = 24.29，p < .001），且相对位置与上下文重建之间存在显著交互作用（F(3,899) = 9.06，p < .001）。图4确实显示，当目标越来越远离记忆的上游时，性能下降的陡峭程度在模型仅尝试重建感官输入时大于在预训练阶段还尝试重建上下文信息时的情况。

上下文的神经编码

为了理解模型在执行任务时成功或失败的原因，可以分析不同层中使用的表征。首先，使用具有CA3记忆和内嗅目标的模型。在预训练和获取阶段之后，主成分投影显示，目标ECII群体中的上下文被很好地分离（图5），但这种分离在下游层CA3中减弱（图6），以至于CA3中的联想记忆无法根据上下文区分记忆（未显示）。因此，下游层无法获知上下文以正确回答。

一种可能性是某些神经元特别受到上下文身份的调制，并在主成分空间中支持分离。为了找到这样的上下文细胞，使用配对t检验评估每个细胞的活动是否依赖于上下文（更强或更弱），将50个测试任务作为样本。p < .001的神经元被视为上下文细胞。该分析显示，在该模型中，68%的ECII神经元是上下文细胞（图5），并且这一比例在后续群体中减少（例如，图6中45%的CA3细胞）。

上下文调节细胞的存在很可能有助于模型完成任务。为确认上下文细胞确实对行为表现和活动的上下文分离具有因果影响，研究进行了失活实验。由于当前额叶信息很难在内嗅皮层被靶向时传递至 CA3，关联记忆被置于齿状回（DG）中。在测试阶段后，研究在 DG 中识别出了 1664 个上下文细胞（占 46%）。虽然这一比例相比 CA3 看似不高，但由于 DG 的体积大于 CA3，这代表的神经元数量更多，足以在主成分空间中比 CA3 更好地区分上下文（未展示）。在识别后，研究在额外的测试阶段将这些 DG 的上下文细胞活动强制设为 0（失活），覆盖了全部 50 个测试任务。采用这一方案后，与随机选择 1664 个神经元失活（图 8）相比，上下文在主成分空间中不再分离（图 7）。此外，虽然随机失活时正确率为 72%（与图 3 的结果相近），但上下文细胞失活后，表现下降至 52%。

Peters等人（2013）引入了一项需要单次学习情景记忆的任务，并在本研究中用于探讨上下文引导的检索。尽管奖励是通过第三个刺激槽位人为编码的，以匹配Pilly等人（2018）的编码方案，但该任务使我们能够在一个简单的海马体启发网络中评估不同解剖配置的性能。本文的行为结果表明，现代霍普菲尔德网络能够编码和检索上下文记忆。快速联想记忆在刺激仅呈现一次时尤为必要。然而，在多次学习方案中，将记忆与CA3配对会损害性能。也许当训练样本多次呈现时（如多次学习方案），网络学会了泛化并忽略上下文信息。另一种解释是，这种训练方案发展出的网络比单次学习方案更倾向于在下游关联对象表征，因此在测试期间被屏蔽时，CA3记忆较难回忆起奖励模式。

此外，研究发现，上下文信息目标的位置是正确执行任务的关键因素。联想记忆的位置同样重要。事实上，性能似乎受到这两个元素之间距离的支配，目标必须靠近联想记忆层，但不能位于其下游。因此，遵循海马体处理标准模型以及Eichenbaum（2017）关于前额叶-海马相互作用解剖学综述的模型表现不佳。这是由于CA3中的联想记忆距离到达内嗅皮层浅层的前额叶投射过远。尽管在解剖学上，内嗅皮层与CA3之间存在直接连接，这可能会潜在提升性能，但在标准模型中，这种连接在编码阶段并未激活。这些结果与Cheng（2013）提出的证据一起，挑战了“记忆存储在CA3的复发性侧支中”的传统观点。

一些替代模型在执行任务时表现得更好。例如，联想记忆位于直接被前额叶上下文目标化的层中的模型表现优异。此外，联想记忆位于齿状回（DG）和CA1中的模型在以内嗅皮层为目标时表现良好。这是因为DG和CA1分别通过三突触通路和单突触通路与内嗅皮层相连。然而，CA1不太可能是唯一的记忆存储位置，因为ECII发送的信息缺乏序列学习所需的时序特性（Hafting等，2008），而三突触通路已知参与记忆过程。另一种假设是，DG在记忆存储中的作用被低估了，新模型可以利用DG来存储和检索上下文记忆（Chateau-Laurent，2024）。

另一个影响性能的因素是网络是否在预训练阶段学习重建上下文。在重建误差中考虑上下文的模型表现更好。这并不令人意外，因为反向传播会促进上下文信息在更多层之间的传递，以在输出层重建上下文。由于有假说认为海马体学会自编码其内嗅输入（Santos-Pata等，2021；Ketz等，2013），并且内嗅皮层既从前额叶皮层接收输入又向其投射，因此可以合理假设上下文重建是一个训练目标。旨在以依赖上下文的方式利用联想记忆的机器学习模型应充分利用这些结果。更具体地说，上下文线索与记忆模块之间的架构距离应尽可能小，并且目标函数应在可能的情况下包含线索重建项。

除了行为表现外，还分析了中间表征。研究发现，该模型能够显式编码上下文，这从主成分空间中上下文的分离以及上下文调制细胞的发现中可以看出。最重要的是，这些上下文细胞对于区分上下文并正确执行任务至关重要。为了使现代霍普菲尔德网络能够上下文化地编码和回忆记忆，上下文信息必须被编码为网络的输入。这些上下文神经元让人联想到在海马体中发现的“分裂细胞”（splitter cells）（Wood等，2000；Frank等，2000；Duvelle等，2023），它们根据过去或未来的轨迹分割位置表征。本研究中发现的上下文细胞可以被视为没有明确时空成分的分裂细胞。未来的研究可以通过更复杂的上下文调制和导航任务，进一步探索受控情景记忆，从而为分裂细胞提供更全面的解释。此外，还需要更深入地探讨DG在记忆存储中的潜在作用。

为了简单性和认识论上的简洁性，本文使用的网络是无约束的前馈网络和现代霍普菲尔德网络。然而，可以引入生物学合理性更强的元素，如稀疏性约束和更详细的联想记忆机制，以评估在更接近生物海马体的网络中是否能得出相同的结果。

原文链接： https://escholarship.org/content/qt1bj4d35q/qt1bj4d35q_noSplash_db9406697a8a0bc0ab9c7f0a0ae18353.pdf