Relative representations for cognitive graphs
认知图的相对表示
https://arxiv.org/pdf/2309.04653
摘要
尽管不同的神经网络学习到的潜在空间通常无法直接比较，即使模型架构和训练数据保持固定，最近的机器学习研究 [13] 表明，利用潜在空间向量之间的相似性和差异来推导“相对表示”是可行的。这种表示具有与其“绝对”对应物相当的表示能力，并且在训练于相似数据分布的模型之间几乎一致。除了它们在揭示学习到的潜在空间底层结构方面的内在意义外，相对表示还有助于跨网络比较表示，作为收敛的通用代理，并用于零样本模型缝合 [13]。
在本工作中，我们研究了相对表示向离散状态空间模型的扩展，使用克隆结构认知图（CSCGs）[16] 进行 2D 空间定位和导航作为测试案例，此类表示在其中可能具有某种实际用途。我们的工作表明，消息传递过程中计算的概率向量可用于定义 CSCGs 上的相对表示，从而在使用不同随机初始化和训练序列训练的代理之间，以及在仅部分相似的空间上，实现有效通信。在此过程中，我们引入了一种零样本模型缝合技术，该技术可事后应用，无需在训练期间使用相对表示。这项探索性工作旨在作为相对表示应用于神经科学和人工智能中认知地图研究的概念验证。
关键词： 克隆结构认知图 · 相对表示 · 表示相似性
1 引言
在这篇短文中，我们探索了相对表示 [13] 在海马 - 内嗅皮层系统离散（图结构）认知模型中的应用——具体而言，是克隆结构认知图（CSCGs）[16]。在前两节中，我们介绍了相对表示及其通过图上传递的连续消息向离散潜在状态空间的扩展。随后我们介绍 CSCGs 及其在 SLAM（同步定位与建图）中的应用。最后，我们报告了在 CSCGs 上使用相对表示的初步实验结果，表明：(a) 相对表示确实可以成功应用于建模离散、图状表示（如 CSCGs）的潜在空间结构，更广泛地说，还包括离散主动推理建模中使用的那些部分可观测马尔可夫决策过程（POMDPs）[1, 8, 19]；(b) 跨部分不同环境的代理比较揭示了重要的共享潜在空间结构；(c) 可以利用一个代理的消息或信念（状态概率），通过相对表示重建另一个代理的相应信念分布，而无需在训练期间使用相对表示。这些例子说明了神经科学中开发的现有表示分析技术 [10] 的扩展，我们希望这将证明适用于生物体中认知地图的研究。
2 相对表示
虽然相对表示是最近在机器学习中引入的，但它们的灵感部分来自于神经科学中关于表征相似性分析（RSA）的早期工作 [10, 4]。事实上，相对表示与表征相异矩阵（RDMs）之间存在形式上的等价性，RDMs 被提议作为一种表示不同类型神经科学数据（包括脑成像模态以及计算模型中的模拟神经元活动）的通用格式 [10]。具体而言，如果采用的是相似度度量而非相异度度量 5
，那么用于表征表征空间的 RDM 的每一行（或等价地，每一列） simply 就是对应数据点的相对表示。
可以说，文献 [13] 的主要贡献在于展示了该技术在机器学习中的实用性，即相对表示可作为一种新型潜在空间应用于模型架构中。给定足够大的锚点样本，相对表示包含足够的信息来发挥与其所建模的“绝对”表示相似的功能作用，而不仅仅是作为一种分析工具（例如，用于表征潜在空间的结构并促进系统间的抽象比较）。
相对表示最明显的实际用途在于实现“潜在空间通信”：Moschella 等人 [13] 表明，将不同模型的嵌入投影到同一个相对表示上，可以实现“零样本模型缝合”，例如，可以将一个训练模型的编码器拼接到另一个模型的解码器上（其中相对表示作为输入提供给解码器的初始层）。该过程的一个局限性在于，它依赖于在训练期间使用相对表示层，从而排除了其在建立“冻结”预训练模型之间通信的应用。在下文中，我们将利用一种无参数技术，该技术允许人们在一定程度上成功地将相对表示空间映射回输入模型的“绝对”表示。
3 将相对表示扩展至离散状态空间模型
尽管连续状态空间模型在深度学习系统中取得了显著成就，离散状态空间仍然具有相关性，无论是在机器学习应用中（其中离散“世界模型”在基于模型的强化学习中负责最先进结果 [6]），还是在神经科学中（其中有充分证据表明存在离散化、图状的表示，例如在海马 - 内嗅皮层系统 [25, 18, 16] 中，以及在利用 POMDPs（部分可观测马尔可夫决策过程）[19] 的决策过程模型中）。
虽然典型的向量相似度度量（如余弦距离）在应用于许多类型的离散表示时表现某种程度的退化（例如，同一空间中两个独热（one-hot）向量之间的余弦相似度如果向量相同则为 1，否则为 0），但它们在这种情况下仍然可以被有益地应用（见下文第 5 节）。更一般地说，在基于代理的模型仿真过程中，在离散状态空间上推断出的后验信念分布可能为构建相对表示提供合适的锚点。
具体而言，此类后验分布通常是使用消息传递算法推导出来的，例如信念传播 [14] 或变分消息传递 [27]。我们采用这种策略来推导一种特殊类型的隐马尔可夫模型（克隆结构隐马尔可夫模型，或者（如果补充动作）认知图 [16]）的相对表示，在其中计算前向消息很简单，这些消息在每个离散时间步给出隐藏状态 z 以观测序列 o 为条件的概率（即 P ( z t ∣ o 1 : t )
）。CSCG/CHMM 特别有趣，既因为其作为大脑中海马 - 内嗅皮层表示模型的保真度，也因为，如同神经网络的情况一样，不同的代理可能学习表面上不同的 CSCG，尽管如此却形成几乎同构的认知地图，如下所示。
4 使用克隆结构认知图进行 SLAM
当代机器学习和计算神经科学的一个重要研究方向专注于理解海马体和内嗅皮层在空间导航中的作用 [20, 23, 25, 16]，这一视角可能也适用于更抽象空间的导航 [18, 21]。这一研究领域催生了诸如 Tolman-Eichenbaum 机器 [25] 和克隆结构认知图（Clone-Structured Cognitive Graph）[5, 16] 等模型。在本研究中，我们聚焦于后一种模型，因为它易于在简易测试问题上实现，并能为我们的目的提供合适的表示（即一个可以通过其传播消息的显式离散潜在空间）。
CSCG 模型最明显的用途（反映了海马 - 内嗅系统的功能）是允许能够在空间中移动的代理在没有任何关于空间拓扑的先验知识的情况下执行 SLAM（同步定位与建图）。从随机转移矩阵开始，在 2D“房间”的随机游走上训练的 CSCG（其中每个单元格对应一个观测），在 [16] 中显示能够学习隐藏状态之间的动作条件转移动态，这些动态表现出一种稀疏结构，精确地重现了房间的空间布局（见图 1）。
给定一个观测序列，智能体随后可以推断出对应于其在房间内位置的状态，并且随着序列长度的增加，其确定性和准确性也会提高。关键在于，位置并非该模型的输入，智能体对位置的表征完全是从对高阶观测序列的无监督学习中“涌现”出来的。
基于 [16] 中提供的代码库，我们检查了智能体在随机游走过程中对空间位置推断出的信念的确定性（见图 2）。尽管并非完全确信，但这类智能体仅凭观测序列，在几步之后就能可靠地推断出房间位置。若将推理同时也基于等效的“本体感觉”信息（即关于哪些动作导致了相关的观测序列）进行条件化，则会显著提高智能体信念的确定性。我们在实验中探索了这两种（不）确定性状态。
5 实验：认知地图之间的通信
我们研究了不同 CSCG 智能体学习到的“认知地图”背后的共同结构在多大程度上可以被利用，以实现它们之间的通信。与在相似数据上训练的神经网络情况类似，在相同房间训练但具有不同随机初始化和观测序列的 CSCG 智能体学习到了不同的表示，尽管如此，它们在某个抽象层次上是同构的（即当比较它们元素之间的结构关系时，相对表示使这些关系显式化——参见附录 B，图 5）。
我们还探索了是否能在训练于略有不同房间的智能体之间获得部分映射。我们使用了两个指标来评估跨智能体信念映射的质量：(1) 给定另一个遵循类似轨迹的智能体的信念，在给定时间步恢复一个智能体的最大后验信念的能力；(2) 给定消息与其通过此类映射“重建”的消息之间的余弦相似度。这些初步实验的主要结果报告于表 1 中。
5.1 通过排列进行映射
由于自注意力（self-attention）可以通过其与联想记忆模型（associative memory models）的联系来理解 [15, 12]，这种对应关系在一定程度上从理论上证明了我们要选择这种重建方法的合理性。特别是，遵循 [12]，通过相对表示进行重建可以被理解为实施一种异联想记忆（heteroassociative memory）的形式，其中模型 A 和模型 B 的锚点嵌入分别是记忆矩阵和投影矩阵。
毫不奇怪，随着所用锚点数量的增加，我们程序的结果也会提高（见附录 A，图 4）。在我们的实验中，我们使用了 N = 5000 个锚点。当锚点是从正在重建的轨迹中采样时，我们使用该技术获得了更准确的映射，这提高了锚点集中出现精确匹配的概率；为了通用性起见，所有报告的结果改为从不同的随机游走中（均匀地、无放回地）采样锚点。虽然在当前设定下，可以使用专为概率分布定制的相似度度量来创建相对表示，但我们根据经验发现，用负 Jensen-Shannon 距离（negative Jensen-Shannon distance）替换余弦相似度会对性能产生轻微的不利影响。
5.3跨不同模型的映射
如 [13] 所示，相对表示可以通过使用“平行”锚点来揭示表面上截然不同的模型之间的共同结构——例如那些用不同自然语言的句子训练的模型——其中为每个模型选择的锚点通过某种映射相关联（例如是同一文本的翻译）。在 CSCG 的语境中，锚点（前向消息）是相对于观测序列定义的。因此，为了在不同智能体之间采样平行锚点，我们需要部分不同的房间，在其中可以生成相似但不同的观测序列。
我们使用了四种实验操作来生成部分不同房间的对（见图 3），我们现在概述这些操作，并简要讨论我们在每种情况下的结果。
同构性（Isomorphism） 任何给定固定大小的随机生成网格或“房间”（如果 CSCG 训练收敛）都将产生具有相同拓扑结构的认知地图。因此，应该可以在此类两个随机房间之间生成平行的（动作，观测）对序列——从而生成用于定义相对表示的平行锚点——即使每个房间包含一组不同的可能观测或不同数量的克隆体，其中任何一种情况都会排除使用简单的基于排列的映射。
然而，观测之间的关系在此类房间之间会有所不同，这在不确定性条件下很重要，因为当接收到给定观测时，该观测的每个克隆体都会被部分激活，从而导致不同的条件信念分布。当信念或多或少确定时，这种效应应该得到缓解或完全消除，在这种情况下，“横向”连接（转移动态）会在对应于每个观测的可能克隆体中仅选择一个。事实上，我们发现，只要消息以动作和观测为条件，就可以在不同观测集的随机房间上训练的模型之间获得近乎完美的重建精度；而当仅以观测为条件时，我们在这种场景下的成功率仅为 < 50%。
扩展（Expansion） 在这组实验中，我们使用克罗内克积（Kronecker products）生成了较小房间的“扩展”版本以及相应的“拉伸”轨迹（配对的观测和动作序列），使得较小房间中的每个位置在较大房间中扩展为 2×2 的块，并且较小房间中的每一步对应于较大房间中的两步。然后，我们可以通过取 (a) 较小房间中的所有消息，以及 (b) 较大房间中每隔一条消息，来定义在此类一对房间上训练的智能体之间的平行锚点。在这种条件下，大房间 → 小房间的映射可以比相反方向执行得准确得多，因为较小（“下采样”）房间中的每个锚点对应于较大房间中的四个潜在位置。与我们在相同房间上的实验相比，（大房间 → 小房间）条件的优越结果可以用以下事实来解释：即“小”房间包含的候选位置比“相同”条件中使用的房间更少。
平移（Shifting） 在第三组实验中，我们通过取较宽房间的重叠垂直切片来生成房间，使得在穿越房间时观测到相同的序列，但在不同的更宽上下文中。在这种情况下，仅将对应于重叠位置的消息用作锚点，但在整个房间的随机游走上进行测试。在确定性条件下，通过使用所有消息作为候选锚点，可以近乎完美地解决这两个房间之间的映射问题，因为这些房间是同构的。在无法访问真实动作（ground-truth actions）的情况下，即使锚点是从所有位置采样的，也只能在约 35% 的时间内根据一个智能体的信念恢复另一个智能体的信念。我们假设这个问题比“同构”条件更具挑战性，因为相似的观测模式（因此相似的消息）对应于两个房间中的不同位置，这应该会使重建偏向错误的位置。
地标（Landmarks） 最后，部分遵循 [16] 中针对大致无特征房间（其中独特观测对应独特位置（例如角落和墙壁））的实验，我们定义了成对的房间，其中相同的（独特的）观测被分配给周边元素，其余部分则由在不同房间之间不同的随机生成观测填充。仅使用共同的“地标”位置作为锚点，仍然可以使用相对表示，从另一个房间中平行轨迹的消息中恢复智能体的位置，并取得了一定的成功。
总结 表 1 中报告的结果是在显著不确定性的条件下获得的，其中消息仅以观测为条件，而不了解产生这些观测的动作。在这个具有挑战性的设定中，相对表示仍然使得能够从另一个智能体的信念中恢复（在所有实验条件下均远高于随机水平，在某些情况下相当准确）一个智能体关于其位置的最大后验信念，这是在测试序列的消息上平均的结果。 11 11
6 讨论
本工作中用于定义相对表示的“消息”既可以被解释为概率分布，也可以被更中立地解释为单纯的神经元活动向量。系统神经科学的近期工作 [2] 表明，从真实的神经元活动谱中恢复共同的抽象潜在空间是可能的。如上所述，相对表示在神经科学中由表征相似性分析（RSA）所预见，RSA 实际上将与某些固定刺激相关的神经元反应或计算模型状态视为锚点。该技术补充了其他技术，如吸引子动态分析 [26]，作为研究大脑中潜在空间属性的工具，并且已被显示能够揭示不仅跨个体，而且跨语言社区 [28] 甚至跨物种 [11, 7] 的共同潜在表示结构。与 [13] 和 [10] 的目标一致，这一范式最终可能为海马 - 内嗅系统及其他地方导航系统的脑成像研究提供迷人的未来方向。
相对表示将这一范式推广到“平行锚点”，并且也展示了高维表示相似性向量作为其自身的潜在表示的效用，如上所示，它们可用于在不同模型之间建立零样本通信。虽然我们在简易实验中构建的条件是人为的，但它们在更现实的场景中有类似物。例如，动物在结构同构但表面不同的环境中导航时，理应在某种抽象层次上学习到相似的认知地图，这是合理的。类似于“扩展”设置的情况可能发生在两个探索同一空间但（例如由于不同的大小或穿越速度，因此采样率不同）以不同方式对其进行粗粒化的生物体之间。基于地标的导航思想通常是 SLAM 范式的核心，而在其他方面不同的空间中地标的稳定性可能为尽管同一环境随时间变化仍能导航的能力提供一个模型。最后，虽然关于部分重叠房间的实验如果天真地应用于空间导航场景似乎有些牵强，但它们可能与抽象空间中的 SLAM 模型 [18] 相当相关，例如在语言习得期间，同一语言的不同说话者可能暴露于部分不相交的刺激集合，对应于不同的方言（或在极限情况下，个人方言）。
关键在于，这些技术提供的共同参考框架可能允许对共享表示进行分析，这些表示（当源自功能良好的系统时）应体现一种理想结构，个体认知系统在某种意义上旨在逼近该结构，从而允许将个体受限于大脑的模型与共享的、抽象的真实基准进行比较。这种抽象的“理想”潜在空间可用于测量误差或错误表示 [9]，或用于评估发展背景下的进展。
7 结论
在本工作中，我们考虑了一个将相对表示应用于图结构认知地图的简易示例。此处报告的结果主要旨在说明使用相对表示探索认知地图潜在结构的具体方向，并作为原理验证，表明该技术可应用于离散潜在空间上的推断后验分布情况。我们还引入了一种技术，无需学习即可从其相对表示重建“绝对”表示。
除了进一步研究超参数设置（例如相似度函数的选择）以优化实际应用中的性能外，未来的工作可能会探索将相对表示应用于具有离散潜在状态的更复杂模型，例如在最前沿的基于模型的强化学习中使用的离散“世界模型”[6]，或者在多智能体主动推理场景中实现信念共享与合作。鉴于上述与神经自注意力的联系（这种联系在 Tolman-Eichenbaum 机器的背景下也已被注意到 [24]），探索这种转换过程发生在智能体内部的模型也将很有趣，以此作为跨局部认知结构转移知识的一种手段。
原文链接：https://arxiv.org/pdf/2309.04653
热门跟贴