VLM脑中真有一张3D地图？匹兹堡大学挖出了新证据|中间层|匹兹堡大学|邻域

本研究由匹兹堡大学电气与计算机工程系的 Haoming Wang 与 Wei Gao 完成。

看一段房间视频，视觉语言模型（VLM）能够认出桌子、椅子和柜子。但在它的内部，这些物体是按颜色、形状组织在一起，还是形成了一张包含邻接关系的空间地图？

为了回答这个问题，匹兹堡大学的研究人员将研究视角从模型的最终答案转向隐空间，也就是模型在处理输入时形成的内部数值表征。通过跨场景特征分离与低维可视化，研究人员在模型中间层观察到了更清晰的空间结构：圆环、网格和随机布局，都能在提取后的表征中找到对应。这使「模型究竟如何理解空间」变成了一个可以直接观察和检验的问题。本文已被 NeruIPS 2026 录用为 spotlight paper。

论文标题：Uncovering and Shaping the Latent Representation of 3D Scene Topology in Vision-Language Models
文章链接：https://arxiv.org/abs/2605.07148
代码链接：https://github.com/pittisl/vlm-latent-shaping

人类通常能够把不断变化的第一视角画面整合为相对稳定的认知地图。它保留的核心信息包括「谁挨着谁」，「谁位于谁的哪一侧」等三维位置关系。本文将物体间的位置与邻接结构称为场景拓扑，并借此考察 VLM 是否也形成了某种不局限于二维图像网格的内部表示。

这一问题很难仅靠答题准确率解决，因为模型可能借助物体共现、语言先验或其他线索给出答案；attention map 则显示模型关注了哪些图像区域。它们都不足以回答不同物体的信息是否在模网络内部组成了连贯的三维结构，以及这种结构出现在哪些层。

初步分析结果表明，颜色、形状等属性比三维位置更容易从模型激活 (activation) 中读出。直接分析原始表征，往往首先看到明显的外观差异。因此，研究的关键不只是寻找空间信号，更多的是解决一个可解释性的问题：当多种视觉信息混在模型的同一套高维表征中时，怎样把关心的部分分离出来？

方法介绍

论文的分析过程从物体级表征出发，先聚合分散的视觉信息，再剔除稳定的身份属性，最后将剩余空间结构可视化。

步骤 1 从视觉标记中提取物体表征

一个物体通常对应多个图像小块，还会出现在视频的不同帧中。研究利用合成场景提供的对象掩码，确定哪些视觉标记（visual token）属于同一个物体，按覆盖比例加权汇聚，再跨时间平均。由此，每个场景中的每个物体都获得一个可以进行比较的激活向量。

这里，ℓ、s、o 分别表示网络层、场景和物体。式（1）按物体覆盖比例 c 和阈值 κ 在各时间槽内加权汇聚；式（2）再跨时间平均，并将物体向量按行堆叠为矩阵 H。这一步把分析的目标从分散的二维图像块转为物体，从而能够进一步比较物体之间的关系，而不只是观察局部图像特征。

步骤 2 用跨场景平均分离身份与位置

可以想象，把同一个「红色方块」放到许多随机生成的场景中时，它的位置不断变化，颜色和形状却保持一致。对它的跨场景激活取平均能够抵消变化的位置成分，而去估计这些相对稳定的身份属性：

上式对同一身份物体的多个场景求平均。等式右侧依次为身份成分、平均空间成分和误差项。研究人员在近似线性分解、随机布局及空间成分零均值的假设下，用它估计一个物体稳定的身份属性，诸如颜色和形状。

在此基础上，研究再通过奇异值分解找出这些属性在隐空间中的的主要方向，并将原始表征在这些方向上的分量投影掉，从而只保留与位置相关的变化：

从而将激活投影到身份属性方向的正交补空间。在上式中，W 的列向量是正交归一的属性方向。

步骤 3 把高维空间信号变成可观察的图形

接下来，研究使用主成分分析（PCA），将分离后的物体表征投影到三个主要方向上。每个点代表一个场景中的一个物体，点与点之间的排列反映模型内部的表征关系。把它与真实布局并排展示，就能直观看到内部结构在哪些层更接近场景几何。

这样做本质上是对分离后的表征矩阵做奇异值分解，取 V 的前三列得到三维 PCA 嵌入 Z。N 为物体表征的总数。Z 的每行对应一个场景中的一个物体，用来观察结构，但不等同于真实世界坐标。

VLM 隐空间揭示了什么

模型中间层呈现更清晰的三维场景结构

下图展示了各种场景布局。每组左侧是真实物体布局，右侧对应模型中较早、中间和较后层的可视化。与其他层相比，中间层提取的表征更清楚地保留了场景结构：物体的排列与邻接关系具有更明显的对应。

图 1 不同层的空间表征可视化中间层更清晰地对应真实布局（原论文图 6）

这些观察到的现象说明，有些空间信息在 VLM 的原始激活中不够显眼，经过有针对性的分离后才容易被看见。而可视化分析的价值正在于此：它把抽象的向量变成可检查的关系结构，让研究者能够比较不同层究竟保留了哪些几何信息。作者据此提出一种 VLM 层间分工的解释：较早层更偏向视觉特征，中间层的空间组织更突出，较后层则逐渐服务于语言输出。

图形相似之外还要检验邻域关系

仅凭几张低维散点图，还不足以衡量内部结构与真实场景是否一致。论文进一步使用狄利克雷（Dirichlet）能量，检查一个直观条件：真实三维空间中相邻的物体，在隐空间中是否也彼此接近。

研究根据物体的三维距离建立高斯核图，让更近的物体具有更大的连接权重；若这些物体的表征相差很大，能量就会更高。再将结果与随机打乱物体对应关系的基线比较，便得到用于跨层分析的能量比率。

上图中左侧的实验结果显示，中间层的能量比率更低；右侧的结果则显示，剔除外观属性后，这一趋势更加明显。定量结果与布局可视化相互印证，支持模型中间层包含可提取的场景拓扑信息。

团队进一步证明了，在保证表征保留足够差异、不会坍缩的条件下，让真实空间中相邻物体的表征尽可能接近，也就是最小化 Dirichlet 能量。得到的最优表征在去均值并进行 PCA 后，会呈现由场景邻域关系决定的低维结构，即拉普拉斯特征映射，将邻域关系与 PCA 可视化联系起来（定理 1）。这为隐空间的可视化提供了数学依据：保持邻域关系，能够使内部表征形成可解释的几何结构。

沿空间方向干预后坐标读出会怎样变化

为了进一步检验这些方向的含义，团队训练了从激活预测三维坐标的线性探针，并在小规模实验中沿与某个坐标轴相关的方向施加扰动。同时，他们加入等长度、但探针无法读出的对照方向，比较两种扰动的影响。

如图 3 所示，沿空间相关方向施加正负扰动后，坐标探针的读数随之定向变化；对照方向没有出现同等响应。这项实验检验的是内部坐标读出的变化，为提取方向的空间含义提供了补充证据。

从表征理解到能力提升

作为表征分析的延伸，团队将 Dirichlet 能量加入微调目标，用合成场景的三维坐标提供训练监督，在选定中间层进行 500 步 LoRA 微调，并在 VSI-Bench 和 MindCube 上观察到迁移收益。例如，Qwen2.5-VL-7B 在 VSI-Bench 简单相对方向任务上的准确率由普通 LoRA 的 47.9% 升至 60.0%，提高 12.1 个百分点。

这一结果说明，内部结构的分析可以为训练设计提供线索，并且通过在模型的隐空间中强化与空间位置关系有关的表征，能够明显提升现有 VLM 在对应的空间理解和推理任务上的性能。