Nat Neurosci | 当神经元“自己选图”：灵长类视觉系统如何在纹理与物体之间动态寻找最优表征|皮层|神经元|纹理|视觉系统|高维

视觉神经元究竟 “ 喜欢 ” 什么样的图像？

这个问题看似简单，却困扰了视觉神经科学几十年。对于初级视觉皮层（ V1 ）的神经元，我们已经知道它们偏好边缘、方向、空间频率等较为简单的特征；但越往高级视觉区域走，情况就越复杂。很多神经元会同时对语义上毫不相关的图像产生强烈反应：一只蜈蚣、一辆卡车、一座桥，可能都能激活同一个神经元。它们背后到底在编码什么？是完整的 “ 物体类别 ” ，还是某些更隐蔽、更局部的关键视觉特征？

近日，哈佛大学Kempner研究所王彬旭研究员与她的博士导师、哈佛大学医学院Carlos R. Ponce（此前在华盛顿大学医学院）在Nature Neuroscience上发表了题为Neuronal tuning aligns dynamically with object and texture manifolds across the visual hierarchy的研究论文，提出了一种新的研究思路：不再由人来猜神经元喜欢什么图，而是让神经元自己 “ 引导 ” 图像生成。

研究团队利用两类深度生成模型 —— 一种更偏向生成纹理化、抽象化图像，另一种更偏向生成逼真、物体中心化图像 —— 构建了两个不同的 “ 视觉空间 ” 。随后，在清醒恒河猴的 V1 、 V4 和 PIT （后下颞皮层）中，研究者记录神经元放电，并让神经元的反应直接反馈给生成模型，驱动图像一步步进化，寻找最能激活自己的刺激。

结果显示：沿着灵长类腹侧视觉通路向前，神经元与 “ 纹理空间 ” 的对齐逐渐下降，而与 “ 物体空间 ” 的对齐逐渐增强；但即使在高级区域 PIT ，许多神经元也并不是只偏好完整物体，而是仍然能够被两类空间中共享的局部视觉母题所激活。更有意思的是，这种对齐并非静态的： PIT 神经元在反应早期更像是在响应纹理线索，而在后期则更明显地转向物体相关表征。

这项工作不仅为理解视觉系统层级组织提供了新的证据，也展示了生成模型如何成为研究大脑表征的“实验接口”。

一、让神经元来 “ 驾驭 ” 生成模型

过去，神经科学家通常通过两类方式研究视觉神经元：

一类是用人工设计的刺激，比如条纹、边缘、方向；

另一类是用自然图像库，看神经元对什么图像反应更强。

但这两种方法都有局限。前者过于依赖研究者预设的假说，后者虽然更自然，却很难系统覆盖高维图像空间。尤其对于高级视觉皮层中的神经元，它们偏好的特征可能既不是简单几何形状，也不是某个明确语义类别，而是隐藏在复杂图像统计之中的局部组合特征。

为了解决这个问题，研究团队引入了闭环生成优化（ closed-loop optimization ）范式。简单来说，就是把神经元的放电当作 “ 评分器 ” ，让生成模型不断调整图像，朝着更能激活该神经元的方向搜索。

这项研究使用了两种图像生成器：

1. DeePSim ：纹理生成空间。它更擅长产生丰富、连续、可塑性高的纹理样图像，虽然看起来往往不够 “ 像照片 ” ，却可以更自由地覆盖各种自然图像特征。

2. BigGAN ：物体生成空间。它以 ImageNet 为基础训练，更容易生成逼真、具有明确物体结构的图像，但相对而言表达更受限，更偏向 “ 对象中心 ” 的自然图像先验。

研究者让同一个神经元同时驱动这两套生成过程：一边在 “ 纹理空间 ” 里进化，一边在 “ 物体空间 ” 里进化。通过比较两条进化轨迹的成功率、收敛速度、最终激活强度以及时间动态，就可以判断该神经元的调谐更 “ 对齐 ” 哪一种视觉空间。

二、看起来不同，但可能在局部 “ 说着同一种视觉语言 ”

实验中，一个非常有趣的现象是：同一个神经元引导 DeePSim 和 BigGAN 优化出来的图像，往往整体长得很不一样，但局部却包含相似的关键结构。

比如，一张 BigGAN 优化图像可能看起来像一只站在草地上的鸟，而同一神经元在 DeePSim 空间中优化出的图像则更像一片抽象纹理拼贴；但仔细看，会发现它们都共享某种局部弯曲边缘、颜色组合，或者某个特定位置上的高对比结构。也就是说，这个神经元也许并不是在编码 “ 鸟 ” 这个整体概念，而是在编码某种可以嵌入不同全局场景中的局部视觉母题。

为了验证这一点，作者进一步构建了空间归因分析，定位每张优化图中哪些局部区域最能解释神经元放电变化。结果发现：来自同一神经元的 DeePSim 与 BigGAN 图像，在归因区域上比不同神经元之间更相似。而且，这种跨生成器图像之间的相似性，还和神经元反应时间曲线（ PSTH ）的相似程度相关 —— 图像越共享局部特征，神经元对它们的时间响应模式也越相近。

这说明，许多视觉神经元并不是简单地 “ 认物体 ” 或 “ 认纹理 ” ，而更可能是在多个图像空间中抽取可重组、可迁移的局部结构单元。这种结果支持了一种更具组合性的视觉编码观点：神经元偏好的不是完整模板，而是可以在不同图像中重复出现的局部关键特征。

三、从 V1 到 PIT ：神经元与 “ 纹理空间 ” 和 “ 物体空间 ” 的对齐在变化

这项研究最核心的发现之一，是沿着视觉层级，神经元与不同生成空间的 “ 对齐关系 ” 发生了系统性变化。

作者把这种对齐理解为一种 “ 爬山便利度 ” ：如果某个神经元在某一生成空间中的调谐函数更平滑、更容易被优化器找到高点，那么就说明它与这个空间更对齐。

研究中主要用了三个指标来刻画这种对齐： 1. 优化成功率。 2. 起点与终点激活强度。 3. 收敛速度。

结果非常清楚：在 V1 和 V4 神经元整体上更容易被 DeePSim 的纹理空间优化成功，最终激活也更高，收敛更快。这说明在这些较早和中间的视觉区域中，纹理样、局部统计样的视觉空间仍然更贴近神经元的调谐结构。

在 PIT 情况发生了变化。 BigGAN 的成功率明显提升，最终优化后的激活水平与 DeePSim 相当，甚至在部分分析中表现得更快。也就是说，到了更高级的视觉区域，神经元已经能够很好地 “ 嵌入 ” 一个更偏向物体结构的生成空间中。

但是： PIT 并没有彻底抛弃纹理空间。许多 PIT 神经元同样能够在 DeePSim 中被有效优化。这意味着高级视觉表征并不是从 “ 纹理 ” 切换成 “ 物体 ” 的单向替代，而更像是在保留局部特征编码能力的同时，逐步获得对更复杂物体变量的可逆映射能力。

四、同一个 PIT 神经元，早期更像 “ 看纹理 ” ，晚期更像 “ 看物体 ”

如果说前面的结果揭示了不同脑区对图像空间的偏好差异，那么这项工作的另一大亮点，是把这种比较推进到了神经动力学层面。

大多数人工视觉模型对一张静态图像只输出一个固定表征，但真实神经元不是这样。它们对同一图像的反应会随时间变化：早期可能更敏感于局部特征，后期则逐渐体现更整合、更抽象的信息。

研究者分析了优化图像诱发的动态激活曲线（ P STH ），结果发现：

在 V4 神经元， DeePSim 优化图像在大部分早期和中期时间窗中都优于 BigGAN ，说明 V4 仍然整体偏向纹理样空间。

在 PIT 出现了鲜明的时间分工：早期响应： DeePSim 图像更占优势；晚期响应： BigGAN 图像逐渐反超。

换句话说， PIT 神经元并不是静态地 “ 同时对齐 ” 两种空间，而是在时间上动态切换。早期，它更像是在利用局部纹理或中层特征快速响应；随后，物体样图像所携带的整体结构和高级语义线索开始发挥更大作用，驱动更强的后期活动。这一结果与近期加州理工大学石悦琳、Doris Tsao团队在Nature发表的视觉神经元动态编码结果不谋而合。

这个发现很重要，因为它为理解生物视觉与人工视觉之间的差异提供了一个关键线索：大脑表征不仅是 “ 看到了什么 ” ，还包括 “ 什么时候以什么方式看到 ” 。当前多数卷积神经网络之所以无法像 PIT 那样同时良好对齐纹理和物体空间，可能正是因为它们缺少这种丰富的时间演化维度。

五、神经元调谐不是单一峰值，而是高维图像流形中的复杂地形

除了比较两类生成空间，这项工作还进一步追问：在 BigGAN 这样一个物体图像空间里，神经元的调谐曲线到底长什么样？研究者在优化结束后，从最优点附近沿多个正交方向继续采样，系统测量神经元放电如何随潜变量扰动变化。这相当于在局部 “ 扫描 ” 神经元在该图像空间中的调谐地形。

结果发现：当进化已经成功接近神经元偏好的峰值时，沿许多方向看到的是钟形调谐曲线（ bell-shaped ）；当进化并没有真正接近峰值时，沿某些方向则更像是斜坡型调谐（ ramp-like ）

这意味着，过去文献中关于某些高级视觉神经元到底是 “ 峰形调谐 ” 还是 “ 单调调谐 ” 的争论，可能并不是非此即彼，而取决于你在高维图像空间中采样到了什么位置。

换句话说，神经元并不是只沿着单一特征轴工作，而是嵌在一个复杂的高维调谐地形中。我们观察到的 “ 峰 ”“ 坡 ” 甚至 “ 多峰 ” ，都可能只是这个地形在不同切面上的投影。

这一视角也帮助解释了为何高级视觉神经元常常会对多个语义上不相干的图像都有反应：这些图像在全局上可能不同，但在高维空间中，或许共享了通往同一响应高地的若干局部路径。

六、这项工作意味着什么？

这项研究带来的意义，至少体现在三个层面。

1. 它为理解视觉层级组织提供了新的框架

从 V1 到 V4 再到 PIT ，视觉系统并不是简单地从 “ 低级特征 ” 走向 “ 高级物体 ” 的线性替代过程，而更像是在保留对局部纹理和关键特征敏感性的同时，逐渐获得对更复杂物体流形的可操作表征能力。

2. 它提出了更具 “ 因果性 ” 的大脑-模型对齐定义