十年前，一个编号 4e:55 的神经元，把整个 AI 可解释性领域带进了一条长达十年的岔路。
它看到猫脸会兴奋，看到汽车车头也会兴奋。一个神经元管两件八竿子打不着的事，这怎么看都违背了"一个神经元对应一个概念"的朴素预期。于是学界得出结论：神经网络的底层逻辑不可解释。
而当年把这个案例推向经典的《Zoom In》论文，共同作者之一就是 Nick Cammarata。现在，他亲手推翻了自己当年的结论。
"这个神经元根本不认识猫，也不认识车。它检测的是 V 字几何形状。"
狐狸的尖脸、喷射的火焰、汽车的尖头、消防船喷出的 V 形水柱，都会激活它的正极；而它的负极，是圆形的东西——圆脸、圆球、圆形的车轮。他直言，这个误判的根源，或许是当年的观测工具太低级。
从 2% 到 99%
2023 年，Cammarata 在 OpenAI 做第一个大规模自动化神经元解释项目，用当时的工具只能解释大约 2% 的神经元。三年后，他带着更先进的算法和 Agent 团队重新研究，情况完全不同。
在他们测试的现代视觉模型中，最后一层 99%～100% 的神经元都能找到相当清晰的解释。就连当年以"深层混乱"著称的 InceptionV1 本身，用新工具重新观测，可解释率也大幅提升。
他把这些写进了一篇需要阅读 65 分钟的长文《Neural Networks Are Already Clean》，提出一个惊人之论：神经网络本身，远比我们想象的要"干净"。
这里的"干净"，不是指一个神经元只干一件事，而是说网络内部有着极其连贯、精妙、且完全可以被人类直接阅读的组织结构。它就像一张规整的地图，想看细节就"双击放大"。
OpenAI 核心研究员 roon 直接转发并惊呼，这是"科学史上的重要时刻"，"我们终于可以把 AI 对齐，变成一门'常规科学'了"。
问题不在网络，在工具
为什么人们会认为 AI 的大脑是一团乱麻？这要从 2014 年的 InceptionV1 视觉模型说起。研究者发现，模型的表层神经元还算清晰，但越往深层走，越像一团乱麻。当时学界估计，最后一层能被人类看懂的神经元只有区区 5%。
为了解释这种现象，学术界提出了"叠加假说"：当神经元数量不够用时，AI 会偷偷切换学习策略，把互不相关的概念"折叠"进同一个神经元里。因为它们很少同时激活，所以不会互相干扰。
既然神经网络是缠结的，那就必须发明工具把它强行"拆开"。Anthropic 和 OpenAI 等顶尖实验室，一直把稀疏自编码器（SAE）作为主流方案——训练一个辅助模型，把原本硬塞在神经元里的多个特征强行拽出来，重新分类，贴上人类可读的标签。
但 Cammarata 发现，每次观测工具的升级，看似混乱的神经元就会自动变得清晰一些。他忍不住怀疑：或许问题根本不在神经网络，而在我们观察网络的工具上。
过去的特征可视化，本质是用梯度下降算法合成一张最能激活神经元的图。但算法为了追求最高激活值会"抄近路"，产生"奖励作弊"问题。由于 ImageNet 训练集中猫狗类图片数量极多、特征极强，算法合成出的最强激活图像里，会混入猫的胡须、狗的皮毛这类语义残渣。研究者顺着这些附带特征解读，自然会误以为这是个"动物神经元"。
Cammarata 团队用了两套更严谨的方法重新观测。第一，激活路径引导：精细化微调正则化参数，强制约束算法必须沿着真实图像的天然激活路径去合成特征，剥离掉算法自身产生的干扰噪音。第二，正负两极交叉验证法：不只研究什么能最强激活神经元，同时研究什么能最强抑制神经元，通过两端共同锚定神经元的真实功能。
结果发现，神经网络原来是按照几何去分类的。
另一组"汽车与狗"的案例也是同样的道理。InceptionV1 训练数据里狗的图片远多于汽车，狗相关神经元也更密集，优化过程掉进"狗的图像盆地"就爬不出来，最后合成的最强激活图全是狗。团队引入自动化 Agent 工具做动态梯度追踪和消融实验后发现，这组神经元根本不是"狗神经元"，而是检测"物体是否正脸直接面对镜头、且两侧对称"的神经元。汽车的特征信号在这里被打上"正面朝前"的标签后，会继续向下游更深的层流动，最终分流进真正的汽车分类电路和狗分类电路。
神经元像树枝一样生长
既然神经网络不是胡乱叠加，那"多义性"现象是怎么来的？Cammarata 给出了一个新解释：递归泛化。
他认为，神经元像树枝一样生长。一个神经元最初或许只识别油菜花。沿着"黄色"这条特征轴，它慢慢拓展到识别所有黄色物体；沿着"圆形外形"这条轴，又延伸到各类球状物体；再顺着"花田里的生物"这个关联路径，进一步覆盖花田里的狗，最后延伸到绿色的西兰花。
如果人类只看到这个神经元同时响应油菜花和西兰花，很容易误以为模型逻辑混乱。但只要追溯它生长的完整路径就会发现：每一次分叉、每一次特征延伸，都具备连贯的逻辑。
在语言模型里，递归泛化现象更夸张。原本只检测"iy"发音的神经元，训练中先延伸到了识别"diy"这个词，到最后，连完全不含"iy"音的短语"Do it yourself"都能激活它。
为了回应传统学派"神经元不够用就会切换到叠加模式"的反驳，Cammarata 设计了一个极限压力实验。他盯上了 InceptionV1 的 3b 层——这一层没有残差流，信号无法绕路传播。他把该层原本用于检测曲线的 480 个神经元直接压缩至 10 个，相当于 48 倍压缩，然后从零重新训练。
按叠加假说，空间严重不足时，神经网络肯定会把各种无关特征乱塞进这 10 个神经元。结果完全相反。这 10 个神经元个个清晰可解释，它们只是每个管得更宽了：一个"曲线与环"神经元，主动合并了原来 10 个不同角度的细分曲线检测器；两个"圆形"神经元，包揽了原本复杂的多种圆形分类。
他还得到一个颠覆性的发现：经过 SAE"解缠"拆出来的特征，不仅没有变干净，其响应宽度反而比原始神经元粗了好几倍。这意味着那些过去几年让无数科学家欢呼、声称"从网络黑盒里解缠出来的叠加特征"，很可能根本就是 SAE 这个工具自己制造出来的数学假象。
一场没有共识的争论
长文发布后，Cammarata 的推特变成了大型提问区。有人问，当未来出现非 Transformer 架构时，这套方法还适用吗？他不仅给出肯定回答，还表示性能越好的模型，内部其实越容易被解释。旧式卷积神经网络、新式卷积神经网络、现代 Transformer 模型这三种截然不同的底层架构，已经证明了这套理论的通用性。
Zapier 联合创始人 Mike Knoop 在线追问，能不能直接把神经网络的"干净度"做成一个正式的行业评估指标？Cammarata 表示这并不难。人类过去太低估原生电路的可研究性了，控制激活、消融剪线、盲区探测等方法，都可以直接给神经网络的底层秩序"打分"。
但叠加理论的核心奠基人之一、Google DeepMind 机制可解释性团队负责人 Neel Nanda 直接泼了一盆冷水。他直言："这篇文章虽然有趣，但对于可解释性而言，并没有带来什么实质性的突破。"
Neel 指出，双方争论的根本不是同一个"叠加"。"叠加"这个词在领域里至少有五六种定义，最核心的是两种：一种是"任意叠加"，即网络会把毫无关系的特征塞在一个神经元里，这是 Cammarata 推翻的版本；另一种是他所捍卫的"表征叠加"，大语言模型能记住远超神经元数量的知识，靠的是用极少数的神经元通过线性组合去表达海量的概念。二者的靶子本就不在一处。
在此基础上，Neel 从三个维度提出具体质疑。首先是"弱激活"的定位问题。Cammarata 认为弱激活大多是语义延伸的次级树枝，砍掉也无伤大雅。但 Neel 指出，弱神经元激活里存储了海量的事实和记忆组合，正是叠加的核心载体。其次，论文最扎实的证据全部来自视觉模型，但视觉和语言本质上不同。语言模型是海量事实、记忆、知识的载体，信息密度高几个量级。小图像模型本身记忆能力就差，不能证明大语言模型里也没有叠加。最后是为 SAE 正名：SAE 在残差流上依然是不可替代的工具，它能敏锐地反映模型每一层的信息瓶颈。这不是谁取代谁的问题，两者各有适用场景。
针对这些质疑，Cammarata 也认同。他承认自己的文章只是一个"工作假设"，还有几个关键问题没解决：可解释性并没有因为模型变大而"饱和"，巨型模型的内部依然很干净，但这种超级规模本身带来的其他工程挑战，目前还远远没有被彻底解决。覆盖范围上，研究只涉及视觉和语言单模态模型，视觉-语言融合的多模态模型，尤其是融合层的电路组织形式，完全没有覆盖。核心机制上，递归泛化只在图像模型里完整追踪了训练全过程；语言模型缺少训练过程的检查点数据，没法直接观测神经元一步步泛化的过程，只能从最终形态反推规律。工具定位上，他从未全盘否定 SAE：实验只证明在极度压缩的层上，SAE 拆不出干净的原生特征；但在正常未压缩的原始层，SAE 和原生神经元的形状匹配度高达 0.96-1.00，依然是高效工具。方法局限上，目前的结论高度依赖转向导向实验和归因图，本质都是"扰动看效果"的思路；不主动扰动系统、纯自然状态下的严格因果验证，目前仍是开放问题。
即便这只是一份工作假设，它也正在迫使四个方向的从业者重新校准自己的技术方向：
- 做可解释性的团队：别再执着于用 SAE 去给网络做解缠手术了。直接抬头看原生神经元和电路，开展快速的常规观测。
- 做安全对齐的团队：如果原生网络天然可读，意味着对齐超级智能的门槛比想象中要低——虽然对齐依然困难，但至少"理解 AI 的门槛"暴跌了。
- 做架构设计的团队：残差流和 LayerNorm 这些为了让模型"学得更好"的改进，竟然意外地让网络变得更易读。未来的架构搜索完全可以把"可解释性"光明正大地加进指标里，因为它和性能完全兼容。
- 做应用层的工程团队：未来调控 AI 行为不需要再重新微调了。通过行为干预工程，"调节一个神经元，就直接改变模型在特定法律/医疗场景下的行为"，将从论文概念直接变成生产线上的产品功能。
十年前，我们看着模糊的神经元图像，得出了"神经网络不可解释"的结论。十年后才发现，混乱的从来不是网络，是我们先入为主的偏见。
热门跟贴