ICLR 2025：AI语言模型现已实现模拟大脑中神经元的排列方式和功能特性|向量|神经元|细胞|聚类|脑结构|语言模型

神经元是通过电信号和化学信号在全身传递信息的神经细胞，它们在组织中按照一定规律排列，通常会根据功能聚集。例如，语言研究发现，一些神经元簇似乎专注于处理动词，而另一些则专门负责名词。不过，这些功能区是如何形成的，科学界尚未得出明确结论。

以往的人工智能语言模型已经能够成功识别这些功能性的神经元簇，但对它们在大脑中如何排列尚未涉及。

近日，研究人员开发了一种名为 TopoLM 的全新语言模型。它不仅可以模拟神经元的功能聚集特性，还首次再现了这些细胞在大脑中的空间排列模式。在题为《TopoLM: brain-like spatio-functional organization in a topographic language model》的论文中，研究团队详细介绍了 TopoLM 如何成功预测大脑皮层语言系统的空间功能分布。这篇论文入选 ICLR 2025（国际学习表征会议）口头报告。

“我们借鉴了大脑视觉处理机制的研究，对语言模型的内部结构做了一些细微调整，引入了一条新规则，使得模型的内部表征在空间上更加‘平滑’。最终形成的 TopoLM 模型构建了空间聚类结构，其功能与人脑语言处理过程中观察到的活动高度一致。”NeuroAI 实验室负责人、助理教授 Martin Schrimpf 表示。

“这是一个基础性问题，我们希望了解大脑中的空间或功能集群最初是如何产生的。”Schrimpf 补充道：“TopoLM 显示，可能仅凭一条简单规则——即相邻神经元倾向于执行相似功能——就能实现这样的组织结构。”

构建具有类脑空间功能组织的地形语言模型

研究人员认为，TopoLM 为提升人工智能系统与人类认知功能的一致性提供了新思路，也为脑启发计算和神经语言学的研究提供了实践框架。

“这代表我们朝着打造更具类脑结构的人工智能系统迈出了激动人心的一步。我们的核心目标之一是构建更好的大脑模型，而 TopoLM 将我们距离实际临床应用又推进了一步，未来有望用于帮助患有语言障碍或相关语言缺陷的人群。”论文作者之一、NeuroAI 与 IC 自然语言处理实验室（NLP）博士助理 Badr AlKhamissi 表示。

TopoLM：跨语言选择聚类的个体反应

这项研究还带来了在可解释性方面的进展，也就是对大型语言模型（LLM）内部运行机制的理解。LLM 通常通过“向量”来表示每一个人工“神经元”，而要理解模型学到的内容，往往需要对每个向量逐个或成组分析。

TopoLM 则通过将内部结构组织为功能簇，使研究人员能够直接观察这些簇及其组成，从而更清晰地理解模型如何表示和处理语言。这种聚类结构本身就体现了语义上的重要类别。

接下来，这项前沿研究将进入新阶段：EPFL 团队计划在人体大脑中验证模型预测的准确性。

“TopoLM 的表现远超我们的预期，我们希望验证它的预测是否在真实大脑中成立。模型中有一些尚未在人脑中发现的神经元簇，可能是因为此前从未有人尝试寻找。我们将与在美从事人体实验的同事合作，启动一项成像研究，以确定这些簇是否真实存在。”Schrimpf 总结道。

参考内容：

Neil Rathi et al, TopoLM: brain-like spatio-functional organization in a topographic language model, arXiv (2024). DOI: 10.48550/arxiv.2410.11516

仅用于学术分享，若侵权请留言，即时删侵！

欢迎加入脑机接口社区交流群，

探讨脑机接口领域话题，实时跟踪脑机接口前沿。

加微信群：

添加微信:RoseBCI【备注：姓名+行业/专业】。