导语
人工智能在许多科学和工程应用中取得了巨大的进展。在这篇综述中，作者梳理了近年来大脑-行为联合建模，重点在方法的创新、科学与工程的动机、以及未来突破的关键领域。作者讨论了这些工具如何揭示大脑与行为之间的共享结构，以及它们如何用于科学和工程目的。文章强调了目标各异的三大类范式——判别式、生成式和对比式——正在塑造联合建模的方法。此外，作者讨论了行为学分析方法的最新进展，包括姿势估计、分层行为分析以及多模态语言模型，这些方法能够影响下一代联合模型。最后，作者提出在推动联合建模方法发展的过程中，不应只关注模型性能，还应系统性地考虑模型的可信度与可解释性指标。
关键词：联合建模（Joint model）、神经-行为动力学（Neural-behavioral dynamics）、人工智能（Artificial intelligence）、生成模型（Generative model）、行为分析（Behavioral analysis）、可解释性（interpretabality）
周骁俊丨作者
赵思怡丨审校
论文题目：Joint modelling of brain and behaviour dynamics with artificial intelligence 论文链接：https://www.nature.com/articles/s41583-025-00996-1 发表时间：2025年12月3日 论文来源：Nature review Neuroscience
神经科学为什么需要联合建模
过去十多年，神经科学经历了一场前所未有的数据革命。一方面，大规模电生理、钙成像等技术，使研究者可以同时记录成百上千甚至上百万个神经元的活动；另一方面，高分辨率视频、姿态估计和自动化行为分析方法，也让行为不再只是几个粗略标签，而成为可以被连续测量、精细刻画的动态过程。
然而，数据的丰富并没有自动带来理解的飞跃。神经活动本身高度高维、时变且噪声复杂，而自然行为则连续、多尺度、层级化，很难用少数变量加以概括。长期以来，这两类数据往往被分开分析：要么研究神经群体活动的统计结构，要么在预先定义好的行为标签上进行解码。这种割裂式研究，越来越难以回答一个核心问题——大脑究竟是如何在时间上组织神经活动，从而生成连贯、复杂的行为？
正是在这一背景下，大脑—行为联合建模（joint brain–behaviour modelling）逐渐成为神经科学中的一个关键方向。它试图在同一统计与计算框架中，同时刻画神经活动与行为动态，从而揭示二者背后的共享结构。
从“解码行为”到“理解共享结构”：联合建模的思想转变
在联合建模的早期阶段，研究目标往往相当直接：从神经活动中预测行为。这一思路在脑机接口（Brain-machine interfaces, BMIs）等工程应用中极为成功，也直观地证明了神经群体活动中确实包含丰富的行为相关信息。
但随着模型能力不断增强，一个问题逐渐显现：预测得准，并不等于理解得深。某些模型可以通过高度复杂、甚至生物学上并不合理的变换实现极高的解码精度，却很难告诉我们神经系统内部真正发生了什么计算。这也促使研究者开始重新思考联合建模的目标——与其只问“能不能预测行为”，不如进一步追问：神经活动和行为是否共享某种可解释的潜在结构？
注意，作者在此之前特意澄清了一个前提：在联合建模语境下，多层感知机、卷积网络、循环网络、Transformer，乃至传统的状态空间模型，本质上都只是实现建模目标的工具，它们本身并不预设科学立场。真正决定模型科学含义的，并不是网络结构的外形，而是模型被要求学习什么样的关系。
图 1. 通常的神经网络架构。a. 多层感知机（MLP），全连接层构成的神经网络，可以学习输入与输出之间的复杂非线性映射关系，但代价需要大量参数。b. 卷积神经网络（CNN），通过在空间维度上应用可学习的滤波器来处理网格结构数据。c. 循环神经网络（RNN），循环连接充当网络的记忆，使 RNN 能够捕获序列输入数据 x(t) 中的时间依赖性和模式，从而生成输出 y(t)。d. Transformer 通过用自注意力机制取代循环连接，彻底改变了序列建模。这些机制同时计算序列中所有位置之间的关系，从而能够在保持计算并行性的同时捕获长程时间依赖性。e. 状态空间模型通过将数据建模为具有隐藏状态的连续时间动态系统，为序列处理提供了一种替代方法h(t)
人工智能方法如何重塑脑—行为建模框架
在上述基础下，作者并没有按照模型架构对现有方法进行分类，而是根据模型在训练过程中被优化的目标，将当前脑—行为联合建模方法概括为三种基本路径。
判别模型：核心目标是直接从神经活动中解码行为变量。模型将神经放电模式映射到行为输出，并通过均方误差或交叉熵等损失函数进行训练。随着 Transformer 等模型被引入神经数据分析，这类方法在建模长时间依赖和复杂时序结构方面取得了显著进展，在脑机接口等工程应用中表现尤为突出。但作者同时指出，这类模型的内部表示高度依赖具体任务目标，尽管预测性能很高，却难以被解释为神经系统的内在计算状态。
生成模型：试图从另一个方向刻画神经—行为关系。通过引入潜在变量，并要求模型能够从这些潜在表示中重建神经活动，生成式模型将神经群体活动理解为由某种低维动力系统生成的结果。LFADS 是这一方向的代表性工作，它能够从单次试验中推断潜在神经轨迹，并将其与行为或实验条件联系起来。然而，作者强调，生成式方法的核心张力在于其训练目标：重建误差所度量的相似性，并不一定对应科学上真正关心的结构。
对比模型：对比学习为联合建模提供了一条新路径，它不再要求模型预测行为或重建神经活动，而是通过构造“相似”和“不相似”的样本对，让模型在潜在空间中自动组织数据结构。在神经数据中，时间邻近性本身就为这种对比提供了天然信号。当行为变量或其他模态被引入作为辅助约束时，模型可以直接学习与行为相关、且在数学上具有一致性的潜在表示。作者以 CEBRA 为例，指出这类方法在跨实验、跨个体对齐神经表示时具有独特优势，并推动“可识别性”成为联合建模中的核心概念。
图 2. 三大类神经行为动力学模型的架构及原理。a. 判别类方法。b. 生成类方法。c. 对比类方法。
行为不再是标签：精细行为建模带来的结构性变化
联合建模的另一半，是行为本身的表示方式。作者明确指出，如果行为变量仍然停留在少数离散标签层面，再复杂的神经模型也难以揭示真正的脑—行为关系。
图 3. 层级行为分析。a. 问题设定和解决方案：定位、姿态、动作理解、重新识别(和)场景级标注。b. 小鼠行为的层级分解，涵盖三个层次：活动、动作和运动基元。
在自然环境中，行为并不是孤立事件，而是呈现出清晰的层级结构：从较长时间尺度的活动（activity），到中间层级的动作（action），再到最基本的运动基元（motion primitive）。目前的分析系统在将动物行为转化为丰富、结构化的数据流方面存在相对局限性，难以通过简单的、人类可理解的查询进行直接探究。近年来，基于深度学习的姿态估计和无监督行为分析方法，使研究者能够从视频中提取连续、精细的运动轨迹，并在此基础上自动发现行为结构。这种从“标签行为”向“结构化行为”的转变，为脑—行为联合建模提供了更高分辨率的参照系。
超越性能指标：联合模型真正的科学价值在哪里？
最后，作者讨论从“如何建模”推进到“如何评估”。他们强调，在联合建模中，仅仅比较解码精度或重建误差，已经不足以衡量模型的科学价值。
表 1. 联合脑-行为模型的评分卡
为此，作者提出了一套更全面的评估框架。除了性能指标之外，模型在不同训练条件下是否保持一致，其潜在表示是否具有可识别性，对噪声和数据缺失是否鲁棒，以及模型内部表示是否具有可解释性，都应成为评价的重要维度。这一“评分卡”不仅是技术层面的建议，也体现了一种研究立场：联合建模的目标，不应只是预测正确，而应是结构可信。
当模型开始对齐结构，而不只是追求预测
联合建模的价值，并不在于引入更复杂的模型，而在于重新校准研究目标：从追求预测精度，转向理解结构。当模型学到的表示能够在不同实验与个体间保持一致，我们才有理由将其视为神经系统的内在状态。理解大脑，最终取决于我们是否问对了问题。
神经动力学模型读书会
为了促进神经科学、系统科学以及计算机科学等多领域学术工作者的交流合作，吸引更多朋友共同探索脑科学与类脑研究，周昌松、臧蕴亮、杨冬平、郭大庆、陈育涵、曹淼、刘泉影、王大辉、刘健、王鑫迪等来自国内外多所知名高校的专家学者在集智俱乐部共同发起「 」读书会，历时四个月研讨，近日圆满结束。
本季读书会形成了聚集500+成员的神经动力学社区，积累了40+小时综述、解读、研讨的视频记录，以及多篇社区成员总结的词条、笔记、翻译、科普资料等。现在报名加入读书会，即可加入社区交流讨论（微信），并解锁相关视频、文本资料。我们对脑的探索才刚刚起航，欢迎你一道参与，共同点亮更多脑科学研究的岛屿！
详情请见：
1.
2.
3.
4.
5.
6.
7.
热门跟贴