人脑预测词语竟似AI？新研究揭开复杂真相|上下文|语法

写邮件或短信时出现的输入预测，不管好坏，已经成了我们生活中的常见玩意儿。它能在你打字前就帮你补全单词来省时间，或者老是跳出些不相关的内容让人烦。

与更广泛的人工智能系统类似，大型语言模型的预测文本功能据说跟人脑的工作方式很像——也就是我们听别人说话时，能猜到下一句会蹦出什么词的能力。

虽然人类的这种词语预测能力大家都知道，但大脑在这个过程中怎么运作、考虑了哪些因素，就不太清楚了。也就是说，大脑预测词语的方式跟AI一样吗？

一组科学家新发表的研究表明，其实，我们预测词语靠的是一个更复杂的过程。这项发表在《自然·神经科学》期刊上的研究显示，我们考虑的是更大的语言结构，关注的是词语在词组（也就是构成成分）里的前后关系，而不仅仅是下一个词是什么。这就好比拼图时，我们会先看周围已有的碎片，再决定下一块放哪儿。

“大语言模型虽然被训练和优化来预测下一个词，但人脑是通过把词语按语法分成短语来做预测的，”该研究的合著者、纽约大学心理学与神经科学教授大卫·波佩尔解释道。“在大语言模型中，预测结果大体上是等量齐观的：每个词都以同样的方式利用它的预测上下文。相比之下，人脑的预测方式是首先考虑词语组块——我们称之为语法构成成分——然后判断在这个结构里哪些词最容易被预测出来。”

研究方法

这项研究的核心是一系列针对说普通话的人进行的实验，参与研究的包括恩斯特·斯特伦曼神经科学研究所的贾杰·邹（当时是波佩尔实验室的博士后），还有浙江大学的丁鼐教授，他以前在波佩尔实验室做过博士后。研究使用脑磁图（MEG）记录参与者在听普通语句子时的大脑活动。

此外，该研究采用了行为方面的词预测任务——具体而言，即完形填空测试，从段落里挖掉一些词，让参与者填空来评估语言预测能力。研究还分析了接触过英语的患者的脑部数据，以确认这些发现同样适用于其他语言。

研究人员利用大语言模型，基于词汇的"熵"和"惊异度"来量化其可预测性。高熵意味着上下文不太能决定后面会出什么词，可预测性较低。例如，"I saw a"之后的词汇比"I sat on a"之后的词汇具有更高的熵，因为你能看见的东西比能坐的东西多。高惊异度则表示基于上下文，下一个词的出现超出预期。比如，在"I sat on a"后面出现"cat"，比在"I saw a"后面出现"cat"惊异度更高。

随后，研究团队考察了大脑对每个词的反应，同时考虑了这些词的可预测程度。研究人员指出，关键是比较大脑数据对词汇反应的预测结果和LLM对同一句子的预测结果之间的相关性：如果大脑不过是像大语言模型那样的下一个词预测装置，那么这些相关性应该普遍较高；相反，相关性有差异的话，就说明大脑用的是另一种机制。