牛津最新NHB：人类与Transformer的学习逻辑竟如此相似？|上下文|推理|牛津|算法

PsyBrain 脑心前沿 | 公众号 PSY-Brain_Frontier

一键关注，点亮星标 ⭐️

不错过每日前沿资讯

认知神经科学前沿文献分享

基本信息

Title:Shared sensitivity to data distribution during learning in humans and transformer networks

发表时间：2025.12.23

发表期刊:Nature Human Behaviour

影响因子：16.0

获取原文：

添加小助手:PSY-Brain-Frontier即可获取PDF版本

研究背景

在认知科学与人工智能的交叉领域，关于“记忆”与“推理”关系的探讨从未停歇。早在20世纪40年代，Cattell就提出了晶体智力（Crystallized Intelligence，基于知识和经验）与流体智力（Fluid Intelligence，解决新颖问题的推理能力）的二分法。这一经典的二元论在当今的大语言模型（LLM）时代再次成为了焦点：人类和现代神经网络似乎都面临着两种截然不同的学习路径。

一种是权重学习（In-weights Learning, IWL），即通过漫长的训练，将特定样本的统计规律 “刻” 在神经突触或模型的参数权重中，这类似于我们的死记硬背或长时记忆。

另一种则是上下文学习（In-context Learning, ICL），这是Transformer架构带来的惊人涌现能力，即模型无需更新参数，仅凭当前输入的上下文提示（Prompt）就能迅速归纳规则并解决新问题，这酷似人类的归纳推理和流体智力。

然而，一个核心的科学问题至今悬而未决：究竟是什么决定了大脑或AI会选择“死记硬背”还是“举一反三”？不仅如此，既然Transformer在许多任务上表现出了类人的能力，那么它们对训练数据分布的敏感性是否也与人类一致？本研究由牛津大学的Jacques Pesnot Lerousseau和Christopher Summerfield领衔，2025年12月23日发表于Nature Human Behaviour，通过精巧的实验设计，对比了人类与Transformer在面对不同数据分布时的学习策略选择，揭示了两者在统计学习上的惊人共性与关键差异。

研究核心总结

本研究通过一系列图像-标签联想任务，系统探究了训练数据的多样性（Diversity）与冗余性（Redundancy）如何调节人类与Transformer的学习策略。

Fig. 1 | Paradigm.

核心发现一：数据分布决定的权衡（Trade-off）策略

研究发现，人类和Transformer在学习策略的选择上表现出高度的一致性，且均受到数据分布偏度 α 的强烈调控。

多样性驱动推理：当训练数据呈现均匀分布（α = 0，即样本极具多样性、几乎不重复）时，人类和Transformer都倾向于发展出上下文学习（ICL）策略，即学会抽象的规则（如“顺时针移动3步”），从而能够处理从未见过的测试样本。
冗余性驱动记忆：相反，当训练数据高度倾斜（α = 1，即少数样本高频重复）时，两者都转向权重学习（IWL），直接记忆具体的图像-标签配对，而失去了泛化能力。
临界点：有趣的是，两者都在α ≈ 1附近展现出了策略转换的临界点，表明生物智能与人工神经网络在利用数据统计结构方面存在共享的敏感性。

Fig. 2 | Transformers and humans trade off in-context and in-weights learning depending on the training data distribution (Experiment 1).

核心发现二：复合分布支持“双重学习”

既然单一的极端分布只能诱导一种策略，能否“鱼与熊掌兼得”？结果显示，通过构建一种包含“罕见样本（提供多样性）”与“高频样本（提供冗余性）”的复合分布（Composite Distribution），人类和Transformer均能同时习得两种策略。这表明，理想的学习环境应当混合新颖的探索与重复的练习，从而支持模型和大脑同时利用推理与记忆回路。

Fig. 3 | Transformers and humans can learn both in-context and in-weights when trained on a composite, non-Zipfian distribution (Experiment 2).

核心发现三：人类在课程学习（Curriculum）中的独特优势

这是本研究最引人深思的差异点。研究者设计了动态的训练课程，对比了“先多样后重复”（Diversity-first）与“先重复后多样”的效果。

人类的灵活性：人类被试在先接触多样化样本（学习规则）后，即使后续转入高频重复训练，依然能保留推理能力，同时习得记忆能力。这表明早期接触多样性对人类形成抽象概念至关重要。
Transformer的灾难性干扰：相比之下，Transformer无法从课程中获益。一旦训练数据从多样转为单一，模型会发生灾难性干扰（Catastrophic Interference），迅速遗忘之前的推理策略，退化为纯粹的记忆模式。这一结果深刻揭示了当前神经网络在连续学习和知识固化方面的局限性。

Fig. 4 | Humans, but not transformers, benefit from a training curriculum promoting in-context learning first (Experiment 3).

核心发现四：机制层面的算法趋同

在探究“如何实现”层面，通过对比Transformer的注意力头（Attention Heads）激活模式与人类的眼动/鼠标追踪数据，研究发现两者都采用了一种“绑定与搜索（Binding and Searching）”的算法机制。即先在工作记忆中搜索目标刺激，再将其与特定位置的标签信息进行绑定（Induction Head机制），这一微观层面的计算相似性为理解人类归纳推理提供了新的计算视角。

Fig. 5 | Transformers and humans use an induction mechanism for in-context learning (Experiment 4).

总而言之，该研究不仅证实了Transformer与人类在利用数据统计特征上的高度趋同，更强调了早期多样性在人类教育中的核心地位：先学会“怎么学（Learning to learn）”，再进行知识固化，这或许是人类智能目前仍优于机器的关键所在。

Abstract

Do humans learn like transformers? We trained both humans (n = 530) and transformer networks on a rule learning task where they had to respond to a query in a sequence. At test, we measured ‘in-context’ learning (generalize the rule to novel queries) and ‘in-weights’ learning (recall past experiences from memory). Manipulating the diversity and redundancy of examples in the training distribution, we found that humans and transformer networks respond in very similar ways. In both types of learner, redundancy and diversity trade off in driving in-weights and in-context learning, respectively, whereas a composite distribution with a balanced mix of redundancy and diversity allows the two strategies to be used in tandem. However, we also found that while humans benefit from dynamic training schedules that emphasize diverse examples early, transformers do not. So, while the same data-distributional properties promote learning in humans and transformer networks, only people benefit from curricula.