一篇被ACL 2026接收的论文,把“不完全学习”放进了大模型训练的核心议题。腾讯混元与新南威尔士大学的联合团队发现,经过监督微调(SFT)的模型看似收敛,实际仍会平均遗漏15.3%的训练样本——就像某些数据被悄悄跳过,从未真正写入模型的“知识库”。

团队没有仅停留在现象描述,而是端出了一套覆盖检测、归因与干预的完整框架。检测环节先定位哪些样本没被学会;归因追问为什么这些样本会被漏掉;干预则试图修补这些学习缺口。三步闭环让“漏学”从模糊感觉变成了可量化、可追踪的系统问题。

打开网易新闻 查看精彩图片

15.3%这个数字指向一个之前很少被审视的维度:训练集本身的学习完整度。以往更关注模型在测试集上的泛化表现,而这项研究表明,即便是训练数据内部,也有近六分之一的内容未能被有效吸收。它既不是过拟合,也不是欠拟合,而是一种更隐蔽的“选择性忽略”。

论文并未公布干预手段的具体细节,但框架提供了明确的可操作方向。例如,在训练过程中实时监控样本的学习状态,对顽固的“难学样本”调整权重或采样策略。这意味着从“喂数据”到“管吸收”的视角转换,有望让SFT阶段的效率再上一个台阶。

对开发者来说,这或许解释了模型在某些场景下反复犯错的原因——不是能力不足,而是相关数据从一开始就没被学好。腾讯混元的这项发现把“数据质量”的讨论推进了一层:除了清洗和标注,确保每一条数据都被真正学进去,同样是训练优化里不容忽视的环节。