一套数学上优雅、逻辑上自洽的框架方法，为什么就是跑不成功？
作者丨幸丽娟
编辑丨马晓宁
AI 训练有个很棘手的问题：数据越来越多，但质量参差不齐，直接往里倒反而可能把模型练坏。
那怎么办？
2018年，一篇 ICML 论文提出了一个想法：让 AI 自己学会挑选训练数据。
这个想法后来有了名字，叫做Meta-learning for Training-data Selection（MTS）。
具体怎么挑？用一个选择网络，根据验证集的反馈，给每个样本打分——质量高的多学，质量差的少学。
在纸面上，框架优雅，逻辑自洽。
然而，问题来了。
直接套用MTS，效果经常出不来——甚至和不做任何筛选差不多。花了力气选数据，结果选和不选一个样。
因此，做 MTS 方向的人，也越来越少。
更关键的是：没人能说清楚——为什么一个看起来很美好的方法，在实践中就是不行？
南洋理工大学李搏扬团队，花了一年时间死磕这个问题。
结果发现：MTS在数学层面，本身就存在内生缺陷。
于是，他们揪出了两个“元凶”，逐一击破，第一次让 MTS 这套被"数学缺陷"困了六年的框架，跑成功。
论文成果入选 ICML 2026 Oral，全名叫做《On the Difficulty of Learning a Meta-network for Training Data Selection》。
论文链接：https://arxiv.org/pdf/2606.00571
AI 科技评论采访了论文通讯作者、南洋理工大学计算与数据科学学院副教授李搏扬。他曾在百度美国研究院担任高级研究科学家，在迪士尼匹兹堡研究院担任研究科学家及研究组组长。
采访中，他介绍了这项研究的动机、理论突破和对行业的贡献价值，还分享了本次在 ICML 现场的见闻以及对世界模型领域的看法。
01
一个“听起来很美好”的设想：
让 AI 自己学会挑数据
我们先来看 MTS 方法的数学原理：
设主网络为 f_θ(x)，参数为 θ；
设数据选择网络（Selection Network）为 s_φ(x)，参数为 φ，它为每个训练样本 (x_i, y_i) 生成一个权重 w_i = s_φ(x_i)；
训练集损失（带权重）和验证集损失分别定义为：
这是一个双层优化问题：
内层：主网络在带权重的训练损失上做梯度下降；
外层：选择网络的优化目标是让更新后的主网络在验证集上表现最好。
理论上，选择网络通过验证集这个“金标准”的反馈，应该能自动学会——哪些样本对泛化有益（给高权重），哪些是有害噪声（给低权重）。
这个设想听起来很美好对吧？但现实给了这个想法一记闷棍：MTS在实际训练中经常表现不如预期，甚至比不上不做任何数据筛选的基线。
也就是说：你花了半天力气去选数据，选和不选效果基本一样。
那到底哪有问题？
这篇 ICML Oral 论文，通过严格的数学分析，揪出了MTS 失效的两大“元凶”。
02
为什么很美好的设想，
在现实应用中失效？
▎元凶一：军师“学偏”了——梯度信噪比（GSNR）低得可怜
MTS的训练依赖于一个双层优化（bi-level optimization）过程：先更新主网络θ，再根据验证集上的表现更新选择网络φ。
然而，论文通过数学推导和实验测量发现，选择网络的梯度信噪比（Gradient Signal-to-Noise Ratio, GSNR），比主分类网络低了差不多一个数量级。
为什么会这样？
论文给出了一个非常关键的理论洞察：MTS 的训练，会导致数据权重分布越来越“尖锐”（spiky）——少数几个样本的权重越来越大，其他样本的权重被压到接近于零。
作者甚至证明了一个定理：在理想条件下，归一化后的权重向量p会收敛到一个“one-hot”状态——即只有一个样本的权重为1，其余全部为0。
权重分布越尖锐，有效批次大小（Effective Batch Size, EBS）就越小，梯度的方差就越大，GSNR自然就越低。低GSNR意味着梯度更新方向被噪声淹没，选择网络根本学不到有用的东西。
什么意思？我们以一个“问路”场景来类比：假设你蒙着眼站在一个山丘上（代表模型训练），想通过“问路”找到最快下山（损失最小化）的方向。你雇了一个军师（选择网络 s_φ），他的工作是：拦下路人问方向，然后给每个路人打分——靠谱的人打高分（多听他的），不靠谱的人打低分（少听他的）。
正常的做法是：军师随机拦住100个路人（一个路人代表一个batch），问他们脚底下感觉哪边是下坡。他把这100个人的建议平均一下，得到一个综合方向。这样，即使有几个人乱指，综合方向也大概率是对的（梯度信号稳定，噪音被抵消）。
但训练过程中，军师自己也在“学习”——他根据验证集的反馈来调整自己的打分策略。结果他学歪了：它把99.9%的信任权重都给了其中1 个人（权重收敛到One-hot），其他 99 个人几乎为 0。
这时候军师“看似”拦了100个人，但实际上只听那 1 个人的话（有效批次大小 EBS ≈ 1）。
而这个人他可能视力不好（样本有噪声）；他可能站在一个奇怪的位置（样本是离群点）；他可能根本不懂路（样本标注错误）。
他告诉你“往北走”，但这个方向是错的。
更可怕的是，每次军师重新拦100个人，那个被选中“独揽大权”的人都不一样。
第一次，A被选中，他告诉你“往北走”——你往北走了两步；
第二次，B被选中，他告诉你“往西走”——你往西走了两步；
第三次，C被选中，他告诉你“往东走”——你往东走了两步。
你的路线是：北→西→东→南→北……结果，你只是在原地打转。
结果就是，军师的每一次“学习”都建立在被 A/B/C 这些带偏的反馈上——他的梯度更新几乎全是随机游走，学不到任何有用的东西。这也就是 MTS 失效。
不过好消息是，论文作者不仅检查出了病因，而且指出了一个简单粗暴的补救方法：增大批次大小（batch size）。并且通过实验证明，当 batch size 从64提升到1024时，GSNR显著改善。
▎元凶二：军师只会“听声辨位”——输入特征不足以判断数据质量
好，假设现在解决了军师“只听一个人”的问题，他能做到公平地听取所有人的意见了。
但新的问题来了：军师虽然听得见每个人的声音，可他只有一个评估信息——每个人的“嗓门大小”（训练损失值）。
他给路人打分，只能凭这个：
A 喊得撕心裂肺（损失高），军师说：“这人这么用力，肯定靠谱！打高分！”
B 轻声细语（损失低），军师说：“这人没啥信心，打低分吧。”
但实际情况完全不是这么回事。张三喊得大声，是因为他刚好站在一块翘起的石头上硌得疼——他是个噪声样本，他的方向是错的，应该给低分。李四轻声细语，是因为他站在平地上稳稳当当——他是个干净样本，方向是对的，应该给高分。
再看C，他也喊得很大声，但他站在一个陡坡上，虽然站不稳但那个方向确实是下坡——他是困难但有用的样本，给高分是对的。D 也轻声细语，但他站在平地上而且已经会了——他是冗余样本，给低分也是对的。
问题就出在这里：军师只看“嗓门大小”，根本分不清同样大声喊的 A 和 C——一个是噪声，一个是困难难例。他也分不清同样小声的 B 和 D ——一个是干净样本，一个是冗余样本。
换句话说，这位军师，没有足够的评估信息去判断到底谁的话更加靠谱。
因此，就算解决了只听单个人的话的问题（GSNR 低），军师（选择网络）可能还是无法帮你找到正确的路，因为他接收的输入特征本身，就不包含判断数据质量所需的信息。
同样值得庆幸的是，这篇论文也针对这个问题，提出了解决方案：为军师 MTS 配上一套“多维信息雷达”（丰富的特征体系），包括：
局部特征（Local features）：看这个人周围的人在往哪走。如果周围人都往南，他一个人往北，那他可能是个“离群点”。如果周围人和他永远都向同样的方向走，那他可能是个“冗余点”，删除也不影响网络训练。也就是说，通过计算每个样本在训练集和验证集中的邻居和它自己的相似度，判断它是“冗余”还是“离群点”。
全局特征（Global features）：看这个人在他这一类数据中有没有代表性。如果他离中心很远，可能是个“离群点”。如果他离中心很近，可能是个“冗余点”。也就是说，计算每个样本和其类别中心的相似度，判断它在类内的“典型性”。
优化动态特征（Optimization dynamics features）：看这个人过去的表现。是一直在瞎指路，还是曾经指错过、后来又慢慢纠正过来了？“遗忘事件”这种动态信号，能帮你区分“纯粹的噪声”和“值得反复学习的难例”。也就是，通过计算遗忘事件次数（Forgetting Events）、梯度范数等，追踪样本在训练过程中的稳定性。
类别指示特征（Class-indicator features）：为类别标签和数据来源（真实vs合成）学习可嵌入的表示。
有了这四个不同指向的信息，军师才能看清每个人的位置、周围的环境、历史表现和身份背景，打出来的分数才真正靠谱。
03
实验验证：从“翻车”到“翻身”
论文在四个基准数据集上进行了评估：
Waterbirds：用于评估模型在面对虚假相关性（Spurious Correlation）时的表现。
CelebA：人脸属性数据集，常用于分布偏移研究。
Texture：纹理分类数据集。
PACS：包含4个领域——艺术画（Art Painting）、卡通（Cartoon）、照片（Photo）、素描（Sketch），用于成对迁移学习（Pairwise Transfer Learning） 评估。
对比的基线方法包括：不做选择的基线（No Selection）、CLIP 相似度筛选、遗忘事件（Forgetting Events）、GraNd、重要性加权（Importance Weighting），以及与本文最接近的已有方法 MetaWeightNet。
▎整体性能：跃升式领先
论文提出的方法（即配备了四维特征和大批量的选择网络）取得了平均73.75%的准确率。
相较于不做任何筛选的No Selection基线（准确率 68.26%），提升了5.49%。这打破了“MTS不如不筛选”的魔咒。
相较于此前最强的基线Aux-Clf (Val)（硬选择版本，准确率70.86%），依然提升了2.89%。
论文的方法，在所有四个数据集上均取得了一致的提升，证明了方法的通用性和鲁棒性。
▎消融实验一：验证“元凶一”——Batch Size 的作用
MetaWeightNet是最接近本文的已有方法，但它有三个关键差异：（1）使用batch size = 64；（2）仅使用在线训练损失作为唯一的输入特征；（3）不对输出的权重做归一化。
在原始设定下，MetaWeightNet平均仅提升了0.62% ——几乎无效。这正好印证了论文的核心论点：简单粗暴地套用MTS，效果就是不行。
当论文给自己的方法换上小 batch size（64）时，准确率下降了2.79%。这定量证明了“GSNR是MTS有效训练的必要条件” 。
论文进一步展示了 batch size = 512 和 1024 时的结果，趋势一致：越大的 batch size，权重分布越平坦，有效批次越大，GSNR 越高。
▎消融实验二：验证“元凶二”——特征丰富度的贡献
为了证明“输入特征缺乏信息量”确实是另一个独立且同样致命的元凶，论文固定 batch size，把输入给选择网络的特征换成了不同类型，观察性能差异。
Raw Image（原始图像）：直接把图像像素作为输入——平均68.20%，几乎和 No Selection（68.26%）持平。说明原始图像这种高维且未经处理的信息，选择网络根本没法从中提取出判断数据质量的有效信号。
ResNet Features（预训练特征）：用ResNet提取的图像特征——平均71.77%，比 Raw Image 高了不少。说明有一定语义信息的特征确实有帮助，但仍然不够。
Training Loss（训练损失）：只把损失值这一个标量作为输入——平均69.85%，比 No Selection 只略好一点，但远低于完整方法（73.75%）。这正是 MetaWeightNet 的做法：只靠“嗓门大小”来判断，信息太单薄。
而且值得注意的是，Training Loss在这个设置下（N=1024，GSNR已解决）只达到 69.85%，而完整四维特征在同样N=1024下达到73.75%——差了近4个百分点，这就是元凶二被解决之后带来的增益。
▎两个维度的关系：乘法，不是加法
而这项工作更关键的洞察在于：这两个改进维度是乘法关系，不是加法关系。
0乘以任何数都得0。你把GSNR解决得再好（Batch Size拉到1024），但如果选择网络接收的特征本身就不包含判断数据质量所需的信息，它依然学不对。
反过来，你给了再丰富、再好的四维特征，但如果梯度信号被噪声淹没、选择网络根本学不动，那再多信息也是白搭。
只有GSNR好 + 特征好，两者同时具备，MTS 才能真正从“翻车”变成“翻身”。
实验也完美印证了这一点：单独增大batch size或单独丰富特征，提升都有限；两者结合，才相较于不做任何筛选的No Selection基线，实现了5.49%的平均增益。
因此，好的 GSNR 和高质量的特征，两者缺一不可，且相互补充。
04
行业贡献在哪？
在AI领域追逐“卷”创新、比拼工程技巧的大环境中，这种回归本质、追问"为什么"的研究，显得尤为可贵。
而这篇论文的价值，不在于提出了一个多厉害的新方法，而在于用理论工具拆解了一个被广泛使用却未被充分理解的方法，并为后续研究指明了改进方向。具体体现在三个层面：
第一，发现并诊断了MTS的“失效根源”。在这篇论文之前，MTS这套方法在理论层面几乎是无懈可击的——让一个选择网络根据验证集的反馈来学习数据权重，听起来既优雅又合理。
但现实却始终泼冷水。论文作者自己做的时候发现——这套理论上优雅的方案，加上再精巧的工程 Tricks， 在实践中就是跑不出该有的效果。更令人困惑的是，没人知道为什么。
这篇论文第一次用严格的数学分析揭开了这个谜底：MTS的失效并非因为工程实现不够精巧，而是它在优化层面存在两个根本性的缺陷：梯度信噪比极低，导致选择网络的更新信号被噪声淹没，学不动；输入特征严重不足，导致选择网络缺乏判断数据质量的依据，学不对。
有了这个理解，后续优化就摆脱了盲人摸象的状态，研究者可以精准判断瓶颈所在，把资源投入到正确方向。
第二，揭示了两个失效原因之间"乘法而非加法"的关系。这意味着，研究者不能采取"先优化一个、再优化另一个"的线性累加策略，必须从一开始就同时满足两个条件。
这种解耦式的分析，把MTS从一个全盘调试的黑盒问题，简化成了两个可以独立诊断、但必须同时达标的工程指标。
第三，追问"为什么"本身就是一种有价值的研究思路。 当其他研究者追热点的时候，论文作者做了一个不一样的选择——停下来追问一个更基本的问题：这套理论上完美的方法，为什么在实际中就是跑不出效果？
这个追问最终把他们引向了问题根源：它在数学上就存在根本性缺陷，学不动也学不对。问题不在工程层面，在根基上。
这个教训不仅适用于MTS，也适用于整个AI领域——当我们被一个优雅的理论框架吸引时，发现理论在实际中效果不佳时，应该先问一个更基本的问题：这个理论本身有没有问题。追问"为什么"，有时候比发明"新方法"更有价值。
论文之外，李搏扬教授还向 AI 科技评论分享了本次 ICML 的见闻，对世界模型热门研究方向的观点以及对年轻研究者的建议。
以下为对话摘录，AI 科技评论进行不改变原意的编辑：
▎AI 科技评论：这次ICML有什么让您印象深刻的报告？
李搏扬：有两个。
第一个是Mark Schmidt关于优化理论的 Tutorial。他讲了一个让在场很多人深有感触的问题：为什么优化理论的研究做得很多，但对现实中深度学习的影响却始终很小？而现实中好用的算法如Adam，在理论上的理解总是很弱？
他指出，理论为了在最坏情况下方便证明收敛，采取了一些非常保守的做法，比如很小的学习率。但在现实往往并没有理论能设想的最坏情况那么坏。所以如果你采用理论上最好的学习率，在现实中反而优化速度很慢。
最后，他也指出了应该怎么做：我们需要思考理论和现实究竟哪里不一样，怎样去尽量弥合两者的缝隙，而不是一味追求理论的优美。为了这点，他在两个半小时的报告中，完全没有提到收敛速度的证明，而这个问题通常在优化领域被认为是最核心的内容。
这个分析和我们这篇 ICML工作有共通之处。我们的论文本质上也是在问同样的问题——MTS在理论上看起来很优美，但为什么在现实中失效？
第二个是来自普林斯顿的Arvind Narayanan，他的报告主题是： AI 时代，人类会怎样工作。
他举了“电气化”的例子——在电力刚刚出现时，工厂主把蒸汽动力的机器简单的替换为以电力驱动。但这没有发挥电力的优势。经过漫长的实践，大家才发明现代的流水线作业。这种作业方式充分利用电机体积小的优势，把人类按工序排列，导致生产力的大幅提高。
在电气时代，不能生搬硬套蒸汽时代的思维。AI时代也是一样，目前我们只是把 AI 直接套入现有流程，但这是不合适的。怎样让人和AI更好地协同？这个问题还没有答案。
我个人认为这个问题即将成为重大的热点研究方向。
▎AI 科技评论：您和学生怎么选研究课题？是从热点方向找选题，还是有自己的节奏？
李搏扬：从热点方向找选题，是学术界非常普遍的做法，也能比较快的看到效果。
我个人倾向于花更长的时间把文章做扎实。在美国求学的时候，有位同学的话彻底改变了我的思维方式——“不要只做现在的热门问题，而要做即将成为热门的问题。”
我觉得这篇论文就是例子。现在做MTS 的人其实不多，因为这个框架做不成功，而我们是第一个证实它能用的团队，这或许也会是下一个热门——至少我希望如此。
▎AI 科技评论：对想进入这个方向的年轻研究者有什么建议？
李搏扬：我有两个可能有点反直觉的建议。
第一个建议：不要在最火的赛道里卷。
很多同学喜欢往热门方向挤——因为投文章容易中、引用容易高、找教职简历好看。但问题是：你很难卷过别人。最火的赛道里竞争也最激烈，idea容易撞车，容易被别人抢发。即使是工作发表了，也容易淹没在相似论文里，很难真正体现出独特的意义。
在教职的市场上，有很多申请者在同一赛道做同一方向。大学会把同一赛道的人互相比较，不太可能招收特别多同一方向的教授。除非你是那个做得最好的，否则你的竞争力并不突出。
我的建议是花时间去思考，哪些方向最有实际意义，哪些方向即将成为热门。在这些方向的工作，才是开创性的工作，才是最有impact的工作。
第二个建议：打好基础。
现在很多同学追求短平快。我们过去说调(tiao)参调(diao)包就可以发论文。但是在Claude Code和OpenClaw这样的框架出来之后，可能都不需要写代码，只用自然语言写skills都能出论文。
但这样做的问题是：有太多的同学对这个领域缺乏真正的理解。虽然简历上很光鲜，到了面试阶段稍微问两个问题就露馅了。
所以我的建议是：把工作做得踏实一点。花时间去思考，去理解这个领域的基本问题、基本方法和基本矛盾。
想打基础的同学可能不知道从何打起，论文那么多，哪些重要、哪些不重要？
有几种做法。要么找一个经验丰富的人来引导你，要么就是在网上多看大牛的讲座和课程——他们会在课程里把重要的东西讲出来，而不是让你自己在几千篇论文里摸索。
好比 Mark Schmidt 的 Tutorial，他可以从宏观上告诉你，每个小领域的研究之间的关系是什么，里面有哪些最具代表性的工作，还有那些关键的未解之谜。没有在这个领域长期的积累，甚至是十几二十几年的经验，不可能做到这点。
▎AI 科技评论：现在世界模型这个方向很火，看到您也有做一些因果相关的工作，您如何看待世界模型这个方向？
李搏扬：我认为世界模型很重要，不过我做的因果更多的侧重“事件”层面，理解层次是从像素 → 物体（人、狗、桌子）→ 活动（人在读书、狗在叫）→ 常识因果（狗叫因为被踢了一脚）→ 人类意图（看门的狗叫，主人会想是不是遇到小偷，会来查看情况）。现在的世界模型，在这个层次做的工作可能还比较少。
对于世界模型路线，我认为 Yann LeCun 主张在隐空间做预测是对的，但关键是，要做到多深的隐空间。隐空间够深、能表征到“事件”、“因果”和“人类意图”的层面，实现常识因果，我认为那才是真正的世界模型。
一个人读论文太孤单，一群人刷顶会才好玩。
ICML 2026召开在即，我们正在召集一波含金量极高的 AI 研究者。群内主打实时论文跟踪与硬核技术探讨，拒绝灌水。
进群传送门：扫码进群或添加微信Vin_Vivid，备注：论文群 + 关注的 AI 方向。
搞科研/搞技术，信息差很重要。
来，一起快人一步！
上车，带你看遍全球 AI 顶会精华
可独家畅览：
专家演讲PPT
大会报告全文
热门论文解读
学术新星访谈
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。
热门跟贴