技能库越大越好?NYU和Amazon的一篇新论文给出了相反的答案。他们提出一种叫SGUID的方法,只保留训练早期和后期都持续提供有效信号的技能,结果用少量精选技能,就能匹配甚至超越大11倍的技能库。

大部分技能其实是噪音

打开网易新闻 查看精彩图片

研究团队在3个Qwen模型上做了验证。按主题匹配选出的技能里,不到25%能提供有效信号。也就是说,技能库里堆的大部分内容,对训练并没有实际帮助。

真正有效的做法是筛选:把那些在训练早期和后期都持续起作用的技能留下来,其余全部剔除。

6个技能对上71个技能

效果有多直接?仅用6个精选技能,4个模型中有3个在数学竞赛测试上匹配或超越了包含30至71个技能的完整库。

第二轮实验加入3个新技能后,Qwen3-8B的成绩从64.3%提升到66.3%。

这项研究的价值不在于又刷新了某个榜单,而在于它戳破了一个默认假设:技能数量不等于技能质量。对做模型训练的人来说,与其继续往库里堆,不如先想清楚哪些技能真的在持续提供信号。