来源：市场资讯
（来源：科技行者）
你可能没想过这样一个场景。两个AI模型同时训练，各做各的题，各拿各的分。突然有一天你翻开它们的答题记录，发现一件挺魔幻的事：模型A做不出来的题，模型B有一半能做出来，反过来模型B卡壳的题，模型A也能解出将近五分之一。
它们从头到尾没见过面，却一直在做着彼此的"漏题"。
这就是KAIST的研究团队在训练SmolLM3-3B和Qwen3-1.7B这两个模型时观察到的现象。两个模型架构不同、分词方式不同、预训练语料也不同,但在解数学题这件事上,它们展现出了惊人的互补性。这篇论文要讲的,就是怎么把这种互补性变成实实在在的训练收益。
**核心问题：全军覆没的组是白搭的**
现在主流的强化学习训练方法叫GRPO
*GRPO：全称Group Relative Policy Optimization,一种让AI模型通过"组内相对比较"来学习的强化学习算法,来自DeepSeek团队。*
它的工作原理说起来不复杂。给模型一道题,让它生成好几个不同的答案(比如8个),然后看哪些答案是对的,哪些是错的。对的答案就鼓励模型多往这个方向走,错的就压低概率。这个"组内打分"的机制,靠的是同一组答案里有对有错,这样才能算出相对优劣。
问题就出在这里。如果这道题太难,模型生成的8个答案全军覆没,一个都不对,会发生什么?
答案是:这组数据直接作废。
因为GRPO计算的是"相对优势",当一组答案全错时,数学上这组的方差是零,每个答案分到的学习信号也是零。模型白白花了算力去生成这8个答案,却什么都没学到。这就像你雇了一队侦察兵去侦查敌情,结果他们全部原地打转什么都没发现,你连"哪个方向错了"这种反馈信息都拿不到,纯粹是浪费了一次侦察机会。
业内应对这个问题通常有几招:丢掉这组重新采样、把这道题换掉、或者想办法给零方差的组硬造一个学习信号。但这些办法本质上都绕不开一个限制:它们都指望模型靠自己多试几次来撞对答案。可现实是,有些题目,不管你让模型试多少次,它可能就是缺那根筋,怎么试都试不出来。
这时候论文提出了一个很自然的问题:既然这个模型解不出来,那隔壁那个正在同步训练的模型,会不会已经解出来了?
论文用实际数据回答了这个问题。作者们独立跑了SmolLM3-3B-Base和Qwen3-1.7B-Base两个模型的GRPO训练,然后统计:Qwen3全军覆没的题目里,有47.9%被SmolLM3解出来了;反过来SmolLM3全军覆没的题目里,有18.7%被Qwen3解出来了。而且这种互补性不是训练初期的偶然现象,论文里的图表显示它在整个训练过程中持续存在。
这就是这篇论文起念的地方。两个模型没有谁是天生的老师,谁是天生的学生,它们只是在不同的地方有各自的盲区,而这些盲区恰好能被对方照亮。
**怎么决定"该不该借"和"怎么借"**
想明白了要互相"抄作业"这件事之后,真正的难题才刚开始。
第一个难题是:该抄哪些题的答案?
听起来很简单,不就是我不会的题,抄别人会的答案吗?但实际操作起来没那么干脆。论文里提到了两个已有的类似方法作对比。一个叫HACPO,它的做法是不管三七二十一,只要有同伴的答案,就往训练里塞,不管接收方自己那组题做得怎么样。另一个叫SGT,它只在接收方全军覆没时才借用同伴的一个成功答案,但用一种固定权重的监督学习方式来学,不太考虑两个模型之间的"兼容性"。
论文作者试了一下,把这两种方法直接套用在他们精心筛选的题目上,结果都不如自己设计的完整方案。这说明"选哪些题"和"怎么学"这两个决策必须一起优化,单独调好一个是不够的。
于是论文提出了GRAFT
*GRAFT：全称Gated Replacement of Answer-Failed groups with peer Trajectories,直译是"用同伴轨迹有门槛地替换答题失败的组",是这篇论文提出的核心方法。*
GRAFT要解决"选哪些题"这个问题时,定的规则很干脆:只有当接收方这道题8个答案全错,同时同伴那道题至少对了一个但又不是全对时,才会触发借用。
这个条件里藏着两层考虑。为什么要求接收方全错才借?因为如果接收方自己那组题里已经有对有错,说明它本来就有梯度信号可学,这时候硬塞进同伴的数据反而是在打乱一个本来运转正常的学习过程。为什么要求同伴不能全对?因为如果同伴全部答对,那组数据里也没有"错误案例"作对比,借来的价值就打了折扣。GRAFT要的是同伴那组里既有对又有错的完整组合,这样接收方能同时学到"这样做是对的"和"那样做是错的"。
这里有个细节值得多说一句。GRAFT借的不只是同伴答对的那道题,而是同伴的整组答案,包括错的那些。论文管这个叫"保留组内的奖励对比"。你可以这样理解:如果只把同伴答对的那一个答案拿过来,接收方学到的信息其实很单薄,只知道"这样是对的",却不知道"哪些路子是错的"。而完整搬运一整组答案,相当于把同伴的整套试错经验都搬了过来,信息量更丰富。
除了选题目,GRAFT还处理了一个容易被忽略的问题:两个方向的借用量可能严重不对等。假设A模型解题能力比B强,那A能借给B的题目就会远远多于B能借给A的。如果不加控制,弱的那个模型会被同伴的数据"淹没",而强的那个模型几乎学不到什么新东西。GRAFT的处理办法是:两个方向各自统计能借出去的候选题目数,取数量较小的那个作为共同的借用上限,然后在每个方向内部,按照同伴做对题目数量从高到低排序,取排名靠前的那些,数量正好卡在这个共同上限附近。这样一来,两个模型的借用量大体上就平衡了。
这个平衡机制让我想起一个具体场景。假设你和同事一起做一份跨部门的调研,你擅长数据分析,同事擅长访谈,如果完全不加控制地互相"补位",很可能变成你把同事的活全包了,同事反而没机会锻炼自己薄弱的环节。如果不做这个数量平衡,长期训练下去,较强的那个模型会一直在"喂养"较弱的模型,自己却停滞不前,这正是GRAFT要避免的结果。
**借来的答案不能直接吃,得先"验毒"**
选定了要借哪些题的答案,接下来的问题是:借来的答案该怎么用?
这里有个技术门槛,叫做跨模型的策略不匹配
*策略不匹配：指的是同伴模型生成答案时用的"思路偏好"(在强化学习里叫策略),和接收方模型自己的"思路偏好"本来就不一样,直接套用可能产生偏差。*
两个模型的架构不同,分词器
*分词器：把一段文字切分成模型能处理的最小单元(token)的工具,不同模型可能用不同的切分规则,同一句话在两个模型眼里可能被切成不一样的碎片。*
也不同,这意味着同一个答案,在两个模型"眼里"的表现形式和被生成的概率完全不是一回事。如果直接把同伴生成的答案原封不动地塞进接收方的训练目标里,当成"接收方自己生成的答案"来计算梯度,这在数学上是站不住脚的,因为生成这个答案的"作者"根本不是接收方自己。
GRAFT用了两道关卡来处理这个问题。
第一道关卡叫兼容性门控。简单说,就是在正式使用一份同伴答案之前,先算一个"兼容性分数",衡量这份答案对接收方来说有多"顺口"。具体算法是比较接收方模型和同伴模型对同一份答案文本给出的平均对数似然,如果接收方觉得这份答案"读起来很别扭"(似然值远低于同伴的水平),兼容性分数就低,分数如果低于某个阈值(论文里设为0.8),这份答案就直接被扔掉,压根不进入训练。
这一步的意义是过滤掉那些"就算是对的答案,但接收方学起来也很难受"的样本。论文里做了个很直观的比喻性论证:这套阈值机制就像给转手的二手商品设置一个质检关卡,不是所有同伴生产的东西都适合直接拿来用,得先看看接收方"能不能消化"。如果跳过这道关卡会发生什么?论文的消融实验给出了确切数字:去掉兼容性门控后,SmolLM3的平均分从37.06掉到28.70,足足少了8.36分,这是所有单项消融实验里降幅最大的一项。这说明如果不加过滤地全盘接收同伴数据,反而会把模型带偏。
第二道关卡是token级别的重要性比例裁剪
*重要性比例裁剪：一种控制"新策略"和"旧策略"之间差距的技术手段,如果某个词元(token)的生成概率在更新过程中变化太剧烈,就把这个变化幅度"剪"到一个安全范围内,防止训练不稳定。*
这道关卡管的是另一件事:借来的答案通过了兼容性检验、正式进入训练之后,接收方在优化过程中会不会因为学得太猛而把自己带偏。GRAFT的做法是把这份答案用接收方自己的分词器重新切一遍词,然后按照标准的PPO裁剪逻辑来计算梯度,确保接收方在消化这份"外来数据"时,每一步调整的幅度都是可控的。
这两道关卡加在一起,恰好对应了论文里提到的一个数学分解:整个策略比率可以拆成"接收方自己训练过程中的变化"和"接收方和同伴之间原本存在的差异"两部分。兼容性门控专门处理后者(初始的跨模型差距),token级裁剪专门处理前者(训练过程中的动态变化)。两把刀各管一段,不会互相干扰。
还有个细节挺有意思。GRAFT规定,包含同伴数据的那批训练样本,必须排在接收方自己数据后面处理,论文管这叫"同伴数据殿后"。原因是,一批新数据刚拿来训练时,模型自己的策略和"旧策略"是完全一致的,这时候裁剪机制形同虚设,起不到任何限制作用。如果这时候先处理含有同伴数据的那批样本,那份外来数据就会在没有任何裁剪保护的情况下直接冲击模型参数。而如果让接收方先消化完自己的数据,模型参数已经发生了一些变化,这时候再处理同伴数据,裁剪机制才真正开始起作用。论文的附录数据证实了这一点:把同伴数据放在最后处理时,触发裁剪的token比例达到0.28%到0.44%,远高于放在最前面处理时的0.002%到0.004%。这个顺序安排,相当于让接收方先吃饱自己的家常菜,再小心翼翼地尝一口别人带来的新菜,而不是空腹就先大口吃陌生食物。
**结果:两个模型都变强了,而且不是靠拼算力**
这套方法在三对异构模型上做了测试,包括SmolLM3-3B配Qwen3-1.7B、OctoThinker-3B配Qwen3-1.7B、以及SmolLM3-3B配OctoThinker-3B,评测覆盖了MATH500、AIME2024、AIME2025、AMC23和Minerva五个数学推理基准。
核心结果是,六个模型区块里,GRAFT全部跑赢了标准GRPO,平均提升2.1分,最高提升4.5分。更有说服力的是,在两组模型对里,GRAFT用8次采样的算力预算,就能追平甚至超过GRPO用32次采样(也就是4倍算力)才能达到的水平。
| 方法 | SmolLM3-3B平均分 | Qwen3-1.7B平均分 |
| GRPO(8次采样) | 32.60 | 31.20 |
| GRPO(32次采样) | 35.71 | 32.43 |
| HACPO | 31.51 | 27.24 |
| SGT | 34.88 | 31.24 |
| **GRAFT** | **37.06** | **33.44** |
这张表里最值得琢磨的一行是HACPO。它在五个区块里的表现甚至不如最基础的GRPO,最多倒退4.17分。这从侧面证明了一件事:跨模型学习这件事,不是把对方的数据一股脑塞过来就完事的,不加节制的数据混合反而可能拖累训练效果,这也印证了前面提到的"选题目"和"怎么用"这两个决策为什么必须精心设计。
算力成本方面,论文做了一个很扎实的对比。GRAFT训练两个模型的总耗时,用GPU小时数来衡量,比让GRPO用4倍采样预算跑出同等水平的成绩省了大约55%的算力。换句话说,GRAFT不是靠砸更多计算资源取胜的,它靠的是把原本被浪费掉的"全军覆没"训练回合,变成了有效的学习信号。
论文还测试了一种更省事的用法:不需要两个模型同时在线训练,而是直接复用之前独立训练时保存下来的同伴答题记录。这种"离线版"GRAFT依然带来了1.78分的平均提升,大约是在线版本收益的84%,而且完全不需要同时把两个模型都塞进显存里同步训练。这个发现挺关键的,因为它意味着这套方法不一定非要走"双模型同步训练"这条又贵又麻烦的路,已经产出的训练日志就能拿来复用,省下的是重新采样的那部分开销。
论文里还有一组案例分析挺有意思。作者们扒开具体的解题过程看,发现GRAFT训练出来的模型,有时候会展现出一种"混合解法":一部分沿用了自己原本GRPO训练时的解题思路,另一部分则明显借鉴了同伴的关键步骤,比如某道多项式求根的题目,原本的GRPO解法是把整个多项式展开再套公式,而借鉴了同伴思路之后,模型学会了更简洁的"根平移"技巧,直接把每个根减去固定值来求和,省掉了展开这一步繁琐的运算。这种解法层面的融合,某种程度上说明模型确实"理解"了同伴的思路,而不只是死记硬背了一个答案。
**这套方法的边界在哪**
论文也很坦诚地承认了局限。GRAFT的收益高度依赖两个模型之间的互补程度,在SmolLM3配OctoThinker这一对里,由于两者互补性相对较弱,提升幅度也是三组里最小的。另外,那个用来衡量兼容性的分数,本质上是一个基于平均对数似然的近似估计,并不是严格意义上的跨分词器概率比值,论文自己也说这是个"代理指标"而非精确量。
论文里研究的还只是两个模型互相配对的场景,更多模型一起互相"抄作业"会不会效果更好、会不会更复杂,论文没有涉及。而且实验只做了数学推理这一个领域,还都是3B参数以内的基础模型,换成更大的模型或者别的任务领域会怎样,目前还是未知数。
**写在后面**
读完这篇论文,让我印象最深的其实不是那个提升了多少分的表格,而是开头那两张互补率的曲线图。47.9%和18.7%这两个数字持续贯穿了整个训练过程,不是训练初期昙花一现的巧合,也没有随着训练推进而逐渐消失。这说明两个模型的"盲区"是相对稳定的结构性差异,不是随机噪声。
这让我想到一个更根本的问题:我们平时评价一个AI模型"强不强",习惯用一个单一的总分来衡量,但这篇论文提醒我们,"强"这件事其实是有方向性的。同一个总分下的两个模型,可能压根不是在同一批题目上强,它们各自擅长的领域可能天差地别,只是被平均分掩盖了。如果只盯着排行榜上的数字,你根本看不出这种结构性的互补关系。
还有一个细节值得单独拎出来说。论文里提到,那些借来的答案要经过"兼容性门控"这道关卡的过滤,而去掉这道关卡对两个模型造成的伤害程度是不一样的,对SmolLM3是8.36分的暴跌,对Qwen3却是相对温和一些的2.51分。这说明"消化外来知识的能力"这件事本身也是因模型而异的,不能用一套统一的标准去套用。这多少让人联想到,同样一份学习资料,对不同基础的学生起到的作用可能完全不同,有的人一吸收就能用,有的人得先经过一番消化转化才行。
这套方法目前只验证了两个模型互相学习的场景。如果把这个思路扩展到三个、四个甚至更多模型组成一个互助网络,会发生什么?每个模型都有自己的知识盲区,是不是可以想象出一个更大规模的"互助生态",让整个群体的能力上限被不断刷新?这个问题,论文没有回答,但已经足够让人浮想联翩了。
Q&A
Q1：GRAFT是什么？
A：GRAFT全称是Gated Replacement of Answer-Failed groups with peer Trajectories,是一种让两个不同的AI模型在强化学习训练中互相交换解题经验的方法。当一个模型对某道题全部答错时,GRAFT会用另一个模型（同伴模型）在这道题上的完整答题记录来替换,同时通过兼容性打分和token级裁剪控制跨模型数据带来的风险。
Q2：GRAFT和普通的GRPO训练相比能提升多少效果？
A：论文在三对异构模型、五个数学推理基准上测试,GRAFT相比标准GRPO平均提升2.1分,最高提升4.5分,并且在部分模型对上,用8次采样的算力就能追平GRPO用32次采样（4倍算力）才能达到的效果,总体算力成本还能省下约一半。
Q3：GRAFT需要两个模型必须同时在线训练吗？
A：不一定。论文测试了一种离线版本,直接复用之前独立训练时保存下来的同伴答题记录,不需要同时把两个模型都放进显存里训练,这种方式依然能带来1.78分的平均提升,大约是在线版本收益的84%。
热门跟贴