2026年,大语言模型的军备竞赛已经不再只是拼参数量,而是拼谁能把强化学习跑得更狠。可问题是,给一个千亿参数的大模型做强化学习训练,每一次采样、每一次生成推理过程,都要烧掉大量算力。
这就好比你想测试一套新的健身计划到底有没有效果,但你找的测试对象是一位职业运动员,每次训练都要包下整个专业体育馆、配一队营养师和理疗师。你可能连第三次实验都撑不到,预算就已经见底了。如果不能先在小规模上验证方案是否可行,那么绝大多数实验室根本没有资格参与这场游戏。
于是几个来自UT Austin、Together AI、微软的研究者提出了一个挺大胆的问题：能不能让一个小模型先偷偷练好本事,然后不需要大模型陪它一起训练,就能把这份本事"传授"给大模型？
这篇论文给出的答案,就是一个叫Allspark的框架。
**核心问题：便宜地测试，还是昂贵地测试**
在这篇论文之前,想要把一个小模型的能力迁移到大模型身上,主流思路基本是两条路。
第一条路是"在线蒸馏"
在线蒸馏(On-Policy Distillation, OPD)：一种训练方式,让教师模型根据学生模型自己生成的内容打分反馈,而不是让学生死记硬背教师的答案。
Kimi K3和DeepSeek-V4都用了这个套路。听起来很美,但有个绕不开的坑:既然是"根据学生自己生成的内容"打分,那学生本身还是得跑起来生成内容,而如果这个学生就是那个昂贵的大模型,那省钱的初衷从一开始就落空了。
第二条路是直接在token层面上对齐两个模型的输出分布,但这要求教师和学生用同一套分词方式,俗称分词器。不同家族的模型,比如Qwen和Kimi,分词习惯天差地别,直接对齐几乎是奢望。
这两条路有个共同的盲点：它们都假设了必须让大模型参与训练过程,哪怕只是被动地提供反馈。
Allspark想干的,是彻底跳过这一步。它想让一个小模型独立练成本事,然后只在最后推理的那一刻才请出大模型,而且大模型全程保持冷冻状态,一个参数都不改。
**方法解读：轮流写作文的两个人**
Allspark的核心设计,其实可以用一个具体场景来理解:两个人合写一篇作文,一个是正在进修的实习生,一个是已经工作定型、不再学习的老员工。
训练阶段,实习生(称为弱教师)和一个被冻结的同款模型(称为弱学生)轮流往同一段推理文字里添加内容。实习生写一段,老员工接着写一段,如此往复,最后由老员工来给出最终答案。整个过程中,只有实习生这边在被打分、被优化,老员工的那部分文字虽然出现在纸上,但不会被拿来调整参数。
这个设计的巧妙之处在于奖励信号的传递方式。
论文里定义了一个叫"延续价值"的概念:
延续价值(Continuation Value)：衡量教师写下的某一段推理文字,对最终答案正确与否所起到的实际作用,而不是看这段文字本身是不是"标准答案"。
这意味着,教师写的那句话不需要自己就能解题,它的价值体现在后续学生能不能借着这句话把题目做对。这就像一个高年级的助教在给低年级学生答疑,他给的提示不需要直接写出完整解法,但那句"你有没有想过用勾股定理试试",能不能让学生自己往下推导出正确答案,这才是评价这句提示好不好的标准。
如果这套系统不是"看最终效果打分",而是要求教师每句话都必须自己独立正确,会发生什么?那就变成了强迫教师去单独解题,而不是学会怎么引导别人解题。论文里专门提到,教师的角色"不必是更好的独立解题者",它的任务是贡献能帮助别人抵达正确答案的推理片段。这和我们平时说的"会做题"和"会教题"完全是两码事,很多学霸讲不明白题目,恰恰是因为他们没有被训练成"如何搭桥",而只是被训练成了"如何自己走过去"。
到了推理阶段,事情变得更有意思。老员工被替换掉了,换上来的是一个真正强大的大模型,称为强学生。这个强学生同样保持冻结状态,全程不做任何参数更新。它接过实习生递来的推理接力棒,继续往下写,最后给出答案。
关键在于,这个传递过程完全通过文字进行,而不是通过共享的数字向量或者相同的词表。
这就打开了一扇之前被锁死的门：只要能用文字交流,教师就可以指导任何架构、任何分词方式的学生,哪怕它们来自完全不同的公司、完全不同的技术路线。这就好比两个人用不同的语言写作文,但只要有翻译,思路依然可以传递,你不需要两个人的母语一致,只需要一份能被双方读懂的文本。
**Qwen实验：小模型验证台**
研究者先在相对便宜的Qwen3系列模型上做了受控实验,用1.7B和4B两种规模,分别测试数学题和逻辑推理题。
数学用的是MATH数据集,逻辑推理用的是LogiQA 2.0。训练时,普通强化学习(Ordinary RL)和Allspark用的是同一批筛选过的题目池,保证公平对比。
结果表格里最值得盯着看的一行是4B模型的对比。
如果给4B学生配一个没训练过的教师,或者配一个用普通强化学习训练出来的教师,准确率反而会下降。这个结果乍看有点反直觉,你会以为随便找个教师帮着推理总比自己单打独斗强吧,但事实是,一个没经过针对性训练、或者训练方式不对的教师,反而会把强学生带偏。
只有用Allspark方法训练出来的教师,才能在数学上做到基本持平,在逻辑推理上带来明显提升,从81.2%涨到82.8%。
这个发现其实点出了一个容易被忽略的真相：能不能"教"是一种独立于"会不会做"的能力,而且这种教学能力不是天生就有的,它需要专门的训练方式才能被激发出来。
论文里还给出了几个具体的案例对照,读起来挺有意思。
比如一道关于正八边形面积的几何题,学生独立作答时算出了1053/2这个错误答案,而在有教师参与的版本里,教师写了一句"或许八边形是通过切掉每个角形成的",学生接着这个思路重新计算,得到了正确答案567。
再比如一道逻辑推理题,判断某个论证的结论到底是哪一项,学生独自判断选了C,教师插话说"论证的结论其实是这个论点站不住脚,因为忽略了潜在后果",学生接着这个框架重新分析,最终改选D,答对了。
这些案例说明,教师提供的不是标准答案,而是一个重新审视问题的角度,一个思考的切入点。这正好呼应了前面提到的"延续价值"这个概念,教师的贡献藏在过程里,不体现在它自己是否直接说出正确答案。
**Inkling实验：真正的大模型舞台**
如果说Qwen实验是验证概念能不能成立,那接下来的Inkling实验就是把这套方法搬到真实的大规模场景里检验。
研究者训练了一个叫Inkling-Small的弱教师,总参数276B,每次激活12B。训练完成后,在推理阶段把冻结的伙伴换成了参数规模大得多的Inkling模型,总参数975B,每次激活41B。测试题目用的是ARC-AGI-2,一个专门考验抽象推理能力的题库,从1000道公开训练题里划出96道作为开发集。
Thinking Effort(思考努力度)：Inkling系列模型提供的一个可调参数,数值越高代表模型被允许花更多篇幅去"想"，进而影响推理的深度和最终输出的token数量。
在效果最好的设置下,Allspark拿到了81.6%的准确率,超过了Inkling单独作战时的78.1%。更值得关注的是在"准确率对token消耗"这条曲线上的表现:在同样达到79.2%准确率的情况下,Allspark只用了1.08万个token,而Inkling单独作战要达到相近水平(78.1%)得花1.23万个token。
这意味着,教师不仅能让强学生答得更对,有时候还能让它答得更省。
这个"更省"是怎么来的?一个合理的猜测是,教师提前把一部分弯路走完了,帮学生排除了几条错误的思考分支,让强学生不用再自己从头摸索一遍。如果这个猜测成立,那就好比一个新员工独立摸索一套业务流程可能要试错很多遍,而一个有经验的前辈提前指出"这条路走不通,别浪费时间",省下的不只是最终答案的质量,还有整个摸索过程消耗的时间和精力。
**跨家族迁移：教师能不能教"外语系"的学生**
真正让人意外的部分来了。研究者没有满足于同家族内部的迁移,而是把同一个Inkling-Small教师直接搬去指导两个完全不同厂商的强模型:英伟达的Nemotron-3-Ultra和月之暗面的Kimi-K2.6。
这两个模型和Inkling不仅厂商不同,连分词器和推理格式都不一样。教师和学生之间没法直接共享内部表示,只能靠把推理内容解码成纯文本,再让接收方用自己的分词器重新编码。这中间要经历一次"解码再编码"的转换,信息在这个过程里有没有损耗是个未知数。
结果却相当亮眼。对Kimi-K2.6来说,准确率提升了11.5个百分点,而且用的token数量反而减少了7.7%。对Nemotron来说,在中等思考模式下提升了17.7个百分点,在完整思考模式下也提升了5.2个百分点,不过这两种情况下token消耗都增加了。
这组数据说明了一件很关键的事：Allspark训练出来的教师,并不依赖于对某个特定学生模型内部结构的了解,它传递的是一种可以被文字承载的推理策略,这种策略具备跨越模型家族边界的普适性。
不过研究者也很坦诚地指出,准确率和token消耗的收益,会因为目标学生所处的具体推理设置不同而变化,不是一套万能公式。
这就像一位优秀的产品经理跳槽去了另一家完全不同技术栈的公司,他带不走原公司的代码,也看不懂新公司的内部系统,但他能通过开会、写文档这种"文字层面"的沟通,把自己积累的产品直觉传递给新团队,新团队照样能因此少走弯路。只是不同公司的组织架构不一样,这份经验起作用的方式和幅度也会有差别。
**成本的另一面：省下的token不等于省下的钱**
论文里有一节专门泼了盆冷水,讨论推理成本问题。
Allspark省下的retained token(保留下来的、真正被计入统计的输出文字),看起来是个好消息,但这不等于总花费更低。因为Allspark需要同时运行两个模型:教师和学生,每次交接推理内容,都要多付一次"重新读取上下文"的费用。
论文里给出了具体数字:在同样的Inkling设置下,Allspark消耗的token虽然少了12.1%,但实际建模出来的美元成本只减少了2.7%。在Kimi那组数据里,token减少了7.7%,但建模成本反而增加了21.1%。
这提醒我们一个容易被忽视的现实：token数量和实际推理成本,并不是一回事。
这就好比两个人合作完成一份报告,虽然每个人写的字数加起来比一个人单独写要少,但因为多了一轮交接和沟通的开销,团队总的工时成本未必真的降下来了。表面上看起来"更高效"的方案,拆开算细账未必划算。
**这篇论文站在了谁的肩膀上**
Allspark并不是凭空冒出来的想法。往前追溯,2023年Burns等人提出的"弱到强泛化"概念就已经在探讨,一个较弱的监督信号能不能激发出比自己更强的能力,只不过那篇论文关注的是用弱标签去微调强模型,还是会更新强模型的参数。
再往后,2025年的On-Policy Distillation工作把这个思路向前推了一步,让教师根据学生自己生成的内容给反馈,减少训练和推理场景不一致的问题,但代价是必须让学生模型本身跑起来生成内容。
Allspark和这些前置工作最大的分野在于,它彻底把"训练"和"推理"这两个阶段的模型解耦开来,训练阶段用的模型和推理阶段服务的对象可以是完全不同的两个实体,中间靠一份共享的文本记录连接。
论文发表之后,这个思路会不会催生出更多变体,现在还不好说。但至少它证明了一件事:大模型的能力提升,未必非要靠大模型自己反复试错来积累,有时候答案藏在如何设计一个更聪明的"接力赛跑"上。
**写在后面**
读完这篇论文,最让我意外的其实不是准确率数字,而是那个4B模型对照实验里透露出的信息:一个没训练过的教师,或者一个用普通强化学习训练出来的教师,去指导强学生反而会拉低成绩。
这说明"会做题"和"会教题"之间隔着一条明确的鸿沟,而这条鸿沟需要专门的训练方法才能跨过去。这让我想起现实里那些真正带过团队的管理者,他们未必是团队里技术最强的那个人,但他们清楚在什么时机说什么话,能让下属自己想明白问题该怎么解决,这种能力和纯粹的业务能力其实是两套不同的技能树。
另外那个跨家族迁移的实验结果也值得多想一层。教师和学生之间没有共享任何底层参数,只靠一份纯文本的推理记录,却依然能带来两位数的准确率提升。这说明推理过程里那些真正有价值的东西,可能本来就不依附于某个具体的模型架构,它更像是一种可以脱离载体、独立流通的"思路结构"。
论文自己也承认,这套方法还没有在非思考型模型上试过,而且部署时需要同时跑两个模型服务,延迟和调用成本的问题也没有被彻底解决。这些留白,倒也给了后来者继续琢磨的空间。
如果一个从没上过考场的弱模型,能靠一份写在纸上的推理记录,悄悄改变一个强大百倍的模型的答题方式,那真正决定一个系统聪明程度的东西,到底是它自己的参数量,还是它能不能读懂别人递过来的那份笔记?
Q&A
Q1：Allspark是什么？
A：Allspark是一种让弱小模型训练出的推理能力,在不需要强大模型参与训练的情况下,通过文字交替写作的方式迁移给更强模型的框架,核心是训练一个弱教师模型,推理时用它指导被冻结的强学生模型。
Q2：Allspark训练成本会不会更低？
A：训练阶段确实更便宜,因为只需要小模型参与训练和生成推理内容。但推理阶段需要同时运行教师和学生两个模型,实际测算下来token节省不完全等于美元成本节省,有的场景成本反而会上升。
Q3：Allspark能不能跨不同厂商的模型使用？
A：可以。论文在Kimi-K2.6和Nemotron-3-Ultra这两个完全不同家族的模型上做了测试,教师和学生通过纯文本交流,分词器不同也没关系,结果显示准确率有明显提升,证明这种迁移方式具备跨模型家族的普适性。
热门跟贴