你可能没意识到，训练一个全能AI模型的方式，正在悄悄发生一次范式转变。
先说个背景。现在做大模型后训练，一个流行的思路是"分而治之"：让一个模型专攻数学，另一个模型专攻代码，第三个专攻遵循指令，各自用强化学习练出绝活，然后把这几个"专家"的本事想办法揉进同一个学生模型里。这个揉的过程，业内叫做多教师在线策略蒸馏。
多教师在线策略蒸馏（MOPD）：让一个学生模型在生成回答的同时，接受多个各有专长的"教师模型"的实时指导，从而把多种能力整合到一个模型里。
这套思路已经被不少头部大模型厂商采用，包括MiMo、GLM-5、DeepSeek、Kimi等团队的技术报告里都提到了类似做法。问题是，现在几乎所有实现都用了同一种偷懒的办法：给每条训练数据打一个领域标签，比如这是道数学题，就全程只让数学老师来教，代码题就全程只听代码老师的。
这个做法听起来挺合理，对吧？术业有专攻嘛。但这篇来自上海交大、阿里巴巴等机构的论文《MOPD-Router: Rethinking Teacher Routing in Multi-Teacher On-Policy Distillation》要说的是：这个"合理"的做法，其实浪费了大量本可以用上的信息，甚至在很多真实场景里根本行不通。
核心问题出在哪
先说第一个麻烦。现实世界里的训练数据往往是混着的，一句话里可能既有闲聊，又要求代码验证，还要求输出符合特定格式。你打算给这种数据贴哪个领域标签？打不上去，因为它哪个领域都占一点。这意味着传统的按领域分配教师的方法，从一开始就没法用在大量真实的、没有清晰标签的混合数据集上。
第二个麻烦更微妙。就算一条数据确实是数学题，全程只让数学老师教就一定最优吗？未必。想象你在做一道要求"先算出结果，再用Python验证，最后按JSON格式输出"的数学题，生成过程里，前半段确实需要数学老师纠正推理逻辑，但到了写Python代码的那几行，其实代码老师的意见更靠谱；到了最后组织JSON格式的时候，专门做指令遵循的那位老师反而更懂行。
如果你从头到尾只听数学老师的，那代码老师和格式老师手里明明有用的知识，就这么被浪费掉了。
这就好比你请了一个数学家、一个程序员、一个文案编辑来帮你完成一份"数学证明+代码验证+格式规范的报告"，但公司规定只能全程只让数学家一个人盯着，哪怕写代码那部分他其实一知半解。如果不允许中途换人，报告里代码部分的质量注定打折扣，而且程序员和编辑积攒的专业经验彻底浪费在了办公室里。这不是假设，这是论文里明确指出的真实浪费。
那到底该怎么办？论文提出的答案是：把"一整条数据配一个老师"，换成"每一个字（token）都动态决定该听谁的"。
MOPD-Router：一个token级别的教师路由框架
这篇论文的核心贡献，就是提出了MOPD-Router这套框架。它的思路简单粗暴又有效：不再是给整条回答绑定一个固定老师,而是学生模型每生成一个字，就让全部老师都来给个意见，再用某种打分规则决定这一刻该重点听谁的、听多少。
打分规则（路由指标）：判断在当前这个字的位置上，哪位老师的意见更值得采纳、该给多大权重的具体计算方法。整套框架支持插拔式地更换不同的打分规则，而不用重新设计整个训练流程。
有意思的是，这个框架完全不需要提前知道数据的领域标签，也不需要额外训练一个"路由模型"来做决策。这两点很关键,因为如果路由本身还得靠一个新模型来判断，那等于是又引入了一层不确定性和训练成本,这套系统的吸引力会大打折扣。
论文里一共提出并对比了三种打分规则，一种叫熵（Entropy），一种叫新颖度（Novelty），还有一种是论文的重点创新，叫专家对齐（ExpertAlign）。
先看看最直觉的那种：熵路由
熵（Entropy）：衡量一个概率分布有多"分散"的指标，分布越集中在少数选项上，熵越低，代表模型对下一步该输出什么越有把握。
熵路由的逻辑很朴素：谁对下一个字最有把握，就多听谁的。具体做法是看每位老师给出的下一个字的概率分布，如果某位老师的预测特别集中,比如95%的概率都押在某一个字上,那说明他很自信，这时候就给他更高的权重。
这个想法听着挺合理，但实验结果给出了一记响亮的耳光：这个方法效果并不好。
论文发现了一个致命问题:数学老师这个角色的预测天生就比其他老师更"自信"。数据显示，在两种不同规模的学生模型上，数学老师的预测熵始终低于代码老师和指令遵循老师，导致他大约七成的时间里都是熵最低、被选中权重最高的那个,哪怕当前生成的内容根本不是数学相关的。
这就好比公司开会,规定谁说话声音最坚定、最不犹豫就该听谁的。结果发现,不管讨论什么议题，那个天生说话语气很笃定的同事总是被优先采纳，即便这次讨论的其实是他完全不擅长的领域。声音大不代表说得对,这个偏差是系统性的，跟当前问题是否真的该他管毫无关系。
论文还试过校准这个偏差,把每位老师的熵在同一批数据里做归一化处理，结果只带来了很轻微的改善(总分从34.65提升到34.83)。这说明问题不只是"分数不在一个量纲上"这么简单,更根本的问题是,自信程度本身跟"这次纠正是否有用"没有必然联系。有些token位置天然存在多种合理的下一步选择,老师即便在这种位置上显得"犹豫不决"(熵高),依然可能给出极具价值的指导。confidence不等于correctness，这是熵路由失败的根本原因。
再看第二种：新颖度路由
新颖度（Novelty）：衡量老师和学生在共同关注的候选词范围内,两者预测分布差异有多大,差异越大且双方都有足够概率质量落在这个范围内，说明这次纠正越有价值。
这个设计背后的思路是,此前有研究发现，有效的蒸馏纠正应该集中在师生双方都认为"有戏"的候选词上,如果老师建议的词完全在学生的认知盲区之外,学生反而很难学进去。就像你请一位诺贝尔奖得主给你讲量子力学,如果他讲的内容完全超出你现有的知识框架,哪怕讲得再对,你也吸收不了,倒不如先补一补基础知识范围内能理解的部分。
所以新颖度路由先找出师生双方都认为可能的候选词集合,在这个共同范围里,再看两者的意见分歧有多大,分歧越大,说明老师能带来的增量信息越多。
实验结果显示新颖度路由确实比熵路由更好用,在无标签混合数据集上，1.7B学生模型的总分从熵路由的34.65提升到36.70。但论文进一步做了个很扎实的拆解实验,发现这个"共同范围"这个限制条件（论文里叫可及性）的作用会随着师生模型规模差距变化而变化。
在强到弱蒸馏场景(4B老师教1.7B学生)里,加上这个限制能把总分从34.12提到36.70,提升了7.5%。但在同等规模蒸馏场景(4B老师教4B学生)里,去掉这个限制反而略微更好。原因是规模相近的师生模型本身候选词重叠度就很高(87%以上),这时候再额外强调"共同范围"意义不大,反而可能削弱一些真正有价值的差异信号。规模差距越大的师生组合,候选词重叠度越低(1.7B学生大约只有70%多的重叠),这时候这个过滤机制就显得更重要,能帮学生避开那些他压根接不住的纠正建议。
论文真正的创新：专家对齐
前两种方法都在盯着"当前这一刻老师说了什么",但没有回答一个更深的问题:这位老师给出的这次纠正,到底体现的是不是他自己后训练出来的专长,还是只是随便跟学生意见不一样而已?
打个比方,一个数学老师如果在批改语文作文,哪怕他对某个句子有意见,这个意见也未必代表数学专业能力,可能只是他个人的阅读品味。真正有价值的纠正,应该是这位老师"发挥自己看家本领"时给出的意见。
专家对齐（ExpertAlign）：一种打分规则，先算出每位老师相对于训练前的共同基础模型学到了什么方向的"专长",再算出他这次想把学生往哪个方向带,只有当这两个方向一致时，才认为这次纠正体现了真本事，值得采纳。
具体怎么算的呢?论文定义了两个向量。第一个叫专长向量,是老师现在的预测和训练前那个共同的基础模型预测之间的对数概率差值,代表这位老师经过专项强化学习训练之后,相对于出发点学到了什么方向的能力偏移,这是每个老师内在固有的属性,跟当前学生是谁没关系。
第二个叫教学向量,是老师现在的预测和学生当前预测之间的差值,代表这位老师如果发力,会把学生往哪个方向拽。
关键的一步来了：只有当这两个向量的方向大体一致(用余弦相似度衡量,取正值)时,才认为这位老师此刻的意见是有含金量的专业指导，把这样的老师保留下来参与投票,并且用对齐程度作为权重,方向越一致，权重越高。如果一个老师的教学方向和他自己的专长方向根本对不上,直接把他的意见剔除出去,不管他现在多"自信"。
这一整套设计的精妙之处在于,它把"是不是专家"这件事,从静态的领域标签,变成了动态的、可以逐token计算的几何关系。不需要提前知道这道题是数学题还是代码题,只需要看老师此刻想说的话,是否符合他被训练出来的那套本事。
实验结果说明了什么
论文在两套数据集、两种蒸馏规模上做了全面测试。第一套是6万条无标签的混合数据(通用对话加数学题),第二套是2.5万数学题、2.5万代码题、1.6万指令遵循题组成的、带明确领域标签的常规蒸馏数据集。
在无标签数据集上,专家对齐在两种学生规模下分别拿到38.58和53.76的综合得分,超过简单平均聚合方式12.3%,甚至超过了那些用AI标注领域标签之后再走传统路由的方案。
这一点值得多说两句。研究团队用DeepSeek-V4-Flash给这批无标签数据打上了AI生成的领域标签,结果发现代码类标签只占了3.3%,原因是这批数学数据里大量题目虽然涉及数学,但需要用Python代码来验证答案,这种边界模糊的情况,人工规则很难判断该打哪个标签。这恰恰印证了论文开头提出的问题:真实数据往往无法被干净地切分进某个单一领域,而专家对齐完全不需要面对这个划分难题,因为它压根不依赖标签。
在带标签的常规数据集上更有意思。专家对齐在完全不用那些现成标签的情况下,依然拿到40.19和54.58的分数,比标准做法高出7.8%,比经过优化预算平衡的Open-MOPD方法也要更好。论文还专门做了配对自助采样统计检验和多次随机种子重复实验,确认这个提升不是偶然波动,是真实且稳健的。
这里有个很值得琢磨的现象:在同等规模蒸馏设置下,最终训练出的学生模型在数学和代码任务上的表现，甚至超过了原本各自专精该领域的强化学习教师模型本身。这说明当你把多位专家的智慧真正按需组合起来时,拼装出来的整体能力可以超越任何单一专家。
拆解专家对齐：门控和权重各自的贡献
论文很细致地做了消融实验,把专家对齐拆成两部分单独测试:一部分是筛选环节(判断哪些老师该保留),另一部分是加权环节(保留的老师之间怎么分配权重)。
只用筛选、内部平均权重的版本(论文称之为Uniform)相比简单平均聚合,总分提升了1.22到4.75分,说明光是把方向不对的老师排除掉，就已经很有价值了。在此基础上再加上余弦相似度权重(完整版专家对齐),又额外提升了1.62到3.34分,说明"对齐程度"这个数值信息本身也携带了有用的路由线索,不是简单的二元筛选就能替代的。
跨领域教师的价值到底有多大
论文做了个很直观的对照实验来验证跨领域老师是否真的有用。一种设置是只保留领域标签指定的那位老师(相当于回到老式做法),另一种是保留全部老师但用响应级别的固定权重(而不是逐token动态调整)。
结果显示,恢复完整的教师池能让总分提升2.4到2.75分,在教师池不变的前提下,把权重分配从"整段回答固定一套权重"换成"每个字动态调整权重",又能再提升1.97到3.62分。这两步分别验证了"该不该找其他领域老师帮忙"和"该不该精细到每个字调整"这两件事都各自有独立的价值,不是可有可无的锦上添花。
论文里还画了一张很直观的图,追踪了一次具体的生成过程:题目要求先算1到100的和,再用Python验证,最后输出JSON格式。观察路由权重的变化轨迹可以看到,数学老师的权重在推导数学公式那一段明显上扬,代码老师在写Python验证代码那部分权重最高,指令遵循老师则在最后组织JSON输出结构的时候权重最突出。这个模式跟人类的直觉完全吻合,每位老师确实是在自己最擅长的那个阶段发挥了最大作用,而不是被平均分摊在整个生成过程里。
而且这张图还揭示了一个更细的统计规律:即便是数学题,代码老师和指令遵循老师加起来贡献的路由权重也超过了60%,这个数字远比人们直觉里"数学题就该数学老师说了算"要高得多。
代价有多大
任何好处都有成本,专家对齐也不例外。因为它需要额外调用一次共享的训练前基础模型来计算专长向量,相比标准做法,端到端训练成本增加了大约18%(按每token计算的时间衡量),而熵路由和新颖度路由的额外开销分别只有13%和9%。这个代价换来的性能提升,论文认为是值得的,但确实是一笔需要权衡的账。
写在后面
读完这篇论文,最让我意外的其实不是专家对齐这个方法本身,而是那个关于AI标注领域标签的小实验。研究团队原本只是想给无标签数据打个标签作为对照组,结果意外发现代码类标签只占了3.3%,而这背后的原因是"用代码解决数学问题"这种任务天然就横跨两个领域,连当时最先进的大模型来打标签都很难干净地切割。
这个发现某种程度上说明了一件更本质的事:我们习惯把知识和能力按学科划线,但真实世界的任务从来不是按学科出的考卷。一个数学问题里可能藏着一段代码,一段代码里可能需要遵循严格的格式规范,这种交织才是常态,单一学科的框框反而是我们为了方便管理才强加上去的。专家对齐能奏效,某种意义上是因为它放弃了"先分类再处理"这个思维定式,转而去看"此刻这个决策是不是发挥了某种专长",这是一个更细粒度、也更贴近真实认知过程的判断方式。
另外一个值得琢磨的细节是论文里关于支持集大小(k值)的敏感性分析。他们发现当k设成1的时候,唯独数学任务的表现反而是最好的,原因是数学老师本身预测分布特别集中,只看最可能的那一个候选词就足够捕捉到关键信息;而代码和指令遵循这两类任务涉及更多"多个词都合理"的分叉点,需要看更宽的候选范围才能判断清楚。这个细节说明,即便在同一套框架内部,不同能力领域对"看多远的候选范围才算数"这件事的最优答案也是不一样的,这提示了未来也许可以让k值本身也变得动态、按任务自适应,而不是全局固定一个数字。
这篇论文没有解决的问题也很明显:所有实验都是在共享同一个训练前基础模型的教师之间做的,如果几位老师来自完全不同的模型家族、不同的预训练起点,专长向量这套计算逻辑还能不能成立,论文自己也承认这是留给未来的开放问题。
如果教师之间连"出发点"都不一样,专长和进步该怎么衡量,这个问题想起来就挺有意思的。
Q&A
Q1：MOPD-Router是什么？
A：MOPD-Router是一个多教师在线策略蒸馏框架，它让学生模型在生成每一个字的时候，动态判断该听哪位专家老师的意见、听多少，而不是像传统方法那样给整条数据固定分配一位老师，并且完全不需要领域标签或额外训练路由模型。
Q2：ExpertAlign相比传统按领域分配教师的方法好在哪？
A：ExpertAlign通过对比老师自身的专长方向和他当前想给学生的教学方向是否一致，来判断这次纠正是否真的体现专业能力，从而实现逐token的精细路由。实验显示它在无标签和有标签数据集上都取得了最好的综合得分，甚至超过了依赖领域标签的标准做法。
Q3：为什么单纯按老师的自信程度（熵）来分配权重效果不好？
A：因为论文发现数学老师天生预测分布就比其他老师更集中，导致熵路由近七成时间都优先选择数学老师，即便当前内容跟数学无关，自信程度和纠正是否真正有用并没有必然联系，这是熵路由失败的根本原因。
热门跟贴