2026年，训练AI当裁判这件事已经不新鲜了。无论是给两段对话打分，还是判断哪个回答更好，大模型做评委已经成了标准操作。但有一个问题一直没被认真对待：训练这些裁判的时候，我们明明手里握着大量宝贵的"人话"，却没怎么用上。
什么意思？
每次人类标注员给一对回答打偏好标签的时候，比如说"回答A比回答B好"，他们通常还会顺手写一句话解释为什么。像是"因为A正确地涵盖了所有要点"，或者"因为B读起来更费劲"。这句解释背后藏着裁判到底该看重什么标准的秘密，但大多数训练方法直接把这句话扔掉了，只留下那个干巴巴的"A比B好"的标签。
这就是这篇论文要解决的问题。来自佐治亚理工、亚马逊和加州大学圣地亚哥分校的研究者们发现，现在训练AI裁判最常用的方法，叫做结果监督强化学习，存在一个结构性的盲区。
核心问题：裁判为什么会犯错
先说清楚一件事：AI裁判判断对错，其实分两种完全不同的情况。
一种是客观任务，比如判断一道数学题算对了没有，或者一段代码能不能跑通。这种任务的评判标准是明确的，裁判要做的就是严格地照着标准去查，错了就是错了。
另一种是主观任务，比如判断哪个聊天回复更有帮助，或者哪段文字写得更有说服力。这种任务的麻烦在于，到底该用什么标准来评判本身就是个问题。是看回复够不够详细？还是看语气够不够友善？还是看有没有抓住用户真正想问的？不同的标准选出来的"更好"答案可能完全不一样。
现在训练裁判最主流的方法是GRPO一类的结果监督强化学习算法。
GRPO（Group Relative Policy Optimization）：一种强化学习训练算法，核心做法是让模型生成一批候选回答，根据最终结果是否正确打一个统一的分数，然后用这个分数去调整模型参数。
这类方法的逻辑很直接：模型生成一整段推理过程，最后给出一个裁决，如果裁决和标准答案一致，整段推理过程都得到奖励；如果不一致，整段都受罚。
问题就出在这里。假设模型推理了500个词才给出最终裁决，这500个词里，有些是在选择评判标准（比如决定"这次我要看准确性"），有些是在具体执行这个标准（比如"逐句检查这个回答有没有错误"）。但结果监督强化学习只给最后那一个裁决打分，然后把这同一个分数平均地糊到整条推理轨迹的每一个词上，完全不区分"选错了标准"和"标准选对了但执行得不仔细"这两种截然不同的错误。
这就好比一个阅卷老师改作文，只告诉学生"你这篇作文不及格"，却从来不说具体是审题跑偏了，还是论证逻辑有问题，还是只是字写得潦草扣了分。学生拿到这种反馈，根本没法知道自己该改哪里，下次大概率还是会犯同样的错误。
而且这还不是唯一的麻烦。研究发现，结果监督强化学习训练久了，模型的策略熵会持续下降，说得通俗点，就是模型会变得越来越"死板"，习惯性地只往一个方向想问题，探索不同评判视角的能力反而被训练没了。对主观任务来说，这是致命的，因为主观任务恰恰需要模型能灵活地在多种标准之间权衡。
自我蒸馏：把语言反馈真正用起来
既然人工标注的那句解释（研究者称之为偏好理由，preference rationale）包含着宝贵的标准信息，那能不能把它用上？
这篇论文给出的答案是自我蒸馏（Self-Distillation，简称SD）。
自我蒸馏：让同一个模型扮演两个角色，一个是学生，只看到问题本身去生成裁决；另一个是老师，额外看到了人工写的偏好理由。老师的逐词概率分布被当作"标准答案"，去指导学生在生成过程中每一个位置该怎么想。
这个设计思路其实很巧妙。学生模型推理的时候，和实际部署时一样，看不到任何标注理由，必须自己判断用什么标准。但在训练阶段，同一个模型额外"偷看"了一眼标注理由，生成的概率分布自然会更倾向于标注理由里提到的那个决定性标准。这个"偷看过"的分布就成了训练信号，在模型推理的每一个词的位置上，都告诉学生"如果你知道答案背后的真正理由，你此刻应该往哪个方向想"。
这和前面那个只打一个总分的结果监督强化学习完全不同。自我蒸馏提供的是逐位置、逐词的密集指导，尤其是在模型选择评判标准的那几个关键词上，能够给出针对性的信号，而不是笼统地奖励或惩罚整条推理链。
打个比方，这就像是同一个老师，先让学生自己做一遍题，再让学生看着参考答案把这道题重新做一遍，然后拿两次的做题过程逐步对比，告诉学生"你在第三步卡住的地方，参考答案是这么想的"。如果没有这个逐步对比，只告诉学生最后的得分，学生永远不知道自己是审题错了还是计算错了。
并非所有位置都值得学
但研究者很快发现一个新问题：把老师的分布完全照搬给学生，在每一个词的位置上都强制对齐，真的是最优的吗？
他们引入了一个关键的度量，叫做逐位置熵变（per-position entropy shift）。
熵变：衡量模型在看到标注理由前后，对下一个词的预测有多大把握的变化量。具体算法是用没看到理由时的预测熵减去看到理由后的预测熵。熵变是正数，说明理由让模型变得更确定；熵变是负数，说明理由反而让模型变得更犹豫。
研究者分析了超过十万个响应位置的数据，发现熵变呈现出两种截然不同的模式。
第一种叫情境收敛（context sharpening），熵变是大的正数。这种情况下，标注理由让老师模型瞬间锁定了一个具体的评判标准表达，概率几乎全部压在一个词上。比如一个关于TypeScript概念解释的例子里，标注理由提到"正确地包括了"，学生模型本来在"相关性""准确性""正确性""完整性"之间犹豫不决，各打29%到41%的分，但老师模型一看到理由，瞬间把97%的概率压在"正确性"这个词上。
第二种叫情境发散（context spreading），熵变是大的负数。这种情况下，标注理由反而让老师模型变得更不确定，把概率摊开分散到多个可能的标准上。比如一个故事写作的例子，学生模型本来很自信地选了"原创性"（83%的概率），但标注理由强调细节要"事实上可核实"，老师模型立刻把概率重新分散到"正确性""错误""忠实度"等好几个相关标准上。
研究者还做了一个很细致的语义分析来验证这两种模式到底意味着什么。他们用GPT-5.5标注出哪些词是模型在"命名和定义评判标准"的关键位置，然后用嵌入模型去算老师提出的候选标准名字和标注理由里真正决定性标准之间的语义相似度。
结果显示，在情境收敛的位置上，老师给出的top-1候选标准和真实决定性标准的相似度，相比对照组（换成一个不相关的理由）高出0.066，置信区间是正的，说明收敛确实是在精准地指向那个"正确答案"。而在情境发散的位置上，老师top-10候选标准的平均相似度相比对照组高出0.037，置信区间同样是正的，说明发散不是瞎分散，而是在多个语义相关的候选标准之间合理地摇摆。
这组数据揭示了一个很微妙的区别：收敛教的是"记住这个特定的说法"，发散教的是"理解这个标准可能有好几种表达方式"。研究者认为，如果训练过程只强调收敛那种高度确定的信号，模型学到的可能只是死记硬背某个具体用词，而不是真正理解评判标准背后的语义。
这让我想起学外语的场景。如果老师每次纠正你的用词，都只给你一个唯一正确的翻译，你很快能应付考试，但换一个说法你可能就懵了。如果老师告诉你"这个词在这里可以是A，也可以是B，还可以是C，它们表达的是同一个意思"，你反而能建立起对这个概念更灵活的理解，遇到新的表达方式也能认出来。如果没有后一种训练，模型大概率会陷入对特定措辞的路径依赖，换一个问法，评判标准的选择就会跑偏。
位置掩码：只学"发散"的部分，屏蔽"收敛"的部分
基于上面这个发现，研究者提出了一个简单却很有效的改进：在自我蒸馏的损失函数里，按熵变给每个位置排序，屏蔽掉熵变最高的那一部分（也就是情境收敛最强烈的位置），只保留熵变低的那部分（也就是情境发散或者中性的位置）继续训练。
公式上写作，对每条生成序列按熵变排序，掩码掉前ρ比例的位置，只在剩下的1-ρ比例位置上计算蒸馏损失。实验里最终选定的掩码比例是70%，也就是只保留熵变最低的30%位置参与训练。
这个设计的逻辑在于，前面的分析已经证明，犯错的代价不对称：收敛位置鼓励死记硬背一个具体的标准表达，发散位置鼓励保留多个语义等价的候选标准。如果把全部位置都纳入训练，那些死记硬背的信号会稀释掉真正促进理解的信号。干脆直接把收敛信号砍掉大部分，让训练集中在真正促进泛化的发散信号上。
这就像是健身教练给你安排训练计划，发现某些动作练多了容易让你形成错误的代偿习惯，干脆直接把这些动作从计划里砍掉，只留下真正能练出核心力量的动作。如果教练什么都练，训练效果可能被那些坏习惯动作给拖累，练了半天反而练出一身毛病。
研究者还做了个很有意思的验证，专门去看训练完的裁判模型在真实推理时到底调用了多少种不同的评判标准。他们对三百个样本分别统计裁判生成文本中提到的所有标准词，用嵌入模型聚类，发现采用掩码训练的模型比朴素自我蒸馏调用的标准种类明显更多，在聚类阈值从0.65到0.85的整个区间里，差距从4个聚类逐步扩大到26个聚类。这个结果印证了前面的推测：保留发散位置的训练信号，确实让模型保持了更丰富的标准词汇库，而不是训练久了就退化成只认识几个固定说法。
实验结果：主观任务提升明显，客观任务不掉队
研究者在两个模型规模上做了实验，分别是40亿参数的Qwen3-4B-Instruct和300亿参数（激活30亿）的Qwen3-30B-A3B-Instruct，训练数据用的是清洗过的HELPSTEER3-PREFERENCE偏好数据集，评测则放到了分布外的RM-BENCH和REWARDBENCH V2这两个基准上，确保测的是泛化能力而不是单纯记住训练集。
结果分成两条主线看。
在客观子类别上（比如数学、代码正确性），结果监督强化学习训练出的Dr. GRPO表现和自我蒸馏方法打平甚至更好。在30B规模上，RM-Bench数学子类上Dr. GRPO拿到95.59分，自我蒸馏加掩码拿到95.63分，基本持平；REWARDBENCH V2数学子类上Dr. GRPO反而领先，87.43分对比自我蒸馏加掩码的84.15分。这说明在标准明确的任务上，结果监督强化学习确实能把应用标准这件事打磨得很扎实。
在主观子类别上（比如聊天帮助性、事实性、话题聚焦度），情况完全反转。还是30B规模，聊天子类上Dr. GRPO是74.07分，朴素自我蒸馏是76.74分，加了掩码之后涨到80.53分，领先Dr. GRPO足足6.46个百分点。事实性子类上Dr. GRPO是71.79分，自我蒸馏加掩码是79.16分，差了7.37个百分点。话题聚焦度子类上Dr. GRPO是80.00分，自我蒸馏加掩码是85.66分。
整体来看，自我蒸馏加掩码方法在评测的主观子类别上，比结果监督强化学习高出2到9个百分点。
而掩码本身带来的增益也很稳定。30B模型的总体平均分，从朴素自我蒸馏的80.17分，提升到加掩码之后的82.50分；4B模型上，从77.70分提升到79.04分。研究者还做了掩码比例的扫描实验，发现掩码比例从0逐步提到70%的过程中，总体平均分是单调上升的，70%是测试过的比例里表现最好的一档。
更值得一提的是，训练出来的30B裁判模型，整体表现超过了一批文献中公认的强基线，包括RM-R1-DeepSeek-Distilled-Qwen-32B、Llama-3.3-Nemotron-Super-49B-GenRM，以及RationaleRM-30B，并且和Claude-Sonnet-4这种顶级商用模型的水平接近。
研究者还专门验证了这个增益是不是真的来自"按熵变方向选位置"这件事本身，而不是随便屏蔽一部分位置都能有类似效果。他们做了一组对照实验，把掩码策略换成反方向掩码（屏蔽发散、保留收敛）、按绝对熵变掩码、随机掩码、按学生熵掩码、按老师熵掩码，结果显示这些替代方案全部不如原始设计，总体平均分最高只能到79.73分，远低于按熵变正确方向掩码拿到的82.50分。这说明效果不是来自"少学一点位置"这种粗糙的操作，而是真的来自对熵变信号方向的精准利用。
下游应用：当裁判真的要选胜者的时候
光在基准测试上拿高分还不够，裁判模型最终是要被用来给策略优化当奖励信号的。研究者设计了一个八进一的淘汰赛实验，用GLM-4.5-Air针对Arena-Hard-v2里的创意写作提示生成八个候选回答，然后分别用Dr. GRPO、朴素自我蒸馏、自我蒸馏加掩码三种裁判模型来做两两淘汰，一路选出最终的冠军回答，再让Claude Sonnet 5去对照参考答案打分算胜率。
结果显示，自我蒸馏加掩码选出的最终回答，创意写作胜率比Dr. GRPO高出7.6个百分点，比朴素自我蒸馏高出2.0个百分点。这个实验虽然没有包含完整的策略梯度更新环节，但直接测试了裁判模型在实际做两两比较筛选时的可靠性，说明这个方法带来的提升不只是停留在标准化基准测试上的数字游戏。
Q&A
Q1：这篇论文提出的自我蒸馏方法和普通的强化学习训练裁判模型有什么区别？
A：普通的强化学习（比如GRPO）只根据最终裁决对不对给整段推理打一个统一分数，不区分模型是标准选错了还是标准选对了但执行不细致。自我蒸馏则让同一个模型多看一眼人工标注的偏好理由，把这个"多看一眼"之后的概率分布当作老师，在推理的每一个词的位置上都给出具体指导，尤其是在选择评判标准的关键位置上。
Q2：为什么要屏蔽掉熵变高的位置，只保留熵变低的位置训练？
A：研究发现熵变高的位置（情境收敛）会让模型死记硬背一个具体的标准说法，而熵变低或为负的位置（情境发散）会让模型保留多个语义相关的候选标准，更有利于真正理解评判标准背后的含义。屏蔽掉收敛信号、保留发散信号，训练出的模型在分布外测试集上泛化能力更强，调用的评判标准种类也更丰富。
Q3：这个方法在哪些任务上效果最明显，哪些任务上不明显？
A：在主观任务上效果最明显，比如聊天帮助性、事实性判断、话题聚焦度，自我蒸馏加掩码比结果监督强化学习高出2到9个百分点。在客观任务上，比如数学、代码正确性，结果监督强化学习依然具有竞争力甚至更优，因为这类任务评判标准明确，拼的是执行的严谨程度而不是标准的选择。
热门跟贴