你有没有想过，给两个AI回答打分这件事，本质上是个什么活儿？
假设你是个裁判，面前摆着同一个问题的两份回答。一份措辞谨慎但有点啰嗦,一份直接痛快但少讲了几句免责声明。你打算给谁高分？
问题是,这道题可能根本没有标准答案。
十个人来评判，可能出来六种意见。这不是谁犯错了，这是人类偏好这件事,天生就长得歪七扭八,充满了岔路口。可现在几乎所有教AI"学好"的技术，都假装这件事有一个唯一正确的分数。这篇论文要讲的，就是有人决定不装了。
**人类到底有多不一致**
先说一个数字，可能会让你愣一下。
在Anthropic-HH这个数据集上，人类标注员之间的一致率，只有63%左右。也就是说，同一段对话，同一个问题，三分之一多的情况下，两个人类评委给出的判断是相反的。这不是标注员偷懒或者水平差，这就是人类偏好的真实底色，它本来就带着噪音、带着立场、带着价值观的分歧。
再看一个叫HelpSteer3-Preference的数据集，即便经过了仔细的过滤和清洗，同一评判维度下，标注员之间依然存在大量分歧。研究者们干脆做了个统计：在HelpSteer2这个数据集里，针对"有用性"这个维度，43.49%的样本，评分区间的跨度达到2分以上(满分是4分)；28.2%的样本，评分呈现出明显的分裂聚类；还有24.34%的样本，同时出现了很低和很高的极端评分。
这意味着什么？
这意味着，很多时候人类对同一个回答的判断，压根不是"围着一个平均分上下波动"，而是分裂成了两个甚至多个截然不同的阵营。有人觉得这回答特别好，有人觉得特别差，中间地带反而人少。
**这就是这篇论文里反复强调的一个统计学概念**
多峰分布*：一种概率分布，有不止一个"峰值"，也就是说存在多个局部密集区，而不是像正态分布那样只有一个中心。放在评分场景里，就是评分结果分成了几堆，而不是围绕一个平均值扎堆。
现在的问题来了：市面上几乎所有的AI打分模型，也就是通常说的**奖励模型**（Reward Model，简称RM，专门用来给AI回答的质量打分，分数越高代表这个回答越受欢迎，训练AI对齐人类偏好时靠它当"裁判"），骨子里都是在做一件事：把这团乱糟糟的人类意见，硬生生压缩成一个数字。
一个回答，最后就是一个分，比如7.2分。
不管背后十个标注员吵成什么样，最后呈现出来的，永远是一个干净利落的点估计。
**如果只用一个数字会怎样**
这就像什么呢？
想象你去一家餐厅点评网站看评分，某家店显示4.2星。你以为这是个还不错但不算顶级的馆子。但真实情况可能是这样的：一半人打了5星，觉得惊艳绝伦；另一半人打了1星，觉得难以下咽。平均下来正好3分左右，可这家店压根不是"中规中矩"，它是"爱憎分明"。如果你只看那个4.2星，你完全无法预判自己会是哪一半。
如果不把这种分裂结构记录下来，你拿到的分数就是一个谎言，它看起来很精确，实际上抹掉了最关键的信息:这道题到底有没有共识。
奖励模型面对的AI回答评分，也是一样的道理。一个回答如果引发了强烈的两极分化(比如涉及价值观、幽默感、语气风格这种主观强的东西)，用一个平均分去代表它，本质上就是在撒谎。
那有没有办法，让AI裁判也学会说"这道题我意见分裂"，而不是硬憋出一个假装权威的数字？
这就是这篇论文的主角，DRM(扩散奖励模型，Diffusion Reward Model)要解决的问题。
**分数不够用，那就学分布**
在讲DRM怎么做之前，得先说说已有的几条路子，为什么都没走通。
第一条路，也是最主流的，叫判别式奖励模型。它靠Bradley-Terry损失函数训练，简单说就是给一对回答（一个更好，一个更差），模型学着输出两个分数，让好的那个分数更高。这条路子的问题很直白，它从头到尾就没打算学分布，学的就是一个确定性的标量分。
第二条路，生成式奖励模型，让AI先写一段评语再打分，类似让评委先讲道理再给分数。这样做能提升可解释性，但代价是推理成本飙升，而且最后落地的，依然是一个分数。
第三条路，稍微聪明一点，叫参数化分布式模型。比如DPL和URM，它们假设分数服从一个高斯分布（正态分布），输出均值和方差；QRM则输出一组固定的分位数网格。这些方法确实在往"分布"这个方向靠拢，但问题是,它们提前锁死了分布的形状。
高斯分布长什么样？
一个钟形的单峰曲线，两边对称。
如果真实的人类意见是那种"一半人爱死了、一半人恨死了"的两极分化结构，用高斯分布去拟合，注定拟合不出来，因为高斯分布天生只有一个峰。这就好比你手里只有一把直尺，却要去测量一条弯弯曲曲的河流,工具的形状,从一开始就限制了你能看到的真相。
**扩散模型，一个来自图像生成的老熟人**
那有没有一种方法，既不提前假设分布的形状，又能灵活表达出各种复杂的、甚至多峰的分布？
研究团队从图像生成领域借来了一个已经被验证过的工具:扩散模型。
扩散模型*：一类生成式AI技术，工作原理是先往数据里逐步加入噪声，直到它变成完全随机的噪声，再训练一个网络学会反向"去噪"，一步步把噪声还原成真实数据。DALL-E、Stable Diffusion这些能画图的AI，用的都是这套底层逻辑。
扩散模型这几年在图像和视频生成领域证明了一件事：它对多峰分布的覆盖能力特别强。也就是说，给它训练数据里存在好几种可能的"真实样子"，它不会像有些生成模型那样只学会其中一种然后把其他的忽略掉，而是能把好几种可能性都保留下来。
这个特性，恰好对上了人类偏好的脾气。
于是研究团队做了一件挺大胆的事：把打分这个任务，从"回归一个数字"改造成"用扩散模型去噪，生成一个奖励向量"。
具体是怎么运作的？
先有一个冻结不训练的大语言模型编码器，负责把一个"提问+回答"的组合，压缩成一个语义向量（这一步跟平常的语言模型没什么区别，只是提取最后一层的隐藏状态）。
然后，一个轻量级的扩散Transformer(简称DiT，是把扩散模型和Transformer结构结合起来的一种网络架构，最早由Peebles和Xie在2023年提出，广泛应用在图像生成里)接手,它拿这个语义向量当"条件"，从一堆随机高斯噪声出发，一步步去噪，最终"生成"出一个奖励分数（或者是一个包含多维度分数的向量）。
这个过程的关键在于，去噪不是一次性完成的，而是像剥洋葱一样一层层来。每一层去噪，模型都在问自己："现在这个语义条件下，噪声应该往哪个方向修正？"经过反复迭代，最后落地到的不是一个固定的点，而是一个隐式建模出来的概率分布，你可以从这个分布里反复抽样，每次抽出来的样本可能落在不同的峰上。
**这就好比什么**
假设你要预测明天某个网红餐厅的排队人数。
如果用传统回归模型，它会直接告诉你"预计排队47人"，一个干脆利落的数字。但如果这家店的真实情况是，工作日基本没人排队(可能5人左右)，周末则爆满(可能150人以上)，那一个单一的"47人"预测，对你毫无参考价值，因为现实里压根不存在"47人"这种典型场景，那只是一个被硬算出来、实际上从没发生过的平均值。
扩散模型式的做法，相当于让你能反复抽样"明天可能是什么情况"，抽十次，你可能得到"5、6、4、148、152、5、150、4、6、149"这样的结果，一眼就能看出这是个双峰分布,工作日和周末泾渭分明。这种信息，比一个孤零零的平均数有用得多。
如果不这样做，继续用单一数字预测，你要么在工作日囤积过多物料造成浪费，要么在周末物料不足流失顾客，这个代价是实打实的。
**一套架构，两种数据都能吃**
DRM厉害的一点是，它没有为"多属性打分"和"成对偏好比较"这两种常见的数据形式，各自单独设计一套系统，而是用一套架构统一处理。
先说第一种情况：多属性回归数据。
这类数据里，每个回答会被标注出好几个维度的分数，比如有用性、连贯性、是否遵循指令等等。DRM训练团队用的是ArmoRM整理的一个聚合数据集，一共56.9万条样本，横跨19个属性维度，但每条样本通常只标了其中一部分维度（不是全标）。
针对这种情况，DRM引入了一个"掩码"（mask）机制，用来标记哪些维度这条数据有标注、哪些没有。训练时，损失函数只计算被标注过的维度，没标的维度不参与打分学习。这样一来，即使数据来源五花八门、标注不完整，模型依然能在一个统一的19维奖励空间里学习。
训练用的损失函数，本质上是一个带掩码的均方误差，衡量的是模型预测的噪声，和真实加入的噪声之间的差距，这套逻辑来自扩散模型训练的标准做法（去噪扩散概率模型，简称DDPM，Denoising Diffusion Probabilistic Model,通过预测噪声来学习数据分布的一种扩散模型训练方式）。
再说第二种情况：成对偏好数据。
这种数据只告诉你两个回答里，哪个更好，并没有给出具体分数。DRM用的是Tulu3这个偏好数据集，27.3万对"被选中/被拒绝"的回答对。
因为没有绝对分数，DRM给这类数据人为设定了一个对称的伪标签：被选中的回答给一个正的目标值，被拒绝的给一个负的目标值，中间留出一个固定间隔（设为1）。同时，为了确保排序关系被学到，额外加了一个Bradley-Terry风格的排序损失，专门监督"谁应该比谁分数高"这件事。
这里有个挺有意思的细节：研究团队在附录里专门证明了，用这种方式对"去噪之后恢复出来的分数"施加排序损失，从数学上看，相当于在优化一个"完整分布层面偏好似然"的上界（通过詹森不等式推导得出）。也就是说，虽然不是严格等价，但优化这个代理目标，确实能间接提升"完整分布意义下，被选中的回答获胜概率更高"这个目标。
**推理阶段：从一个分数,变成一群分数**
训练完成之后，DRM在推理时的玩法也和传统奖励模型完全不同。
传统模型给一个回答打分，就是一次前向传播，吐出一个数字，结束。DRM则是反复从噪声出发，跑N次去噪过程（论文里默认N=32），每次跑出一个奖励样本，最后攒出N个数值，构成一个经验分布。
这里用到了DDIM（去噪扩散隐式模型，Denoising Diffusion Implicit Models的简称，一种加速扩散模型采样过程的技术，能用更少的步骤完成去噪，同时保持效果）来减少每次采样需要的步数，配合无分类器引导（CFG,Classifier-Free Guidance，一种在训练时以一定概率丢弃条件信息，从而在推理时能灵活调节"条件强弱"的技巧）来控制生成结果受语义条件的影响程度。
拿到这N个样本之后，你可以怎么用？
最简单的，直接取平均值，得到一个跟传统奖励模型兼容的标量分数，可以直接套进现有的强化学习训练流程里。
但更有意思的是，你还可以算这N个样本的方差，用来衡量"这个模型对这个回答有多不确定"；或者算分位数，用来做风险规避型的决策。
这就引出了论文里一个挺关键的概念，也是DRM区别于所有传统奖励模型的地方：
测试时的两个可扩展维度*：一个是"回答轴"，也就是常见的Best-of-N策略，生成N个候选回答，选打分最高的那个，这个能力任何标量奖励模型都有。另一个是"奖励轴"，DRM独有，对同一个"提问+回答"，增加采样次数N，能让分数估计变得更精确，这是传统单次前向传播的模型完全没有的能力,因为它们无论采样多少次，输出永远是同一个数。
**这个设计到底解决了什么根本矛盾**
如果DRM只是用花哨的扩散模型去拟合一个分数，那和传统方法没有本质区别，无非是换了个复杂的黑箱。
它真正解决的矛盾是：人类反馈本身带着结构化的分歧,但过去所有的建模方式,不管是硬编码成一个点、还是假设成一个高斯钟形曲线,都在architecturally地阻止模型表达这种分歧。DRM把这个限制拿掉了，让模型自己决定这次的分布应该长成什么样，单峰也行，双峰也行，甚至更复杂的形状都行。
**实测效果：小身板打赢了不少重量级选手**
说了这么多设计理念，实际效果怎么样？
研究团队在RewardBench v2、PPE、RMB、RM-Bench、JudgeBench这五个业内标准评测集上，跑了完整的对比实验。这五个评测集加起来，覆盖了聊天对话、指令遵循、数学推理、代码生成、事实性判断、安全性判断等方方面面的能力。
最公平的一组对比，是数据和骨干模型完全一致的情况下，只换掉打分的"脑袋"部分。DRM-Multi-8B用的骨干模型和ArmoRM完全一样，训练数据也完全一样，只是把ArmoRM那个简单的标量输出头，换成了扩散式的输出头。结果DRM-Multi-8B平均分66.2，而ArmoRM只有62.3，领先了将近4个百分点。在RMB这个评测上，差距更明显，DRM拿了78.0分，远超ArmoRM的64.6分。
再和参数化分布式的QRM比一比，DRM-Multi-8B平均66.2分，QRM-Llama3.1-8B-v2只有64.1分。虽然差距不算惊人，但要知道DRM没有对分布形状做任何提前假设，QRM好歹还有个固定的分位数网格结构撑着。用更少的先验假设，打出差不多甚至更好的成绩，这本身就说明了非参数化建模的潜力。
更让人意外的是，DRM即便跟规模大得多的模型比，也不落下风。JudgeBench上，DRM-Multi-8B拿了58.6分，超过了GPT-4o的59.8分（其实GPT-4o在这个具体表格里对应的是Claude-3.5-Sonnet的64.8分，这里需要说明一下，论文表1里显示的GPT-4o在JudgeBench上是59.8分，DRM确实超过了它）。要知道GPT-4o是个体量远远超过DRM的闭源模型，DRM训练用的数据规模，只是几十万条开源数据，跟工业级动辄上千万条精标数据完全不是一个量级。
下面这张表格，摘录了论文里几个关键对比结果（分数越高越好）：
| 模型 | RewardBench v2 | PPE Corr | RMB | RM-Bench | 平均 |
| ArmoRM(标量头) | 66.5 | 61.4 | 64.6 | 67.7 | 62.3 |
| QRM-Llama3.1-8B-v2 | 70.7 | 60.3 | 61.1 | 72.5 | 64.1 |
| **DRM-Multi-8B** | 65.6 | **63.8** | **78.0** | 68.8 | **66.2** |
| DRM-Pref-8B | 65.7 | 62.5 | 78.2 | 68.1 | 65.8 |
（说明：以上为部分核心指标摘录，完整六项指标平均分以论文表1为准）
**训练两种版本，殊途同归**
DRM还专门训练了两个版本进行对照：DRM-Multi-8B用多属性回归数据训练，DRM-Pref-8B用成对偏好数据训练。
有意思的是，这两个版本的平均分几乎一样，66.2对65.8，几乎打了个平手。但如果拆开看各项细分能力，两者其实各有所长。DRM-Pref在纯偏好类任务上略胜一筹，比如RewardBench v2上65.7对65.6，PPE偏好任务上63.0对62.5。但DRM-Multi在需要判断"客观对错"的任务上更强，比如PPE正确性任务63.8对62.5，JudgeBench上58.6对57.1。
研究团队后续还专门做了个消融实验，控制训练数据规模一致(各截取到差不多的样本数量)后再比较，发现两者的性能差距主要来自训练数据量的多少，而不是数据类型本身的优劣。换句话说，这套扩散式框架对两种监督信号都通吃，谁用的数据多，谁表现就更好一点，跟用哪种标注方式关系不大。
**分数背后藏着的是真实的人类分歧吗**
光是刷榜分数好看，还不足以证明DRM真的学到了人类分歧的结构。研究团队专门找了两个带有重复标注的数据集来验证这件事。
第一个是HelpSteer2-Disagreements，同一个"提问+回答"，多名标注员各打了一个0到4分的评分。前面提到过，43.49%的样本评分跨度超过2分，24.34%的样本同时出现了低分和高分。
第二个是MultiPref，多名标注员对同一对回答，做成对偏好判断。结果显示，45.64%的样本出现了完全相反方向的判断，37.23%的样本呈现出明显的分裂聚类。但这个规律有个例外，在"无害性"这个维度上，87.11%的样本标注完全一致，说明分歧主要出现在主观性强的维度上，客观性强的维度分歧就小得多。
那DRM学出来的分布，跟这种真实的人类分歧结构，到底像不像？
研究团队用了三种统计距离指标（Wasserstein距离、JS散度、L1距离）去比较DRM生成的分布，和真实人类评分的经验分布之间的差异，同时对比了三个简单的基线方法(全局经验先验、全局高斯、单点预测)。
结果是，在"有用性"这个维度上，DRM的Wasserstein距离是0.804，明显低于全局经验先验的1.030、全局高斯的1.032，以及单点预测的1.032。这说明DRM学到的不是一个笼统的"全局不确定性模式"，而是针对每一个具体的提问回答对，去适配相应的分布形状。
更进一步，研究团队还测量了DRM输出的多峰程度，是不是随着人类分歧程度的增加而增加。结果很直接：当人类评分区间小于等于1分时，DRM输出呈现多峰特征的比例是37.6%；当评分区间大于等于2分时，这个比例上升到55.5%；到了完全两极分化的情况，比例进一步攀升到63.2%。
这个趋势曲线，几乎是完美的正相关。它说明DRM不是随便乱吐分布形状，而是真的在跟着人类分歧的强弱走，人类越分裂，它输出的分布也越分裂。
**分布信息还能拿来做决策**
学到分布只是第一步，能不能用这个分布做出更聪明的决策，才是真正体现价值的地方。
研究团队试了两种玩法。
第一种，叫不确定性感知的拒绝机制。简单说，就是在Best-of-N选择或者成对比较时，如果DRM给出的分布显示"这两个候选者其实很难分出胜负"（比如runner-up有相当高的概率超过当前赢家），那就把这个决策标记为"不可靠"，允许系统选择弃权，只对有把握的样本给出答案。
实测下来，当系统只处理自己有信心的70%样本、放弃剩下30%不确定的样本时，PPE Correctness上的准确率平均提升了2.81个百分点，而RMB上的提升幅度更大，达到4.56到7.31个百分点不等。
第二种，叫风险敏感型的全覆盖排序，用在必须给每个样本都出结果、不能弃权的场景。这里用了一个叫"下置信界"（Lower Confidence Bound，简称LCB）的统计量，公式是均值减去λ倍的标准差。这个做法的意思是，宁可选一个"平均分稍低但很稳定"的候选者，也不选一个"平均分很高但方差巨大、忽高忽低"的候选者。
结果显示，LCB排序在所有测试场景下都比纯均值排序表现更好，虽然单次提升幅度不算特别大(比如在N=32的Best-of-N场景下，从57.637提升到57.797)，但方向是一致的，说明分布的离散程度这个信息，即便在必须做出决策、不能弃权的场景下，依然有实用价值。
**回答轴和奖励轴，两条腿走路**
前面提到DRM有两个独立的测试时扩展维度。实验数据也验证了这两条路都能带来实实在在的提升。
在回答轴上，也就是经典的Best-of-N场景，DRM随着候选数量N的增加，准确率呈现单调上升趋势，没有出现某些基线模型在N变大之后反而下降的现象。这个"反而下降"的现象，其实是奖励模型作弊(俗称"奖励黑客")的一个信号，模型误把某个瑕疵回答打了虚高的分，候选越多，踩雷概率就越大。DRM在这方面表现得比较稳健。
在奖励轴上，这是DRM独有的能力。以RewardBench v2为例，DRM-Multi-8B在只采样1次的情况下，准确率是56.5%；采样到32次时，提升到65.6%，足足涨了9个百分点。这意味着，即便不重新训练模型，只靠增加采样次数这个"旋钮"，就能显著提高打分的精确度。这对传统的单次前向传播模型来说，是完全不存在的选项，它们采样再多次，答案都是一模一样的。
**下游强化学习：从理论价值到实际收益**
以上说的都是离线评测，那如果真的拿DRM去指导一个AI模型做强化学习训练，效果会怎样？
研究团队做了一组RLHF（基于人类反馈的强化学习，Reinforcement Learning from Human Feedback）实验，用同一个初始模型(Tulu3-8B-SFT)，分别用ArmoRM、FsfairX和DRM-Multi当裁判，跑完整的策略优化流程，然后在Arena-Hard v2和MT-Bench两个评测上比较最终效果。
结果，用DRM-Multi当奖励信号训练出来的模型，在Arena-Hard v2上得分2.0，比用FsfairX训练出来的1.3高出不少；在MT-Bench上，DRM-Multi训练的模型得74.8分，也超过了FsfairX训练的73.6分。
这个结果的价值在于，它证明了DRM学到的那些分布结构信息，不只是纸面上好看的统计数字，是真的能转化成下游策略优化的实际收益。
**一个直观的例子：三种模型，三种不确定性观**
论文里还给了一个特别直白的可视化例子，让人一眦就能明白DRM和传统方法的区别。
研究团队针对同一个"提问+回答"的组合，分别从DRM、判别式模型ArmoRM、生成式模型DeepSeek-GRM-27B各自采集了100个打分，全部归一化到-1到1的区间做对比。
三种模型表达不确定性的方式完全不同。DRM的100个分数，是从它学到的分布里独立抽样出来的，每次抽样都反映着模型对这个回答"到底该怎么评价"的真实犹豫。ArmoRM是确定性模型，100次打分完全是同一个点，没有任何波动。DeepSeek-GRM虽然也能产生波动，但那个波动来自解码时的随机性(温度参数控制的采样噪声)，跟"模型建模出来的奖励分布"完全是两码事，本质上是生成文字评语时用词选择的随机性，而不是对评分本身不确定性的建模。
结果一目了然。DRM的分数分布在几个明显分开的区域，呈现清晰的多峰结构；ArmoRM挤在一个点上；DeepSeek-GRM虽然有点分散，但依然是单峰的，聚拢在一处。这正好印证了整篇论文的核心论点，只输出一个标量、或者只靠解码噪声制造随机性的模型，注定只能给出一个"主流判断"，而DRM能保留住一个有争议样本本该具有的多种合理判断。
**局限性：这才刚刚开始**
研究团队也坦承了几个还没解决的问题。
DRM目前训练用的数据量，只有几十万条开源样本，远低于工业级奖励模型动辄上千万条精标数据的规模，所以绝对性能上还没能超越最强的开源标量奖励模型。
另外，这次研究只固定用了一个8B规模的编码器和一个固定的数据规模，DRM在更大骨干模型、更大数据规模下会有怎样的表现，目前还是未知数，这是接下来值得探索的方向。
还有一点研究团队特别提醒：跟所有奖励模型一样，DRM也可能继承训练数据里的偏见，给一些"说得漂亮但事实错误或者有害"的内容打高分。如果不加人工监督地拿它去指导下游模型训练，同样存在被"钻空子"的风险。
写在后面
读完这篇论文，最触动我的不是它刷新了几个百分点的榜单成绩，而是它提出的那个问题本身：为什么我们默认AI裁判必须给出一个确定的分数？
我们习惯了评分系统给出一个数字，五星好评、七分及格、98分优秀，这种确定性给了我们一种掌控感的错觉。但很多时候，这个数字本身就是对真实情况的一种粗暴简化。餐厅评分是这样，学生成绩是这样，AI回答的质量打分，同样是这样。
论文里那个HelpSteer2数据集的统计特别值得琢磨：将近四分之一的样本，同时出现了低分和高分两个极端。这意味着什么？意味着有相当一部分AI生成的回答，压根不存在一个"大家公认的好坏程度"，它天生就是有人爱有人恨的。用一个平均分去描述这种回答，某种意义上是在撒谎，不是数据造假的那种撒谎，而是表达方式本身在制造一种虚假的共识感。
还有个细节挺有意思。研究团队测试发现，DRM的多峰输出比例，会随着人类分歧程度的上升而系统性地上升(从37.6%一路涨到63.2%)。这说明模型不是随机产生分裂的输出，而是真的学到了"这道题本身就没有标准答案"这件事。这让我想起一个问题：如果一个评分系统足够诚实，它是不是应该在面对争议性内容时，主动告诉使用者"这次我拿不准"，而不是硬凑一个看起来很权威的数字?
这篇论文没有直接回答这个问题，但它给出了一个技术上的可能路径。至于我们愿不愿意接受一个会说"我也说不好"的AI裁判，这可能不只是个技术问题了。
Q&A
Q1：DRM是什么？
A：DRM是清华大学等机构提出的一种扩散奖励模型，它不再把AI回答的质量压缩成单一分数，而是用扩散模型直接建模整个奖励分布，能够表达人类偏好中真实存在的多峰、分裂结构。
Q2：DRM相比传统奖励模型有什么优势？
A：在相同数据和骨干模型条件下，DRM平均分66.2，超过传统标量模型ArmoRM的62.3分；它还能通过增加采样次数提升打分精度，这是传统单次输出的模型做不到的能力。
Q3：DRM训练出来的分布是真的反映人类分歧，还是随便乱学？
A：研究团队用重复人工标注数据做了验证，发现DRM的多峰输出比例会随人类分歧程度上升而系统性上升,从低分歧时的37.6%涨到两极分化时的63.2%,说明它确实学到了真实的分歧结构。
热门跟贴