假设你手里有两份关于明天股市走向的预测。一份来自华尔街资深交易员的实时报价，另一份来自一个刚刚读完新闻的AI模型。你会信谁？
这个问题听起来简单，但背后藏着一个所有做混合决策系统的人都会撞上的难题：如何知道AI模型的判断，到底有没有给已有的预测添砖加瓦？
这不是在问“这个AI模型准不准”，而是在问一个更刁钻的问题：这个AI模型比我手头已经有的预测,好在哪里,或者根本没有更好。伊利诺伊大学香槟分校的研究者们把这个问题起了个名字,叫相对能力。
**相对能力衡量的不是模型本身的水平,而是模型相对于某个已有信息源的边际价值。**
这个区分乍一看有点抽象,但它其实对应着现实里一个非常朴素的直觉。一个很擅长下棋的人,如果对手是新手,他的水平体现得淋漓尽致;但如果对手是世界冠军,同样的棋力可能就显得平平无奇。模型的价值从来不是绝对的,而是相对于对手,或者说相对于已经存在的那个预测源。
一个正在被开发商用的预测助手,如果已经接入了Polymarket这样的预测市场数据,那这个助手每次调用大语言模型,都要面对一个选择:是相信市场,还是相信模型,或者说,该给模型多大的话语权。这篇论文要解决的,正是这个"话语权分配"的问题。
预测市场:一种让人们用真金白银下注来预测未来事件的平台,比如Polymarket和Manifold,市场价格本身就反映了群体对某件事发生概率的共识判断。
模型分歧,什么时候才是有用信息
先说一个容易被忽略的事实:模型和市场预测不一样,不代表模型就是错的。
论文用了一个很干净的数学框架来说清楚这件事。设想外部预测（市场给出的概率）为g,模型给出的预测为f，两者之间的差值f-g，论文管它叫“分歧”。这个分歧本身没有意义，除非它能预测市场的错误方向。
也就是说,只有当模型和市场的分歧,恰好和市场犯错的方向一致时,这个分歧才值钱。用论文里的话说,增益取决于这个分歧与外部预测误差之间的协方差,如果这个协方差是零,那模型再自信,也提供不了任何增量价值。
布里尔分数:一种评价概率预测好坏的指标,预测和真实结果差得越远,分数越高（越差），完美预测的分数是0。
这个逻辑其实很像医生看诊时怎么用第二意见。假如你已经做了一次CT检查,报告显示八成没问题。这时候你去问另一个医生的意见,如果这个医生的判断总是和CT结果一致，那他的意见对你来说没有增量信息,你听不听都无所谓。但如果这个医生恰好擅长发现CT容易漏掉的某类问题,那即便他单独看起来经验不如放射科专家,他的意见依然值钱,因为他纠正的正是第一份报告可能犯错的地方。如果医院不做这层区分,只按医生的资历一刀切地决定听谁的,很可能会漏掉那些专精某个盲区、经验不算最深但恰好能补足漏洞的意见。
为什么要按“领域”分别调权重,而不是一刀切
论文接下来抛出了一个更细致的问题:如果你要把模型预测和市场预测按比例混合,这个比例应该是全局统一的,还是应该按问题类型分别设定?
论文给出的答案很明确,应该分开设定,而且给出了一个漂亮的数学证明来说明分开设定能省下多少损失。这个证明的核心思路是,不同领域里,模型分歧和外部预测误差之间的关系是不一样的。比如在经济数据类问题上,模型可能经常能捕捉到市场没跟上的信号,但在地缘政治类问题上,可能市场的群体智慧远胜过模型的判断。如果只用一个全局权重,相当于把这两种截然不同的情况强行拉平,损失就出现在这种拉平里。
论文给出了一个定理(文中称为定理1),精确计算出了分域调权和全局调权之间的差距有多大。这个差距和两件事成正比:一是每个领域里模型分歧的大小,二是这个领域最优权重和全局权重之间差得有多远。差得越远,分域处理带来的收益就越大。
这就好比一家连锁餐饮公司决定菜单定价。如果总部规定所有门店统一定价,那些身处高消费商圈、食材成本高的门店会亏钱,而身处低消费商圈的门店又显得贵。分区域定价虽然多了一层管理成本,但能让每个门店都贴近自己真实的成本和需求结构。如果不分区,公司损失的不是某一家店的利润,而是所有偏离全局均值最远的那些门店的利润总和,这正是定理1量化出来的东西。
能力门控机制:把这套理论落地成一个可用的算法
理论说完了,接下来是怎么把它变成一个真正能跑起来的系统。论文提出的方法叫做“能力门控”,英文是competence gate。
这个门控机制做三件事。第一,它从历史上已经出结果的问题里,为每个领域单独估计一组混合权重,权重可以是负数,负权重的意思是这个来源在犯错时能拿来当纠错信号,而不是字面意义上"这个来源不可信"。第二,对样本量小的领域,它把估计出来的权重朝全局权重方向收缩,防止小样本导致的权重估计过于极端。第三,它对最终混合出来的预测做一次保序回归校准,确保输出的概率数值真正对应着历史上的实际发生频率。
保序回归:一种校准方法,把模型输出的原始概率值调整成与历史实际发生频率更吻合的数值,常用于概率预测系统的后处理。
收缩这一步特别值得展开讲讲。假设某个领域(比如非洲某地区的冲突预测)历史上只有20个已解决的问题样本,你直接用这20个样本去估计混合权重,得出的数字很可能极不稳定,换一批数据重新估计,权重可能天差地别。这时候论文的做法是,把这个不靠谱的领域权重和一个用全部数据算出来的全局权重做加权平均,样本量越小,越靠向全局权重;样本量越大,越信任这个领域自己的估计。
这个逻辑其实很贴近保险公司给新客户定价的做法。一个刚成立的小型运输公司,没有足够的出险历史来精算它的风险等级,保险公司不会完全按照它自己那几次(可能运气好或运气差)的记录来定价,而是把这家公司的记录和整个运输行业的平均风险水平掺在一起,给出一个更稳健的报价。等这家公司积累了足够多年的出险记录,报价才会越来越贴近它自己的真实风险画像。如果保险公司图省事,直接按小公司自己那几年数据定价,极端案例会让保费忽高忽低,反而伤害了双方的长期信任。
实测结果：模型在哪里能帮上忙，在哪里插不上手
论文在2357个已有结果的二元判断问题上做了实测,数据来自ForecastBench这个基准,涵盖了Polymarket、Manifold这样的预测市场,Metaculus、INFER这样的群体预测平台,还有FRED（美联储经济数据）、ACLED（冲突事件数据）、维基百科和DBnomics这几个结构化数据源。测试用了五个语言模型。
| 方法 | 布里尔分数 | 相对基线的提升 |
| 主外部基线（市场/群体/统计先验） | 0.0771 | — |
| 全局两源线性混合 | 0.0767 | 0.0004 |
| 全局单纯形混合 | 0.0759 | 0.0012 |
| **分域能力门控** | **0.0732** | **0.0039** |
从这张表能看出,单纯的全局混合(不管是两源线性混合还是单纯形约束下的混合)带来的提升都很有限,统计上并不显著。但一旦引入分域处理,提升幅度直接翻了三倍多,而且p值只有0.001,说明这个提升不是噪声导致的巧合。
更值得注意的是,论文用训练集数据算出的理论预期增益是0.0035,而实际在留出测试集上观察到的增益是0.0027,两者非常接近。这说明前面那个定理1不只是数学上好看,它真的能提前告诉你,把权重按领域拆开,大概能捞回多少损失。
不过论文也没有回避一个尴尬的对比:如果把能力门控和一个经过校准调整的、按上下文分类的逻辑回归堆叠模型比较,两者表现其实差不多(0.0732对0.0740),差距在统计上不显著。也就是说,能力门控的价值不完全在于它比现有方法更准,而在于它给出的是一组闭式解的、可解释的领域权重,你能清楚看到每个来源在每个领域里到底占多大比重,这是黑箱堆叠模型给不了的东西。
**当市场本身就足够强的时候,模型的边际价值几乎归零。**
这一点在论文对官方ForecastBench市场子集的测试里体现得非常明显。这个子集包含1294个有真实市场报价的问题,在这个子集上,不管是全局混合(p=0.19)还是能力门控(p=0.42),都没能显著超过市场本身。门控机制在这种场景下,会自动把权重压得很低,基本等同于放弃模型意见,老老实实听市场的。
这其实是个挺有意思的现象。市场机制之所以强大,是因为它把成千上万人的信息和判断,通过价格这个信号压缩在了一起。当这个信号已经足够密集和高效时,单个语言模型再怎么努力,也很难提供增量信息,因为它掌握的信息量本质上比不过整个市场参与者的总和。
用真实时间序列做的“防作弊”检验
熟悉AI评测的人都知道一个老问题:如果测试用的历史事件,恰好在模型训练数据的时间范围之内,那模型很可能是背答案,而不是真的在推理。这叫数据污染。
论文对此做了两层防护。第一层是筛选出2103个在2025年6月1日之后才出结果的问题,理论上这些结果不太可能出现在模型的训练语料里。第二层更硬核，是针对没有真实概率预测的结构化数据(比如FRED经济数据),专门用ARIMA时间序列模型,只用预测当天能拿到的历史数据,现算一个"防泄漏"的先验概率,而不是用训练集里可能带着未来信息的统计量。
ARIMA:一种经典的时间序列预测模型,通过分析历史数据里的趋势和周期性规律来预测未来走势,是统计学里常用的基线方法。
在这个防泄漏设置下,针对172个结构化问题的整体测试显示,时间序列先验的布里尔分数是0.172,能力门控降到了0.160,提升有统计显著性(p=0.014)。单独看FRED这个子集(124个问题),提升也是显著的,从0.178降到0.166。但ACLED、维基百科和DBnomics这几个更小的子集,虽然点估计上也显示提升,但置信区间盖住了零,样本量不够,还不能下定论。
这就好比做医学临床试验,大城市三甲医院积累的病例足够多,能明确得出某种疗法有效的结论;而偏远小诊所的病例太少,哪怕数据趋势看起来一致,统计上也不敢拍板。样本量不足不代表效果不存在,只是现在的证据还撑不起这句断言。
模型嘴上说的自信,和它实际是否更靠谱,是两码事
这是整篇论文里我觉得最扎心的一个发现。
论文测试了四个不同规模的Qwen模型,让它们在给出预测的同时,报告自己对这个预测有多大把握,也就是所谓的“语言化置信度”。然后拿这个置信度去预测一个问题:这个模型的判断,是不是真的比外部市场预测更准。
结果非常不理想。用AUC(曲线下面积,0.5代表完全没有区分能力,越接近1代表区分能力越强)来衡量,四个模型的表现分别是0.389、0.501、0.460和0.473,全部徘徊在0.5附近,其中Qwen3-8B甚至低于随机水平。
AUC:一种衡量分类或排序能力的统计指标,数值范围0到1,0.5表示和随机猜测没有区别,数值越高说明预测越准。
这个结果说明什么?说明模型嘴上说的"我很确定",和它这次判断是否真的比市场更靠谱,几乎没有关系。模型可能确实感知到了这道题比较难,但它没办法判断,自己这次的判断,是不是恰好能纠正市场的盲点。
打个比方,这就像一个学生做数学题,他自己感觉某道题做得特别顺,写得又快又流畅,主观上很自信。但这种"手感好"的感觉,和这道题的答案是否真的正确,完全是两件事。真正靠谱的信号不是学生嘴上说的自信程度,而是他过去在类似题型上的历史正确率,这是一种通过结果反推出来的、外部验证过的能力评估,而不是主观自我报告。如果一个补习机构只按学生的自我报告的自信程度来分班,而不参考实际考试成绩,分班结果大概率是乱的。
论文里那个风险覆盖曲线的对比很直观地印证了这一点。用能力门控算出的、基于历史结果推算出来的能力值来决定何时该信任模型、何时该弃权,曲线下面积是0.019;而用模型自己嘴上说的置信度来做同样的判断,曲线下面积是0.054,差了将近三倍。数字越低越好,这说明"用历史结果反推出来的能力评分"作为弃权决策依据,比"模型自己说的置信度"靠谱得多。
这套方法能走多远
论文的作者们也很坦诚地承认了这套方法的局限。
**能力门控依赖的是历史上已经解决的问题,如果换到一个全新的、没有历史数据积累的领域,它就没法立刻给出可靠的权重估计。**
这意味着,一个刚上线的新预测系统,或者一个全新的问题类型出现时,门控机制没法立刻发挥作用,需要先攒够一定量的已解决案例。论文建议,保守的做法是系统一开始先偏向信任外部预测源,等积累了足够证据之后,再逐步给模型让渡更多权重。这也符合直觉,新员工刚入职时,主管不会立刻把最重要的决策权交给他,而是先让他在小事上证明自己,再逐步放权。
另外,论文提到的领域划分目前用的是数据来源(市场、社区、经济数据等)这种比较粗糙的标签。更精细的做法,比如根据问题的时间跨度、分歧程度、市场流动性这些细粒度特征来划分领域,论文认为是值得继续探索的方向,但这次没有做。还有一点,整套实验里模型没有用检索增强,也就是说模型是完全凭自己的内部知识做判断,没有去搜索最新信息,这样做是为了干净地隔离出"模型自己的判断能力"这个变量,但也意味着测试出来的结果不代表一个真正接入搜索引擎的实际部署系统的表现。
Q&A
Q1：相对能力和模型准确率有什么区别？
A：模型准确率衡量的是模型单独预测的好坏，而相对能力衡量的是模型相对于已有外部预测（比如市场或群体预测）能带来多少额外价值，即使模型单独看起来不够准，只要它能纠正外部预测的错误方向，依然算有相对能力。
Q2：能力门控在什么情况下不起作用？
A：论文发现在ForecastBench官方市场子集上，市场预测本身已经足够强，无论用全局混合还是能力门控，都无法显著提升效果，系统会自动把模型权重压低，基本听从市场判断。
Q3：语言模型自己说的置信度靠谱吗？
A：论文测试了四个Qwen模型，发现语言化置信度预测模型是否胜过外部预测的AUC值都在0.5附近甚至更低，说明模型嘴上说的自信程度不能可靠地反映它这次判断是否真的更好，用历史结果反推的能力评分更靠谱。
热门跟贴