智能体把改动、分类结果或者一句“可以继续”交回来，后面跟着一个很高的百分比。团队看到这个数字，往往就把它当成安全信号。问题在于，这个百分比通常只是模型的“口头表达”，并不是对照真实正确频率校准过的概率。

打开网易新闻 查看精彩图片

在 Hacker News 最近的一场讨论里，“别向大模型要置信分”这句话引来数十条评论，原因正在这里：没有校准协议，这个数字提供的是安慰，不是证据。

DecisionPivot 这篇论文正面处理了这个问题。该基准包含 48 项任务、约 4 万个条目，覆盖大模型系统中七种决策角色：护栏、输出校验、智能体工具调用检查、推理分类等。核心赛道有 7800 个条目，分属 13 个生成家族，按对比组组织——同一个案例埋入一个改变正确答案的细节。

单条准确率本身不够用。真正要看的是：模型能否整组答对，概率排序是否自洽，以及高置信预测是否真的错得更少。

结果暴露了聚合分数掩盖的东西。两个 27B 模型在参考赛道上只差 2.6 个百分点，在对比组上的准确率却是 70.1% 和 44.2%。在 2400 个二元对中，一个决策器有 92.3% 的情况把正例排在负例之上，但两个成员全对的只有 74.1%。

单条准确率相近的模型，在概率 ≥ 0.90 的预测可靠性上也会分道扬镳：一个在自称很有把握时错得更少；另一个更频繁地给出高置信，并在这些情况下错得更多。

对把智能体用于路由、护栏或输出审批的团队来说，结论是操作层面的。“置信度高于 90%”只有在有人于本团队的业务域内测过、确认该阈值对应可接受的错误率之后，才算站得住脚的标准。没有这一步，这个数字就成了捷径——把本该交给人审、交给第二个模型、交给一次测试或一条证据链的环节，直接自动化掉。

DecisionPivot 不解决任何人的流水线；它展示的是流水线在把口头置信分当作闸门之前，需要回答哪一类问题。

仍然只因为智能体“说了 95%”就放行补丁或决策，用的是一条模型自己都没验证过的标准。