让大模型给智能体的执行过程打分，已经是训练和评测环节的常规操作。但一份来自 ServiceNow 与 McGill 的新论文指出：AI 判官依然会漏掉长程计算机使用任务里的细微失误，而且给它们配上工具，也未必能稳定改善。

问题出在任务的长度上。一个超过 100 步的执行过程，看起来可能已经跑完了，实际上却画错了图形，或者把消息发到了错误的 Slack 频道。结果摆在眼前，过程里的偏差却藏在细节中。

打开网易新闻 查看精彩图片

用近乎相同的任务，逼出判官的盲区

为了把这类失误变成可测量的对象，研究团队构建了 AgentHorizon，包含 1,373 个判题任务，全部来自人类的屏幕录制。

录制方式很讲究：人们录制成对的、几乎一模一样的任务，然后交换两者的指令。这样一来，每一次失败都对应着一次干净的、只差一点点的请求——判官要分辨的不是"做没做完"，而是"做的是不是同一件事"。

这套设计把评测的焦点从结果拉回到了过程，也让"看起来完成了"和"真的完成了"之间的缝隙暴露出来。

最强判官 80.9%，工具加持反而更差

在难度最高的那一组划分上，表现最好的判官是 Codex 里的 GPT-5.5，平衡准确率达到 80.9%。作为参照，如果对所有样本一律回答"是"，得分是 50%。

另一组对比更能说明问题。Qwen 3.6 27B 在直接读取完整执行过程时，得分为 77.6%；而把它当作智能体来用时，得分掉到了 70.4%。给它工具，并没有带来可靠的提升。

换句话说，判官能力的上限，并不取决于它能不能调用更多手段，而取决于它能不能在近乎相同的两个任务之间，看出那一点关键差异。

在信任它之前，先在你的环境里测一遍

论文给出的建议很直接：在把智能体执行过程交给大模型判官之前，先在你实际要用的那套智能体配置里，用这类"差一点就对了"的失败样本测一测它。

原因不难理解。判官的判断依赖于具体的执行环境、任务形态和失败模式，通用榜单上的分数，未必能迁移到你自己的流水线上。而一个漏判细微失误的判官，会把这些失误当作正确样本，继续喂回训练和评测环节。