评测机构说你的考试成绩在飙升，你该高兴还是怀疑？

OpenAI 的选择是——直接掀桌子。他们发布博文公开叫板行业权威基准 SWE-Bench Pro，直言这个被公认为"AI 编程能力试金石"的评测体系，在 731 个公开测试任务中，大约 30% 存在缺陷。一家公司，主动质疑让自己分数好看的考试——这事本身就够反常。

8 个月从 23% 飙到 80%，反常的"进步速度"

SWE-Bench Pro 由 Scale AI 推出，专门评测大语言模型和 AI 智能体的编程能力。因为题目高度贴近真实企业级开发环境，且有严苛的防作弊机制，它很快成了 AI 软件工程领域绕不开的标尺。

但 OpenAI 发现了一个关键信号：前沿模型在这个基准上的通过率，仅仅 8 个月就从 23.3% 飙升到了 80.3%。

这个速度太不正常了。如果模型真实能力真的在半年多里翻了三倍多，AI 行业早就炸锅了。现实是，行业进步是稳步的，不是跳崖式的。OpenAI 的判断是：问题出在考试本身，而不是考生突然变聪明了。

两条审查路径，交叉验证出同一结论

OpenAI 启动了两条并行的审查路径来验证自己的怀疑。

第一条是数据点分析流程，通过自动化标记识别出 200 个失效任务，占全部 731 个公开任务的 27.4%。第二条是人工标注，由标注员逐一核查，找出了 249 个失效任务，占比 34.1%。两条路径交叉验证后，OpenAI 给出的预估是：SWE-Bench Pro 大约 30% 的任务确实存在缺陷。

问题主要集中在四个方向：测试条件过于严苛、提示信息不充分、测试覆盖范围过窄、提示内容具有误导性。

一个空格引发的"冤案"

OpenAI 还披露了一个典型案例，看完你就明白问题出在哪了。

某道题要求将内容转为 Markdown 时在行首加入 1 个空格，但隐藏测试却要求加 2 个空格。这意味着模型完全按照题面说明写出正确代码，提交后依然被判错。这种"题目说一套、测隐藏规则又说一套"的情况，直接让模型的真实能力被低估，也解释了通过率为什么会出现不合理的飙升——因为有的模型恰好蒙对了隐藏规则，有的则被规则坑了。

换个角度看，这也暴露了当前 AI 评测的一个深层矛盾：考试题目本身还在用面向人类开发者的逻辑设计，但 AI 模型的解题方式和人完全不同。拿人的标准去卡 AI，结果就是双方都难受。

撤回推荐，评测体系需要推倒重来

基于这次分析，OpenAI 做了一件不太常见的事——正式撤回此前对 SWE-Bench Pro 的采用建议。等于公开说：这个考试我们不认了。

同时他们提出了一个方向性的意见：后续应该由资深软件开发者专门为 AI 设计新的评测基准，而不是简单套用面向人类开发者的测试逻辑。当行业公认的"标杆"都可能存在近三成的缺陷，整个 AI 评测体系的公信力确实需要被重新审视。

从跑分竞赛回归真实工程能力评估，可能是 AI 软件工程评测下一步必须跨过的门槛。毕竟，一个连题目都有问题的考试，考出来的分数又能说明什么呢？

如果读到这里你觉得有收获，顺手点个赞，感谢您的支持；同时欢迎关注我，后续还会继续深挖。