古代的八股取士，考的是四书五经。
大模型的八股取士，考的是LLM能不能把活干完。
前者是形式压倒内容，后者是内容压倒形式。
但只要是 “取士”，就一定有被格式化的东西。
因为你在朋友圈看到的每一个"某某模型吊打某某""某公司又赢了"，背后都是一个考分。
但是这八股的卷子谁出、谁判、怎么给分。
决定了你看到的是真相，还是排版。
图 1 这就是那张八股取士"成绩单"：AA 榜单快照，紫色箭头是 K3 和 K3.1 Pro 的位置
01 先看一个被玩坏的算法
比如：K3 到 K3.1 Pro，AA 综合指数从 44 涨到 55。
涨了 11 分。
于是标题就来了："能力暴涨 25%"。
跻身全球全四。
我：？？？
11 分是绝对分数，不是百分比能力。
你这么算，等于说"我从 60 分考到 71 分，所以我智商提高了 18%"。
听起来很唬人，其实什么也没说。
而且这 11 分，压根不是雨露均沾。
拆开看：
终端执行力（Terminal-Bench）从 13% 干到 67.2%，涨了 54.2 个百分点；
同样是代码，科学编程（SciCode）从 59% 到 60.8%，只涨 1.8；
长上下文（AA-LCR）更离谱，从 89% 掉到 86.3%。
同一张卷子，一门课坐了火箭，一门课原地踏步，还有一门课退步了。
所以"总分涨 11"这种话，跟"我和马斯克两人平均资产5000亿"一样，你得先问一句：跟谁平均？
02 考纲长这样：十门课，四种权重
现在掏出八股取士的考纲。
AA 这套综合指数，最新版本是 v4.3.2，一共 10 门课，分四类，权重如下：
智能体 30%：AA-Briefcase（15%）、GDPval-AA（10%）、AutomationBench（5%）
编程 20%：Terminal-Bench 4.0（10%）、SciCode（10%）
通用 30%：AA-Omniscience（15%）、GDP.pdf（10%）、AA-LCR（5%）
科学推理 20%：HLE（10%）、CritPt（10%）
图 2 十门课怎么加权成一分：类别权重和单项权重
翻译成人话：
"会动手"占 30%，"会答题"占 30%，"会写代码"占 20%，"会做科学题"占 20%。
注意这个顺序。
智能体和通用并列第一，编程只排第三。
这意味着什么？
意味着在出题人眼里，一个能自己打开终端、把活干完的模型，比一个会背书的模型值钱。
这不是技术判断，这是价值观。
而价值观，是被权重写死的。
你想啊，要是明天把编程提到 40%、智能体砍到 15%，你猜榜单会不会洗牌？
一定洗。
同一批模型，同一堆题，名次全变。
所以看榜单之前，先问一句：它到底在奖励什么？
这个问题的答案，比"谁第一"重要一百倍。
03 判卷才是精华：四种老师，四种给分法
这里是最容易看漏的地方。
大部分人以为"考试"就是"答对得分"。但十个科目，用了四种完全不同的判卷方式。
图 3 四种判卷方式，对应不同科目——这才是榜单里最容易被误读的部分
第一种：机器批卷，跑测试
Terminal-Bench 4.0：66 道题，每题跑 3 遍。模型在终端里操作，最后有一套测试脚本判过没过。
SciCode：288 个子题，每题 3 遍，模型写的 Python 必须通过全部单元测试才算过。
这种最硬——对就是对，错就是错，没有"我觉得它写得挺好"。
也正因为硬，它最不给面子。
13% 就是 13%，67.2% 就是 67.2%。
中间那 54 个百分点，是真金白银的执行力，不是 PPT 上的形容词。
第二种：看结果，不看嘴
AutomationBench：657 道题，让模型通过 REST API 去操作一堆 SaaS 系统，跑完业务流程。
判分不看它说了什么，看系统最终状态对不对。
而且有个狠规则：一旦触发"护栏违规"（干了不该干的操作），这题直接 0 分，不给你解释的机会。
第三种：不判对错，只判高下
GDPval-AA：220 道题，覆盖 44 个职业。模型最多走 250 步，可以联网搜、可以抓网页、可以看图，最后交一份交付文件。
然后呢？
评审团两两比较——A 和 B 谁的活干得漂亮，投票，换算成 Elo。
AA-Briefcase：91 道题，4 个场景。
给你一间虚拟办公室：`/home/user/` 和 `/tmp` 能写，`shared/` 和 `week/` 只读，还要求你先复制再改,不许就地动刀。
交付物按三项打分：任务达成、分析质量、呈现质量，再合成 Elo。
注意，这种分数不是正确率。
1800 Elo 不代表"90% 正确"，它只代表"比 1600 分那个锚点更能打"。
这是江湖排名，不是考试成绩。
第四种：按标准逐条核对
GDP.pdf：100 道题，10 个专业领域，底子是 4592 页 PDF、1275 条验收标准。每题跑 5 遍，凑成固定的 500 次分母。
评审一条条对着标准看，全部满足才算过。
AA-LCR：100 道长上下文题，7 类文档，每题塞进去约 10 万 token，模型没 128K 上下文窗口连门都进不去。
AA-Omniscience：6000 道开放知识题，拆成两个分——准确率 10% 和 非幻觉率 5%。
翻译一下：不会就说不会，是有分的。硬编，是要扣钱的。
HLE：2158 道纯文本题，数学、人文、自然科学。
出题人自己都提醒：这套题当年是用 GPT-4o、Gemini 1.5 Pro、Claude 3.5 Sonnet 这些模型筛过的，所以跟这几家横比要留个心眼——相当于出题时用过你家的模拟卷。
CritPt：研究级物理题。两步走——先让你把推理写完整，再让你把答案格式化成代码；答案可以是数值、可以是 SymPy 符号表达式，也可以是带测试用例的 Python 函数。最后由官方评分服务器判定。
04 有的课考 1 次，有的考 5 次，为什么
考纲表里还有一列，叫"重复次数"。
大部分人扫一眼就过去了。
但这一列，决定了这卷子靠不靠谱。
考 1 次的：AutomationBench、GDPval、AA-Briefcase、AA-Omniscience。这些要么环境会变，要么题集不公开，跑第二遍意义不大。
考 3 次的：Terminal-Bench、SciCode、AA-LCR。代码和长文本，重复得起。
考 5 次的：GDP.pdf。而且人家直接写明"固定分母 500 次",防止"跑得多的模型分母更大"这种小动作。
关键在汇总方式：pass@1。
这个词翻译过来是：每一轮独立作答的通过率，再取平均。
不是"给它十次机会，能做对一次就算过"。
这两件事差在哪？
差在你敢不敢把活交给它。
一个模型三次里过两次，记 66.7%。它代表"这货一次做对的概率是三分之二"，不是"它迟早能做对"。
做产品的人应该都懂：迟早能做对，等于不能做。
05 66 道题和 657 道题，差的是"分辨率"
还有一个细节，特别容易被忽略：题量。
Terminal-Bench 只有 66 道题。66 题、每题 3 遍，等于 198 次尝试。换算成百分比，一道题值 1.5 个百分点。
AutomationBench 有 657 道题。一道题只值 0.15 个百分点。
差了十倍。
什么意思？
意思是在 Terminal-Bench 上，60% 和 61.5% 之间，本质上就是"多做对了一道题"。这种差距，你拿去做选型决策，属于玄学。
而在 AutomationBench 上，0.15 的颗粒度才撑得起"我比你稳"这种话。
所以我一直说：看榜单第一件事不是看分，是看分母。
分母小的科目，波动大；分母大的科目，才配谈细节。
66 道题的卷子里，模型蒙对一道、或者手抖错一道，分数就上下跳 1.5。
这种波动，写在新闻里就是"重大突破"和"意外翻车"。
实际上啥也没发生，就是掷了次骰子。
06 这 11 分，我给你按计算器算一遍
好，现在算总分。
规则简单到有点朴素：
百分比科目：涨了几个百分点 × 权重
Elo 科目：先把增量标准化成 (Elo−500)/2000，再乘权重
拿 K3 到 K3.1 Pro 的公开数据套进去：
科目
变化
怎么算
贡献
Terminal-Bench
+54.2 个百分点
54.2 × 10%
约 +5.42
GDPval-AA
+312 Elo
312 ÷ 2000 × 10%
约 +1.56
AA-Briefcase
+179 Elo
179 ÷ 2000 × 15%
约 +1.34
AutomationBench
+15 个百分点
15 × 5%
约 +0.75
GDP.pdf
+9.4 个百分点
9.4 × 10%
约 +0.94
HLE
+5.5 个百分点
5.5 × 10%
约 +0.55
SciCode
+1.8 个百分点
1.8 × 10%
约 +0.18
CritPt
+1.6 个百分点
1.6 × 10%
约 +0.16
AA-LCR
−2.7 个百分点
−2.7 × 5%
约 −0.14
前四项加起来，约 9.1 分。总分涨了 11 分，一大半是一个科目干的。
说白了：Terminal-Bench 这一门，贡献了半壁江山。
所以"K3.1 Pro 全面变强"这种说法，属于典型的一白遮百丑。
它真正变强的，是在终端里把活干完的能力。
这门课，它从不及格干到了接近满绩。
至于别的课？
有的小涨，有的还退了。
07 这套高考的毛病，人家自己都写了
我最欣赏 AA 的一点是，它把短板写在了明面上。
这是英文文本考试。 图像、语音、多语言，是另外单独测的，不进这张总分。
不考成本。 综合分里没有价格、没有延迟。所以别拿这张榜去推"性价比排名"。
权重就是立场。 智能体给 30%，等于宣告"会干活"比"会背书"重要。你换个权重，排名立刻洗牌。
有些题是保密的。 AA-Briefcase 和 AutomationBench 是私有题集，外人看不到题目，只能选择信任它的方法和报告。
有的题有历史包袱。 HLE 的选题用过几个前沿模型做过滤，对被用过的模型天然不利。
没有置信区间。 差个一两点，别急着宣布"显著更强"。
一个榜单敢把这些写出来，可信度反而比声称"我们绝对客观"的高。
08 所以这张榜到底怎么看
四条，拿走不谢。
第一，先看科目，再看总分。
你做 Agent 产品，就盯 Terminal-Bench、AutomationBench、GDPval；你做文档处理，看 GDP.pdf 和 AA-LCR；你怕它胡说八道，就看 AA-Omniscience 的非幻觉率那一项。
第二，看权重。
同样是涨 10 个百分点，落在 15% 权重的课上，价值是落在 5% 权重课上的三倍。不看权重就比总分，等于不看分值比卷面分。
第三，看允不允许用工具。
GDPval、Briefcase、AutomationBench、Terminal-Bench 允许搜索、抓网页、看图；SciCode、GDP.pdf、AA-LCR、AA-Omniscience、HLE、CritPt 一律不许联网。
"带外挂的成绩"和"裸考的成绩"，不能摆在一起比。
第四，看分母。
重复 1 次和重复 5 次的科目，噪声不是一个量级。GDP.pdf 那种固定 500 次分母的设计，才是能拿来做细活的。
大模型这行，最不缺的就是"第一"。
今天你第一，明天他第一，后天大家并列第一。
但榜单真正值钱的地方，从来不是"谁第一"，而是它把"强"拆成了可以验证的小块：
会不会跑测试、能不能把流程走完、交付物经不经得起两两比较、长文档里会不会看走眼、不知道的时候会不会硬编。
这些东西，才是你选模型时真正要问的。
至于那个总分——它就像高考分数。
能决定你去哪个学校，但决定不了你能干成什么事。
更何况，这门"高考"还在改考纲。
版本号从 4.1 走到 4.3.2，题目换过、权重调过、判卷方式也变过。
所以看到半年前的排名，别太当真。
榜单是快照，不是判决书。
至于你拿它去撑场面，还是拿它去选型
那就是各人的活法了。
热门跟贴