ARC Prize 公布了 Anthropic 的 Claude Haiku 5.5 在 ARC-AGI (Verified) 上的评测成绩。同一款模型，三个版本上的得分摆在一起，落差相当大。

先看数字：ARC-AGI-1 得分 89.0%，单任务成本 $0.051；ARC-AGI-2 得分 61.3%，单任务成本 $0.085；到了 ARC-AGI-3，得分只有 2.8%，成本却飙到 $437——这是在 provider adapter harness 下的结果，换成标准 harness，得分进一步降到 0.5%，成本 $388。

打开网易新闻 查看精彩图片

分数往下走，成本往上走

把三组数据排在一起，趋势很直白：任务版本越新，得分越低，代价越高。ARC-AGI-1 上接近九成的成绩，到 ARC-AGI-2 掉到六成出头，到 ARC-AGI-3 只剩个位数百分比。成本方向正好相反，从五分钱一个任务，涨到四百多美元。

这种反差本身说明，三个版本考察的东西不在一个难度层级上。低版本上表现好，不代表能平移到高版本。

官方怎么评价

ARC Prize 官方对这份成绩的评价是：这为 Anthropic 的小模型梯队带来了有竞争力的表现。注意定语落在"小模型梯队"上——Haiku 在 Anthropic 的产品线里属于小模型，官方给出的判断也是放在这个范围内衡量的。

至于 ARC-AGI-3 上 2.8% 与 0.5% 的差距来自 harness 配置不同，这一点在成绩里已经标明，两个数字对应的是两套不同的测试装置，不能混着看。