同一个模型,换了个平台跑,基准测试成绩平均涨了15个百分点。这不是模型更新,是测试环境变了。
GLM 5.3 Flash 此前以 Ox Alpha 的名义在 OpenRouter 上隐身可用。有人拿它跑了 ARC-AGI-1 和 ARC-AGI-2 的公开任务,记录下当时的成绩。
打开网易新闻 查看精彩图片
换平台,分数变了
后来通过 Baseten 测试官方版 GLM 5.3 Flash 时,两个基准的成绩都出现了上升,平均涨幅为 15 个百分点。同一款模型,两次测试之间没有版本迭代的说明,变量落在测试通道上。
ARC-AGI 系列考的是抽象推理,题目对人类不难,对模型不轻松。这类基准的分数对推理链路、采样配置、服务端实现都敏感,换一条推理路径,结果就可能不一样。
隐身测试这件事本身
Ox Alpha 在 OpenRouter 上以匿名身份出现,是模型正式发布前常见的做法:先放出去跑真实流量,看表现,再决定怎么官宣。这次的不同在于,隐身版和官方版的成绩被放在一起对比了。
15 个百分点不是小数目。在 ARC-AGI 这种分数普遍不高的基准上,这个差距足以改变一款模型在榜单上的位置。至于差距来自服务端优化、推理配置还是别的环节,目前没有更多说明。
对开发者来说,这件事的实际含义是:看榜单分数时,得先看清楚那个数字是在哪条通道上跑出来的。
热门跟贴