随手先关注，不错过每日AI热讯速递
数学基准MathArena的综合榜首换人了。Gemini 4 Carbon85.4%的综合得分排到第一，把此前排在第一的GPT-6.1 Sol挤到第三[1]。
这是很长一段时间以来，第一次由非 OpenAI 模型坐上这个位置[2]。但榜单旁边那列成本同样醒目：为了这 4.8 个百分点，每道题的账单要多付十几倍。
①
这个榜首先要放回MathArena的口径里看。它报的「预期表现」（跨赛题归一化后的综合估分，缺测的题会用统计模型补算，因此带有正负号），汇总范围只包括未被弃用的比赛[1]。
题源也刻意避开旧题：用新发布的竞赛题与研究题，测模型在训练中没见过的推理；每个模型每道题跑四次，榜单同时给出平均分与单次运行成本[1]。
排名是这样：Gemini 4 Carbon85.4%排第一，单题预期成本15.70 美元[1]。
Claude Fable 5.282.8%排第二，40.20 美元GPT-6.1 Sol80.6%排第三，1.07 美元[1]。
图来源：MathArena[1]
所以「登顶」要先拆成两个数看：一个是综合排序，一个是那个带着正负号的估计值。
②
成本这道题更直接。按测试时用的推理档位折算，Carbon 的单题成本约为 GPT-6.1 Sol 的15 倍，Fable 5.2 约为40 倍[2]。
折算成绝对数，就是 15.70 美元、40.20 美元对 1.07 美元[1]。同一批题目跑一遍，选第一名和选第三名，账单相差一个数量级。
这个差距对谁最要紧？做批量任务的团队。单次调用看不出来，题目一多就成了预算问题。
反过来，如果只是偶尔问一道难题，成本差距可能还不如一次超时带来的等待更贵。
这个成本是按单题完整跑一次算的。榜单给的是一个综合平均值，落到具体题目上会上下浮动[1]。
所以它适合当量级参考，不适合当精确预算。
所以选型的分水岭不在榜首，而在你要跑多少次——这是一道算术题，不是立场题。
③
Carbon 的失败模式也进了榜单记录：它最常见的失败是超时[2]。
榜单记录的另一面是它几乎从不主动放弃任务：有一次它启动了一个脚本，跑了 11 个多小时都没有回头检查进度[2]。
这个特性往好里说，它愿意死磕；往坏里说，在流水线里它会把预算和时间一起吃掉。
对交互式使用，表现是慢；对自动化系统，表现是成本失控。同一个行为，落在两种场景里是两个问题。
所以真正的价值不在排名，而在提醒：把模型接进生产线之前，超时与自我中断的策略得先设计好。
④
至于它算不算当前最强的公开可用数学模型，得先看一个前提：被称解出 Navier-Stokes 这类难题的 OpenAI 模型，目前还没有公开可用[2]。把这些未公开的模型排除在外，它可能是其中最强的一个[2]。
榜单本身也在自我限定。85.4% 与 82.8%的置信区间（统计上允许的浮动范围，两个区间重叠时先后顺序就不算确定）相互重叠，前两名的先后在统计上并不牢靠[1]。
另外，Carbon 的第一名建立在部分题集上——出于成本考虑，它并没有在全部赛题上跑满，个别分数是估计值[1]。
所以这是一次真实的换位，但不是一次确定性的超越。榜首换人值得记一笔，成本那一列更值得先算清楚。
如果你的团队要选数学模型，会为了这 4.8 个百分点多付十几倍吗？欢迎在评论区聊聊。
参考来源：
[1] Model performance across MathArenahttps://matharena.ai/
[2] Gemini 4 Carbon takes the MathArena crown but costs 15 times more than GPT-6.1 Solhttps://the-decoder.com/gemini-4-carbon-takes-the-matharena-crown-but-costs-15-times-more-than-gpt-6-1-sol
欢迎点赞、分享、推荐
一起拥抱AI
热门跟贴