一个预算模型和前沿模型,在同一套固定编程任务上跑同一场评测,结果反复出现同一个落差:便宜模型的每token成本大约是前者的1/20,编程得分却落在后者的一半以下。
光看表格里的数字说服不了人,于是整场评测被录成了一段短视频,把过程直接摆出来。
这套评测工具怎么跑?每个任务用完全相同的提示词、温度设为0,同时喂给两个模型,再拿留出的测试集按pass@1打分。不重试,不挑样本。
成本按服务商公开的每token费率乘以实际生成的token数计算。啰嗦的模型得为自己的啰嗦买单,这一点让对比站得住脚:便宜模型不是靠答得少取胜,而是按每美元完成的任务量取胜。
代价对操作者来说是实打实的钱和时间。每跑完一轮完整基准,API调用要烧掉几美元,还要等前沿模型更慢的生成,前后约二十分钟。
这笔账是愿意付的——比起发布一张没人信的图表,宁可花掉这些。跑过自己模型对比的人都清楚,“我测过”和“看我测”之间的差距,才是整件事的关键。
热门跟贴