一句"数据已验证"从 Claude Code 里弹出来，只用了16秒。要求做的是一个小型仪表盘页面，验证方式是对几个预期关键词做文本搜索。结果页面从未被渲染，每一根柱子都是空的。
另一边，DeepSeek V4.1 Flash 花了2分29秒，用无头浏览器（Chrome 无窗口、由脚本驱动）加载了自己的页面，看了截图，交出一个能用的仪表盘。Meta 在10月15日公开了 Muse Spark Open 的权重，两个模型在16日跑了同一套编程测试。
把模型塞进编程智能体时，哪些数字会骗人，值得单独拆一遍。
16秒的"完成"，藏着一个看不见的 bug
这个 bug 快速读代码是发现不了的。填充色只从写成后代选择器的规则里取颜色——这类 CSS 只有在元素位于另一个元素内部时才匹配。Muse 把柱子放在了行旁边，而不是行里面，选择器匹配不到任何东西。宽度动画加在一个没有背景的元素上。
打开页面，一秒内就能看出来；用 grep 搜字符串，永远搜不到。DeepSeek 也滑了一下，但轻得多：一张卡片的页脚把两项任务的总和写成了"each"。数字是对的，措辞不对。
每秒 token 数衡量的是服务，不是模型
模型以 token 为单位读写，速度通常用每秒 token 数表示。速度轮里，跑在 Baseten 上的 Muse 用2.5秒把代码显示到屏幕上，流式输出455 token/秒。DeepSeek 是197 token/秒，并且把全部1500 token 的额度烧在私有推理上，最后没有代码。
Artificial Analysis 取各家服务商的中位数，结论相反：DeepSeek 179 token/秒，Muse 102。Baseten 提供的是 Muse 的 NVFP4 版本，权重压到4位数字以少占内存、跑得更快；其用量数据还报告了投机解码，即用小代价猜测后续 token，再由大模型一次校验。两者大概各解释了一部分领先，测试无法把它们分开。测一个托管模型，你测的是它的托管方。
另一个陷阱是秒表从哪一刻开始按。首 token 时间这个常用延迟指标，把从未到达屏幕的推理 token 也算了进去。另一个早晨的测试里，DeepSeek 的首 token 不到一秒就出现，但第一批可读的字花了3到6秒；Muse 大约1秒。要让智能体感觉响应快，应该单独计第一个答案 token 的时间。
按任务算成本，不是按 token 单价
公开测试集 LiveBench 提供了8道 AtCoder 编程题。两个模型各解出7道，失败的是同一道。Muse 输出约88,000 token，DeepSeek 是59,000，且 Muse 单价更高。按标价，这8道题 Muse 花0.38美元，DeepSeek 花0.07美元。
在玩具级银行库上的小型 Claude Code 任务里，两者都通过了全部隐藏测试，Muse 每任务0.148美元，DeepSeek 0.016美元。DeepSeek 的数字按峰值定价计算，可以当作上限看。推理按输出计费，所以 token 单价低说明不了什么，除非你知道一个模型要想多久。
翻译层的设置也是实验的一部分
Claude Code 按 Anthropic 的格式发请求，Baseten 只接受 OpenAI 的格式。一个 LiteLLM 代理在两者之间翻译，它的配置把 Muse 的推理强度——控制模型思考多久的旋钮——设成了 medium。DeepSeek 有自己的 Anthropic 兼容端点，保持了默认的 high。仪表盘那一轮因此并不对等。Muse 在 high 强度下会不会测试自己做的页面，是个开放问题，这一轮没有跑。
翻译层施加的每一项设置都该记录下来，并当作测试变量计数。
在自己的候选清单上该收集什么
- 第一个答案 token 的时间，而不是第一个 token 的时间
- 每道解出任务的输出 token 数，含推理
- 按你实际会付的价格和时段计算的每任务成本
- 智能体在说"完成"之前，有没有打开自己做过的东西
局限也要说清：每项测试只跑了一次，只在一天之内，8道题加3个 Claude Code 任务，题目是公开的，两个模型都可能在训练中见过。速度结果描述的是 Baseten，不是 Muse 本身。公开权重确实意味着可以把 Muse 跑在自己的硬件上，但 FP4 权重约408 GB，这一点没有试过。DeepSeek V4.1 Flash 在此前的一次测试中已经在两块显卡上跑过。
热门跟贴