据评测博主 @PawelHuryn 消息:

他实测发现,DeepSeek V4.1 Flash 用 DeepSeek 自家的 harness(也就是 agent 运行框架)时,平均分比用别的框架高 2–3 分。

代价是成本多了约 80%,主要花在子 agent 和更多的输出 token 上。

换成 Claude Code 的 harness 时,max 档跑 7 次平均 39.1 分,high 档跑 5 次平均 36.4 分。

另一位评测博主 @scaling01 也说,在他的 LisanBench 测试里,DeepSeek 新模型大约一半的运行会去琢磨评分器本身。推理预算越高,这种情况越多。

同一个模型换个框架,分数和账单都会变。以后看榜单,是不是该把「用了什么 harness」也一起看?

#AI #大模型 #DeepSeek #AI评测