Meta在10月12日发布Muse Wonder,距离Muse Spark 1.1开放Meta付费Model API大约三个月。Meta称Muse Wonder系列在个人与专业智能体任务上表现强劲,在内部MemoryBench记忆测试中登顶,Full版本在DeepSWE、SWE-Marathon等编程基准上领先。

打开网易新闻 查看精彩图片

它的模型卡把Fable 5.1列在对比模型里,Meta的发布帖也把Fable 5.1的分数和自己的分数并排公布。Fable 5.1是Anthropic的顶级模型之一,这种对比本身就带着火药味。

Muse Wonder分两个版本。标准版通过Model API和Meta的编程智能体Muse Code提供;能力更强的Muse Wonder Full只在Muse Code的最高订阅档里开放。

价格是这场对比里最扎眼的数字。Muse Wonder在Meta Model API上每百万输入token收4美元,每百万输出token收20美元。Anthropic的Claude Fable 5.1于9月发布,价格是10美元和50美元,通过API和Claude付费计划提供。按token单价算,Muse Wonder便宜60%。缓存输入会缩小差距:Meta每百万缓存输入token收0.20美元,Fable 5.1是0.25美元。

如果它真能跑到Fable的水平,对整天跑智能体的团队来说是一笔大钱。于是有人拿标准版Muse Wonder和Fable 5.1做了三场硬碰硬的智能体与记忆任务测试。

测试方式:Muse Wonder走OpenRouter、由Meta提供服务,Fable 5.1走Anthropic的API。每个模型每项测试跑一次,用默认推理设置。Meta公布的对比用的是最大推理强度。评分脚本对照事先建好并核验过的答案键打分。每项只跑一次,换一次运行结果可能不同。

三项测试分别是:

  • 智能体修bug——一个27模块的Python任务队列库,三个互相影响的bug,外加一个本身就写错的测试。每个模型用工具读、搜、改、跑测试,上限25轮。
  • 事故调查——20个假服务在级联故障期间的日志、指标、部署历史和配置历史。根因是一次配置变更,藏在两次诱饵部署和一个时钟慢263秒的服务器后面。
  • 长会话记忆——一场50轮的脚本化对话,关于一个webhook中继服务,含25条项目规则,其中8条后来被改过、3条只是暗示。最后每个模型写出配置和代码,再做八题回忆测验。

修bug测试里,两个模型都把第一个bug追到了正确的文件,尽管报错信息指向别处。两个都修好了第三个bug,没弄坏22个回归测试中的任何一个,都没去动那个写错的测试,也都解释了它错在哪。

差别在第二个bug。Fable通过了全部六个隐藏测试。Muse过了五个,因为它的修复仍然把旧的尝试次数发给了任务的失败事件。

价格上,Muse用了大约两倍的输入token,所以尽管单价更低,实际花费约为两倍。两个模型的成本都含提示缓存折扣。最终数字:

  • Muse:15轮,输入269,615,输出4,627,0.75美元,55.9秒。
  • Fable:14轮,输入138,213,输出3,132,0.39美元,68.5秒。

事故调查测试里,两个模型都是10分满分。都指出配置变更CFG-4470是根因,都排除了两次诱饵部署,都抓到了结账服务上那个慢时钟,也都按正确顺序列出了全部九个受影响服务。

Fable六轮就到位。Muse用了13轮,沿途读了更多数据,尽管它等待模型的总时间更少。同样,Muse因为token用量高而花了更多钱,尽管单价更低。最终数字:

  • Muse:13轮,输入327,587,输出8,811,1.03美元,69.1秒。
  • Fable:6轮,输入108,128,输出8,593,0.89美元,88.3秒。

长会话记忆测试制造了最大的性能差距。Muse在最终交付物上拿到25分满分。它对全部八条被改过的规则都用了最新值,三条暗示规则也全部命中,包括写出能在Python 3.8上跑的代码,因为客户的服务器就是3.8。它在测验里也拿到8分满分,并对对话从未覆盖的三个问题全部回答“unknown”。

Fable在这项测试里得了零分。第5轮时,Anthropic的API返回了一次拒绝,类别是“cyber”。那一轮要求模型从环境变量里读取中继的目标URL。Fable在50轮里拒绝了34轮,包括最终交付物和测验。这个项目只是一个普通的webhook中继,和网络安全毫无关系。

这件事格外有意思,因为Anthropic称,使用Fable 5.1的Claude Code用户每会话遇到的网络安全防护干预应比Fable 5少约60%。Fable 5从未因为这种原因跳过测试工作。按Anthropic的指引,测试者丢弃了被拒绝的输出、保留自己的消息,所以Fable仍然拥有每一条规则。更早一次把被拒轮次留在历史里的尝试引来了45次拒绝,于是重跑。Anthropic建议为被拒请求设置回退到另一个Claude模型,测试者没有这么做,因为那测的就是另一个模型了。Anthropic自己的Fable 5.1基准把带cyber标记的任务交给了Claude Opus 4.8。

因为Fable拒绝了工作,这项测试说明不了它的长会话记忆能力。它确实显示了两个模型如何对待可能被cyber过滤器误判为安全工作的日常后端代码。Muse完成了任务,25分满分。Muse的数字:50轮,输入93,977,输出9,848,0.46美元,143.2秒。

结论层面:在智能体工作上,Muse Wonder达到了Fable 5.1的水平,尽管Meta自己的基准表显示标准版在一些智能体测试上落后于Fable 5.1,包括OSWorld。它在事故调查上追平了Fable,在修bug上只差一个隐藏测试。

但测试里它没省钱。Muse每项任务用的token更多,总计2.25美元对Fable的1.85美元。Fable的总计里包含它拒绝的那场记忆会话的0.57美元和119,187个输入token;在两个模型都完成的两项测试上,Muse花了1.78美元,Fable花了1.28美元。

测试者的判断是:Muse Wonder比预期更接近Fable 5.1。但就智能体调试和调查而言,仍然会选Fable 5.1——它略准一些,用的轮次更少,测试中总花费也更低。当Fable的cyber防护让工作无法进行时,Muse Wonder是一个替代选项。只是没有数据把Meta的价格和其他模型对比,无法确认这个费率是否合理。