AI实验室们把声誉押在了模型基准测试上——一套号称中立、准确的评估体系，用来衡量一个AI产品是否比另一个更好。但Hugging Face首席政策官Irene Solaiman在TechCrunch Disrupt的一场讨论中表示，这些评估背后的方法很复杂，而且仍在成熟过程中。如果行业未来要依赖它们，测试需要整合成一门更一致的科学。

打开网易新闻 查看精彩图片

那么，当前发布的这些测试，我们到底能不能信？

“信任这个词分量太重了。”Solaiman说。她认为，判断能否信任结果，一个关键部分在于：你能不能复现一次评估的结果？你对模型本身是否有需要的访问权限——“这正是开放权重发挥重要作用的地方。”

可复现性长期以来是基准测试中最棘手的环节之一，在行业内也仍是争论不休的话题。除了单个测试本身是否有效，还有一个问题：这个测试和其他评估怎么比较？

“它们是一门不断演进的科学——我们并不知道如何有意义地把它们相互比较。”Solaiman说。

她进一步指出，这些评估会相对快速地失效，而行业还没有一个足够繁荣的生态。“现在大家对嵌入式评估者生态有一种渴望，但决定谁能在哪些任务上成为有效评估者的资质标准，需要更多的标准化。”

嵌入式评估者的思路，是把号称“中立”的第三方观察者放进AI组织内部。过去几个月，这一思路流行起来，背景是AI实验室应对一连串安全事件，这些事件引发了对其技术潜在危害的担忧。Hugging Face本身就曾是一次此类事件的目标。

实验室们推动第三方方案，而不是依靠积极的政府监管来识别和缓解模型安全担忧。但这些评估者究竟能有多中立、多有效，仍然存疑。Anthropic决定聘请埃森哲作为其首位评估者，就引发了不小的反弹，一些批评者嘲讽这家咨询公司是否有资格完成这项任务。

评估的对象也在变化：从单纯测试模型本身，转向测试模型周围的整个系统——包括harness和agent。Solaiman分享说，harness，也就是用户访问模型所使用的工具，与模型表现有很大关系，一个较弱的模型配上更好的harness，很容易跑赢一个前沿模型。

“Agentic评估真的很难，也真的很贵。”Solaiman说。她提到，针对模型的评估更多，针对harness的评估没那么多，而行业正在为整体agent开发更好的评估——“因为很多人正是从中获得价值。”

换句话说，评估领域目前有点各自为战。如果基准测试要继续被视为行业领导者的有用工具，可能就需要一种更统一、全行业一致的做法——让所有人站在同一页上。