TypeSafe AI 在社交平台上发了一条动态，开头就把话说得很直白：这不会是第一次，也不会是最后一次，有人挥着拳头对公开基准测试表达不满。但他们想换个做法。

他们决定公开自己内部的一套评测思路——不是标准答案，而是"最好的猜测"，用来衡量一种对开发者来说最重要的智能形态。

打开网易新闻 查看精彩图片

为什么绕开公开榜单

打开网易新闻 查看精彩图片

公开基准测试一直是行业里争论不断的对象。TypeSafe AI 没有展开说具体是哪些榜单、哪些争议，只表明了一件事：与其继续对着公开榜单发火，不如把自己内部怎么测的拿出来给人看。

这种做法在评测领域并不常见。多数团队对外只报公开榜单成绩，内部怎么判断模型好不好用，往往不对外说。

他们想测的是什么

打开网易新闻 查看精彩图片

按这条动态的说法，他们要衡量的是"对开发者最重要的那种智能形态"。这句话没有给出具体指标，也没有列出测试项目，但把目标人群点得很清楚——开发者。

换句话说，他们关心的不是模型在通用题目上能拿多少分，而是这套东西放到开发者手里好不好用。至于具体怎么测、测哪些维度，动态里没有展开。

这条动态发布于 10 月 15 日，截至抓取时获得 6,680 次浏览。