“公共基准测试排行榜正在变成一场表演。”这是不少AI从业者憋了很久的话。7月9日,OpenAI和Elon Musk团队同一天分别放出GPT-5.6和Grok 4.5,科技媒体的版面立刻被对比图表和价格战分析塞满。三款变体Sol、Terra、Luna对上新一代Grok,眼花缭乱的程度像是两家人工智能巨头在隔空打擂台。可如果你把聚光灯从这场首发秀上移开,回到前一日的角落里,会看到一份几乎没有得到什么呐喊声的测试报告,它出自Databricks,也正是这份报告,正在悄悄重塑企业买AI的方式。
Databricks没有用任何公开基准题库去跑分。他们让自家的工程师,把过去真实提交的代码变更拿出来,横跨十几种编程语言,码量累积到数百万行,然后用这一大批写得皱皱巴巴、带着实际业务逻辑的代码去测模型。测的不是LeetCode式的算法题,而是日常工作中的Bug修复、功能调整、重构和API集成。被认为“昂贵且封闭”的前沿模型们自然在列,但更值得注意的是一群开源选手,包括几周前才免费发布的一个中国模型,它们居然落到了和那些最烧钱的前沿模型同一个能力层级上,而成本大约只要前者的三分之二。
这个发现很朴素,却没有半点水分。公开排行榜的问题早就不是秘密了。各家实验室都会针对HumanEval、MBPP这些公开集做专项调优,基准测试的题目和答案慢慢渗进训练数据,高分膨胀到已经和实际使用体验脱节。企业技术负责人打开排行榜看到一片九十几分,真的部署到自己的代码仓库里,模型可能连内部框架的import路径都写不对。Databricks用自己工程师的真实协作记录证明了:唯一能推动采购决策的,是把模型拉到自己的数据上、自己的基础设施里跑一次。数字很直白,不要气氛组,要工位上的实测结果。
这样一来,AI采购的算账逻辑就变了。过去看两个数字——模型得分和单次调用价格,现在多了一重内部效能账本。同样完成一个微服务模块的代码辅助,用前沿模型要
热门跟贴