一个横跨11个专业领域的智能体评测,最高分只有12%。这不是某个单项测试的冷门结果,而是SemiAnalysis发布的GDPx v1.0榜单上,13个模型交出的最好成绩。
GDPx的定位很明确:不考孤立的问答式题目,而是把模型放进真实工作环境里跑任务。整套评测包含206个任务,覆盖从芯片设计到量化交易的11个专业领域,任务数据和环境由14家合作机构提供,用的就是从业者日常真正会接触的材料。每个任务默认给8小时预算。
榜单前三名的分数和成本放在一起看,信息量比排名本身更大:
- Claude Opus 5.5 以 12.0% 居首,平均每任务花费 51.41美元,消耗约 54.8万输出token
- Gemini 4 Carbon 以 10.9% 排第二,平均每任务 16.29美元
- GPT-6 Astra 以 9.6% 排第三,平均每任务 53.99美元
榜首分数只有12%,说明长周期专业工作还有大量空间没被填上——单次运行可能耗时数小时,产生成千上万个中间步骤。而Gemini 4 Carbon与GPT-6 Astra之间约1.3个百分点的分差,对应的是每任务成本上数倍的差距,前沿模型在准确率和预算之间的取舍方式并不相同。
评分细节比排名更值得看。在严格的二元判定下,没有任何模型在金融或法律领域解出哪怕一个任务,尽管这两个领域结构化、规则化的内容相当丰富。量化交易方面,111次被评分的运行中有70次低于参考策略,也就是说多数尝试相对一个专业人本应跑赢的基线是亏的。
这组结果指向同一个模式:模型能产出看起来合理的中间成果,却仍然过不了客户真正付费的那个端到端结果。对正在跑量化或法律试点的团队来说,这意味着这些领域暂时还不适合无人监督地交出去,内部评测里也该加上与参考策略的对比。
SemiAnalysis把GDPx定位为OpenAI GDPval的继任者,计划每3到6个月发布新版本。这个节奏有实际考虑:一旦实验室针对某个评测做优化,用持久专业任务排名的基准就会很快过时。每个新版本靠实时环境和合作方提供的数据,让测量保持新鲜、也更难被钻空子。首个版本同时立下了一个可供行业追踪的基线。
对挑选模型做智能体部署的团队,GDPx补上了头部分数通常藏起来的那一维:成本。自动化项目在决定把哪些工作流交给哪个模型时,可以把每任务经济性和能力分数放在一起权衡,而不只是看一个总分。
接下来值得盯的三件事:榜单分数会不会随每个3到6个月的版本往上走,实验室优化之后每任务成本怎么变,以及哪个领域最先脱离零解状态。
热门跟贴