JetBrains 研究团队分析了 4,782 个真实编程智能体会话，发现了一件让基准测试有点尴尬的事。

在真实请求里，功能开发和 bug 修复加起来，占比远低于一半。用户不会老老实实只让智能体写功能、修 bug，而是在长会话里不断切换：提问、规划、审查、编辑，来回跳。

打开网易新闻 查看精彩图片

基准里的世界，和真实世界不一样

对比之下，SWE-Bench Pro 里这两类任务的占比高达 93.8%。也就是说，这个被广泛使用的编程智能体基准，几乎只测了真实工作流里的一小块。

研究指向的问题很直接：如果基准里的任务分布和真实使用差这么远，那测出来的分数，未必能说明智能体在真实场景里好不好用。