跑分榜上名列前茅的大模型，接进真实业务却频频翻车。问题不在模型本身，而在评测方式——标准考题和用户真实表达之间，存在一道被长期忽视的鸿沟。

考题和真实提问，根本不是一回事

打开网易新闻 查看精彩图片

评测集里的问题往往表述规范、指向明确，而真实用户会带着错别字、省略主语、夹杂口语和情绪。模型在标准考题上表现优异，不代表它能接住这些"不标准"的输入。评测分数衡量的是应试能力，不是业务适配度。

分数虚高的两个来源

数据污染是第一个问题。当评测题目本身已经出现在训练语料中，模型相当于提前看过答案，分数自然被抬高。第二个问题是评测集饱和——当头部模型的分数都挤在高位区间，分数之间的差异已经无法反映真实能力差距。

这两点叠加，让跑分榜逐渐失去参考价值：分数越来越高，能说明的问题却越来越少。

产品经理该怎么评

对产品经理来说，依赖公开榜单做选型决策风险很高。更可靠的做法是回到真实场景：

  • 用业务里真实出现过的用户提问做测试集
  • 关注模型在边缘案例和模糊表达上的表现
  • 把评测重点从"答得对不对"转向"能不能用"

跑分是参考，不是结论。真实业务里的表现，才是模型能力的最终答案。