“Epoch的基准测试确实做得不错，但我始终认为，开放权重模型比这些测试数字所显示的脆弱得多，尤其在处理分布外数据的时候。”一位长期关注模型评测的AI实践者近日表达了这样的顾虑。

他的担忧并非指向评测方法本身，而是提醒业界注意一个容易被忽视的偏差：基准测试通常衡量的是模型在常见任务上的表现，但现实世界充满各种长尾、异常的输入。开放权重模型在这种“分布外”场景下的稳定性，远没有排行榜上看起来那么牢靠。

这种脆弱性带来的影响不容小觑。当开发者基于亮眼的基准分数做出技术选型，一旦模型在生产环境遭遇意料之外的输入，可能出现不可预期的错误。这就像一辆在赛道上跑得飞快的车，上了颠簸的乡间小路却频繁熄火。

他进一步指出，光看基准测试给出的纯性能指标，容易让人忽视模型在“感觉”层面的可靠程度。面对未知的输入，模型给出的回应是否还保持稳定、合理？这个问题的答案，目前还藏在基准分数的背面。