一项覆盖77项研究的综合分析给出了一个不太让人安心的结论：AI评分者的可靠性，取决于它手里那份答案金表有多可靠。

研究指向一个具体现象——AI评分者最容易出错的题目，恰恰是它自己没能答对的那些。换句话说，它在自己都没搞明白的地方，打分最不靠谱。

打开网易新闻 查看精彩图片

错误偏向哪一边

分析还发现，这类错误存在明显的偏向：AI评分者更容易给出假阳性结果。也就是把不该判为正确的答案，判成了正确。

对于把评分环节交给AI的场景来说，这个偏向方向值得留意——它不会让系统显得更严格，而是更宽松。

答案金表是前提

研究给出的应对路径并不复杂：建立一份经过验证的答案金表，是缓解这类错误的关键。

这也解释了标题里的那层意思——AI评分者的水平，被它参照的答案金表卡住了上限。金表本身有问题，评分结果就跟着走偏。