同一个问题，只是换了个说法，AI的准确率能差多少？IBM新论文给出的答案是：74.7个百分点。

这个数字来自IBM提出的新审计框架BenchDrift。它做的事情很直接：在不改变答案的前提下，系统性地改写同一道题目的措辞，然后看模型分数跟着波动多少。

打开网易新闻 查看精彩图片

更强的模型，波动反而更大

研究覆盖了8个模型和3个基准测试。结果显示，最佳与最差准确率的平均差距达到74.7个百分点。更反直觉的是，能力更强的模型受措辞影响反而更大。

换句话说，你以为模型“会”这道题，可能只是因为它恰好“看懂”了你的问法。

高置信度也不可靠

另一个值得警惕的发现是：即便模型给出最高置信度的回答，改写措辞后仍有18.5%的正确回答丢失。也就是说，模型自己“很确定”的答案，换个问法就可能答错。

BenchDrift的价值在于，它把“模型到底会不会”和“模型只是碰巧答对”区分开了。对于依赖大模型做决策的场景，这个波动幅度值得认真对待。