给大模型喂一条糟糕建议,它会照做吗?一项覆盖840轮回合制游戏的博弈测试给出了反直觉的答案:前沿大模型不会掉进坑里,反而会反手回击。
这项基准测试把对抗性坏建议直接塞进对局流程,观察模型在连续回合中的决策走向。结论指向一个被误读已久的现象——大模型面对误导性输入时,表现出的是战略韧性,而不是顺从。
打开网易新闻 查看精彩图片
小模型的"轻信"另有原因
测试中真正显得容易被带偏的,是规模较小的模型。但研究者指出,这种表面上的轻信并非判断力缺失,而是坐标偏置造成的假象——模型的行为偏移来自对坐标的固有倾向,而非真的接受了那条坏建议。
换句话说,把"听信坏建议"和"输出偏移"混为一谈,会得出错误的模型能力判断。前者是战略层面的失守,后者只是坐标层面的系统性偏差。
对做模型评测的人来说,这个区分很关键:用坏建议去测模型的鲁棒性,得先排除坐标偏置的干扰,否则测出来的可能只是模型对坐标的敏感度,而不是它会不会被忽悠。
热门跟贴