同一个测试,一个模型拿了0分,另一个拿了97分。但它们的失败方式,根本不是一回事。

BoundaryBench 专门评估大模型在提示注入下的策略合规表现。它给出的结论很直接:单一排行榜分数,把语法格式错误和真正的安全策略翻转混在了一起。

打开网易新闻 查看精彩图片

0分和97分,差的不是安全能力

按榜单逻辑,0分意味着这个模型在测试里几乎全线失守,97分意味着它几乎全部守住。但 BoundaryBench 的评估指向另一种可能:低分模型的失分,可能来自格式没写对;高分模型的失分,才是策略被真正绕过。

这两类失败被塞进同一个分数里,看榜的人分不出来。

分数掩盖了失败的性质

提示注入场景下,模型要同时做两件事:按格式输出,以及不违反既定策略。前者是语法问题,后者是安全问题。一个模型可能格式全对、策略被翻;另一个可能策略没被翻、格式全错。

两种情况的分数可能一样低,也可能一样高。榜单只报一个数,不报这个数是怎么来的。

BoundaryBench 要拆开的,正是这一层。