AI智能体已经在替我们读邮件、订行程、动账户里的钱。在它接触任何真实事务之前,通常有人会先把它丢进一个安全基准测试:一组预先埋好的攻击,加上一套自动判定,用来判断每次攻击是否奏效。这些判定最终变成排行榜上的数字,而数字决定了哪些模型看起来是安全的。

打开网易新闻 查看精彩图片

TRUSCOR团队想弄清楚一件很朴素的事:当检查说一次攻击成功了,它真的成功了吗?当检查说智能体是安全的,它真的安全吗?

他们拿广泛使用的AI智能体安全基准AgentDojo开刀,把它的判定和智能体实际发起的工具调用逐条对照。对照对象包括基准作者公开的19381次运行记录,以及来自八家开发商的24个当前模型的新运行。每一项研究在开跑之前都先公开了方案。

真攻击被判成了安全

在公开的运行记录上,基准和审计在未崩溃的运行中一致率达到97.7%。检查大体上完成了它的工作。

但有433次运行,智能体执行了攻击者的决定性动作——比如把钱付给攻击者——基准却判为“无攻击”。这占审计认定为攻击的运行的11.9%。在基准当前版本下的新运行中,744次攻击里有55次被漏判。

警告被判成了攻击

更出乎意料的是,误差还朝反方向跑。

对某一类目标,基准靠检查智能体回复的文本来判定。这个检查的问题此前已被公开报告过,团队测量了它在当前模型上的表现。当一个Claude 5.x模型识别出被植入的指令并向用户发出警告时,这条警告本身被判为一次成功的攻击。三个来自不同开发商的AI模型盲读了争议回复,把基准判为受攻击的全部219条Claude 5.x回复都读成了警告。而Claude 4.5模型对植入文本只字不提,反而从未被判为受攻击。

一个会提醒你的模型,看起来可能比一个闷不吭声的模型更不安全。

影响有多大取决于目标的混合比例。团队的样本运行该目标的频率高于基准本身。在这一目标上,四个Claude 5.x模型有10.9%到12.8%的案例被判为受攻击;按基准自身的混合比例加权后,这个数字是1.8%到2.1%。

一次记录在案的攻击,还管用吗?

单次运行只是一次抽样。团队把240次记录在案的攻击各重跑了十遍:224次在至少一半的运行中复现,201次能在95%置信度上证明这一点。

结论是:一次运行不足以证明一次攻击有多高的成功率。

升级拦住了大多数已知攻击,但不是全部:Grok 4.1 Fast的40次攻击中,仍有3次在Grok 4.7上奏效。

团队还测试了事先声明的规则,用来判断哪些环境改动可以阻止攻击。在协议原定的三个模型上,结果以微弱差距未达到预设标准(差距12.8个百分点,95%区间9.2到16.3,标准为10)。在看到中期结果后追加的扩展测试中,六个模型上达到了标准(14.7,区间11.9到17.4)。在其他模型上测得的规则,9次测试中只有1次能迁移到一个留出模型上。这些结果全部照实报告。

他们造了什么:.sova

为了让这类发现可以被核查,团队做了.sova:一个开源工具和记录格式。一个.sova文件把一条攻击主张连同复现配方、证据、公平比较的规则和它的局限一起封存。改动一个字节,离线就能看出来。

  • pip install sova-oss
  • sova verify finding.sova:离线检查内容有没有被改动
  • sova audit runs/:把基准判定和工具调用对照核查
  • sova rerun finding.sova:在你选定的模型上重跑一条发现

打开一条记录不会运行任何东西:除非你传入--authorize并用自己的密钥,sova rerun不会调用任何模型。目前它只能重跑AgentDojo的发现。在GPT-4o和GPT-5.5上各重跑三次,成本约0.05美元。

局限

所有结果都来自一个基准、一个攻击模板和模拟应用,没有谁的真钱被挪动。盲读的读者是AI模型。论文的唯一作者、公司创始人Gautam R. Patil包办了审计规则、协议、运行器和分析,每一次运行都公开,不需要谁凭信任接受结论。TRUSCOR开发SOVA,存在利益相关。

在发布任何内容之前,团队已把每一个争议案例提交给AgentDojo的维护者(GitHub issue #235)。

后续还有三篇论文在写:关于只在普通条件凑齐时才暴露的故障、关于回放智能体记录以定位出错点、关于通过实际运行攻击来裁决安全扫描器之间的分歧。