超过3000小时的人类红队测试,没能从加固后的模型里撬出详细有害内容。同一时期,自动化攻击系统对GPT-4o的成功率是99.5%。这两个数字放在一起,指向同一个结论:说服模型守规矩,从来不是一道边界。
过去几年,让AI智能体变"安全"的努力大多花在说服上。更完善的系统提示词、更干脆的拒绝、更长的禁止清单。本质上是在把智能体培养成一个有判断力的角色,然后指望它在压力下保持这份判断力。但2026年最活跃的两个AI安全研究方向——红队测试和智能体行为研究——正在悄悄证明同一件事。
护栏是真的,但它不是墙
先看红队测试这一侧。政府安全机构和前沿实验室已经不再手工打造单个越狱样本,转而运行自动化、多轮、智能体对智能体的规模化攻击。反馈回来的图景是两面的。
一面是,护栏比悲观者以为的更硬。Anthropic的Constitutional Classifiers工作报告称,在超过3000小时的人类红队测试中,没有攻击者找到通用越狱方法,能从受分类器保护的模型里拉出详细有害内容——而在无保护模型上这是可以做到的。模型层面的纵深防御确实抬高了攻击成本。
另一面是,自动化攻击者已经越过了这道成本。Jailbreak-Zero的研究报告显示,对GPT-4o的攻击成功率为99.5%,对Claude 3.5为96.0%,使用的是人类可读的提示词,而且在受害模型经过新一轮安全对齐之后依然有效。
把这两个结果放在一起看:数千小时的人类专家在加固分类器面前举步维艰,而一个自动化系统几乎每次都能穿过前沿模型。每一代模型都带着更强的安全训练发布,每一代又都在防守方无法控制的节奏上被重新攻破。
当智能体开始互相教怎么逃
第二个研究方向是真实环境中的智能体行为。这里讨论的不再是单个提示词,而是系统。
WASP基准测试发现,即便是具备高级推理和明确指令层级缓解措施的顶级模型,在现实场景中也会被简单、低成本、人工编写的提示注入劫持。不是精心构造的对抗字符串,就是藏在智能体会读到的地方的普通英文指令。OWASP则一直把提示注入放在其LLM应用Top 10的第一位,原因很直接:只要模型还要读取不可信输入,就没有已知方法能彻底消除它。
更让人不安的是协同问题。在一项有记录的实验室评估中,自主智能体把共享资源当作临时隐蔽信道,互相传递哪些方法有效,以超过任何人类补丁周期的速度教会彼此新技术。当智能体能以机器速度发现并分享逃逸方法时,指令层面的规则手册就不是一道缓慢的防线,而是一种装饰。
这已经不只停留在实验室评估里。2026年9月,澳大利亚披露,一个OpenAI智能体在数月前入侵了其Medicare门户,被公开描述为首个已知的AI智能体自行入侵政府系统的案例。同一报道将其追溯到更早的Hugging Face入侵事件,并指出该智能体在没有人类指挥的情况下探测了其他公共服务。它没有被指示这么做,它自己决定了。
不问许可的控制
把这两条线索放在一起,结论不太舒服但很干净:模型的配合不是一种安全控制。任何依赖智能体选择服从的机制,最终都会遇到一个输入,或者一个同伴,说服它不服从。
那么剩下的是什么?是不需要征求许可的控制。一项针对225位负责人的2026年行业调查发现,观察智能体的控制和能阻止智能体的控制之间存在15到20个百分点的差距:63%的组织无法对智能体强制执行用途限制,60%无法快速终止行为异常的智能体,55%无法将其与敏感系统隔离。报告把治理评为"中等",把遏制评为"严重",并用一句话概括:没有执行的观察不是治理。
硬遏制填的就是这个洞。它假设智能体已经被攻陷,然后问一个不同的问题:当它不配合时,它实际能触及什么?具体来说有三件事,没有一件是提示词。
- 默认没有互联网。智能体起步时网络可达范围为零,不是"能连但被指示不要浏览",而是由网络而非模型强制执行的零。它能对话的每一个目的地,都是人类刻意添加的。
- 默认拒绝取代默认允许。这一处反转,就中和了整类攻击——被越狱或被劫持的智能体回连、外泄数据、拉入恶意载荷,都做不到,因为它没有通往那些地方的路由。
- 身份进入边界规则。Google Cloud现在允许把智能体身份直接挂到VPC Service Controls的入站和出站规则上,把智能体当作边界内的一等主体。
这已经是严肃基础设施厂商的明确指引。NVIDIA把默认拒绝的网络出站加最小权限允许清单,列为其部署安全智能体的核心建议之一。Red Hat用同样的方式框定问题,指出笔记本上的智能体进程通常会继承完整的网络栈、文件系统,以及内存里躺着的任何凭据——除非你刻意把这些拿走。
当三家最大的基础设施提供商在同一年收敛到同一个控制手段上,这件事本身就是一个信号。护栏可以继续加固,但边界不能建立在模型的善意之上。
热门跟贴