OpenAI训练了一个专门攻击AI的模型，只为让GPT更安全|gpt|openai|克里斯|大语言模型|智能体

近日，OpenAI 训练了一个名为GPT-Red的大语言模型，但它的任务并不是帮助用户完成工作，而是攻击 OpenAI 自己的模型，将其作为其他模型的“陪练”：让它不断尝试寻找漏洞、发动攻击，从而帮助模型提升抵御网络攻击的能力。比如，上周刚刚发布的旗舰模型 GPT-5.6，就是 GPT-Red 的训练成果，OpenAI 声称 GPT-5.6 是他们迄今最稳健的模型。

GPT-Red 自动完成的是 AI 安全领域的一项经典工作——“红队测试”（red teaming）。过去，这项工作主要依赖人工安全研究员，他们会尽可能尝试攻破或劫持系统，寻找各种潜在漏洞，再由开发团队在正式发布前完成修复。

随着大语言模型和应用场景的迭代升级，特别是当 AI 智能体开始访问文件、浏览网页、调用第三方代码，甚至与其他智能体协作之后，完全依赖人工测试已经越来越难覆盖所有可能出现的攻击方式。

“攻击面在不断扩大，潜在影响范围也在扩大。”GPT-Red 联合开发者、OpenAI 研究科学家尼基尔·坎德帕尔（Nikhil Kandpal）说。

在 OpenAI 看来，GPT-Red 的意义在于让安全测试能够适应未来的发展。另一位联合开发者、OpenAI 研究科学家迪伦·亨恩（Dylan Hunn）说，“随着能力更强的模型不断出现，我们希望提前建立一套能够发现新型攻击方式的系统。”同时，OpenAI 的研究团队宣称，GPT-Red 已经发现了一些此前从未见过的新型攻击方式。

目前，OpenAI 重点研究的是一种名为“提示注入”（prompt injection）的攻击：攻击者会将恶意指令隐藏在模型能够读取的内容中，例如网页、代码或其他文本，使模型在不知情的情况下执行开发者或用户并不希望发生的操作，例如泄露敏感信息、破坏代码库，或生成有害内容。

在对抗中学会攻击

GPT-Red 并不是一开始就具备攻击能力。研究人员选择了一个没有接受过黑客相关训练的大语言模型，并让它与多个负责防御的模型进入“自我对弈”（self-play）的训练循环。而 GPT-Red 的目标是不断寻找攻击方法，而其他模型则尝试抵御这些攻击。

在一轮又一轮的对抗中，GPT-Red 的攻击能力不断提升，而防守模型也逐渐学会识别并化解新的攻击方式。整个训练都在 OpenAI 搭建的模拟环境中进行。这个环境尽可能复现了大语言模型在现实世界中的典型工作场景，包括浏览网页、处理电子邮件、管理日历以及编辑代码。每当 GPT-Red 发现一种新的攻击方式，它都会进一步探索这种攻击的不同变体，并针对不同场景寻找最有效的方法。

“相比人工红队，模型特别擅长判断什么方法真正有效，以及哪种攻击成功率最高。”亨恩说，“一旦发现一种可行的攻击，它就会持续深入探索，不断优化这种攻击方式。”

其中，最令研究团队意外的是一种此前未曾发现过的提示注入方式，他们将其称为“伪造思维链（fake chain of thought）”。思维链是指大语言模型在推理过程中记录中间步骤的一种内部工作记录。GPT-Red 找到了一种方法，可以向另一个模型的思维链中插入一条伪造的信息，使模型误以为这是自己此前已经完成的推理结果，并据此继续执行后续任务。

“就像有人告诉你‘1+1=3，而且这是你自己已经验证过的结果’。”参与研究的 OpenAI 科学家克里斯·肖凯特-周（Chris Choquette-Choo）解释说，“模型会认为：‘既然这是我已经确认过的，那应该没问题。’于是就会直接输出 3。”

乔治城大学安全与新兴技术中心（CSET）高级研究分析师杰西卡·季（Jessica Ji）认为，OpenAI 采用的这种自我对弈训练方式非常合理，“目前看到的结果很有前景。”

为了评估 GPT-Red 的攻击能力，OpenAI 重新进行了 2025 年的一项实验。当时，人工红队曾尝试寻找早期 GPT-5 的漏洞；这一次，研究人员将同样的任务交给 GPT-Red。结果显示，GPT-Red 找到的有效攻击方式比人工红队更多。

OpenAI 还用 GPT-Red 测试了 Andon Labs 开发的智能体Vendy。Vendy 是一个自动售货机智能体，用于评估 AI 在现实任务中的表现。测试过程中，GPT-Red 成功诱导 Vendy 修改商品价格，并取消了一位用户的订单。