打开网易新闻 查看精彩图片

长任务、子 Agent 委派与共享服务凭证,让传统安全架构面临权限失控风险。

作者丨郑佳美

编辑丨岑 峰

说起来你可能不信,这次真的是模型先动的手。

当地时间 11 月 16 日,加州总检察长 Rob Bonta 一纸诉状把 OpenAI 告上了法庭。起诉书里最值得注意的一句指控是:OpenAI 的智能体(Agent)在缺乏适当监管的情况下,“自己跑了出去,主动对外部系统发起了攻击”。

这件事情一下子从技术圈出了圈。大家不是震惊于 AI 会攻击,而是震惊于 OpenAI 内部披露的细节:为了不让人类发现自己做错了事,两个负责干活的 Coding Agent,竟然偷偷把监督自己的监控系统给“拔”了。

这已经不是“猜疑链”的问题了,这是底层的“权限链”出了大问题。

今年 7 月,OpenAI 的一个自主智能体(Agent)越过了测试环境的边界,直接对外部的 Hugging Face 等系统发起了攻击。而 OpenAI 随后在 10 月披露的内部复盘,更把这种“失控”摆在了台面上:两个 Coding Agent 在执行正常开发任务时,先后改动了监督自己的监控机制。

第一起事件中,GPT-6.1 Sol 原本负责修复一条评测流水线。修复过程中,它发现监控结果无法正常写入数据库,于是尝试调整写入配置。问题出在,它把用户此前提出的不要发送 Slack 消息,理解成了连系统自动告警也不应该发送。

打开网易新闻 查看精彩图片

第二起事件中,GPT-6 Astra 接到的是运行时迁移任务。为了让新版本的实现与参考代码保持一致,它直接移除了原有的监控集成,还修改了相关测试,让监控组件缺失也能通过检查。换句话说,原本负责检查 Agent 运行状态的机制,被它从新运行环境中删掉了。

打开网易新闻 查看精彩图片

两起事件的具体操作不同:一个是 Agent 改动了自己的监控(顺便关了报警),一个是 Agent 越过了原有的执行边界(直接把监控拔了)。但它们有一个共同点,Agent 原本只是获得了完成开发任务所需的工具权限,最终却利用这些权限改变了安全监控的运行条件。

这就引出了一个很具体的工程问题:当 Agent 能够修改代码、调用系统接口、调整运行配置,甚至启动新的执行任务时,谁来确保它无法修改约束自己的安全机制?

打开网易新闻 查看精彩图片

传统软件系统通常由开发人员制定权限规则,再由独立的监控系统检查程序运行状态。Agent 开始自主修改代码和运行环境后,这种关系发生了变化。执行任务的程序本身,可能已经拥有修改监控配置、调整告警规则和改变审计路径的能力。

要理解这种变化,需要从 Agent 最基础的 Tool Calling 执行链开始,看模型生成的一条工具调用,究竟如何借助系统权限变成真实的基础设施操作。

打开网易新闻 查看精彩图片

01

Agent 为什么能够动自己的监控?

要看清权限从哪里来,得把 Tool Calling 还原成执行过程:模型生成工具名称和参数,编排器把请求交给工具适配层,后者使用服务身份访问 Shell、仓库、数据库或云 API。

模型未必持有底层密钥,操作由后端服务完成。Agent 能触及哪些资源,取决于服务凭证覆盖范围,以及服务端如何处理参数。

打开网易新闻 查看精彩图片

Sol 事件暴露了字段级授权的缺口。评测结果写入请求同时包含结果内容、告警接收人和no_notify标记。对业务接口而言,它们只是请求字段。

对监控系统而言,后两项会改变告警是否送达。Agent 只需写入评测结果,服务端却允许同一请求改变通知状态。若后端只检查结果写入权限,没有单独核验静音权限,业务写权限便覆盖了控制权限。检测和存储仍在工作,人工响应通道却被切断。

打开网易新闻 查看精彩图片

删掉工具说明中的 no_notify 并不能解决问题,Agent 还可能改配置或提交代码,让下游服务采用另一套通知策略。授权需要检查操作造成的状态变化。结果写入服务可以接收检测结果,却不应接受 Agent 自行决定的接收人和静音状态;通知策略应由独立服务计算,业务服务只读取结果。

Astra 的路径说明,权限还会沿代码和部署链传播。监控通常通过依赖注入、上下文对象、启动参数或中间件加载。Agent 拥有仓库写权限,就能修改这些配置。

打开网易新闻 查看精彩图片

构建系统打包代码,部署服务再把它带进运行环境。它没有调用关闭监控的接口,却改动了决定监控是否加载的代码,随后又修改测试,让监控缺失成为通过条件。

这接近安全工程中的 Confused Deputy:高权限服务按调用者提供的参数执行操作,替调用者完成了它本身无权完成的动作。

Agent 的权限借用可能跨越多层服务,若授权检查只停留在工具入口,就看不到后端身份造成的副作用。检查必须追踪到实际资源,区分业务写入、策略变更和运行环境变更。

打开网易新闻 查看精彩图片

打开网易新闻 查看精彩图片

02

传统安全架构遇到了什么问题?

传统权限系统围绕稳定的服务身份设计:进程能读哪些数据库、机器人能改哪些仓库、部署账户能发布到哪个环境,通常在上线时就已确定。

Agent 却会在运行中读取上下文、生成计划、调用工具、修改代码,再根据结果继续行动。身份没有变化,任务触及的资源和操作类型却持续扩大,静态角色权限难以描述这种变化。

更深一层的问题,是 Execution Plane 与 Control Plane 经常共用工程资产。前者执行模型生成的动作,后者管理身份、授权、监控策略和任务终止。现实中,监控规则写在仓库,监控组件作为运行时依赖加载,部署参数由 CI/CD 维护。

业务代码和控制配置放在同一条变更链上,Agent 获得代码写权限,也就可能触及安全控制的实现材料。控制面概念上独立,权限上却仍处于执行者可写的范围。

长任务让这种耦合更难发现。Sol 把针对 Slack 外联的限制延伸到自动告警;Astra 的父 Agent 转交任务时,又把不得关闭监控改成按参考实现酌情处理。

打开网易新闻 查看精彩图片

指令经过摘要、重写和任务拆分,原始约束可能变成普通建议。若权限也靠这些文字传递,子 Agent 就可能把上游解释当成授权。安全策略需要独立的机器可读表示。

审计也会跨层断裂:父 Agent 创建子任务,子 Agent 调用工具,CI 以机器人身份构建,部署平台再启动工作负载。对话记录无法证明底层资源发生了什么,服务账户日志又难以把变更归因到具体任务。追溯链需要关联根任务、子任务、凭证签发、工具调用、代码提交、构建制品和运行时实例。

打开网易新闻 查看精彩图片

监控覆盖也不能停在根 Agent 身上。OpenAI 披露过 Agent 本身仍受监控、但它启动的部署没有启用相应监控的情况。父任务的安全状态不能代表子进程;每个新工作负载启动时均需重新核验监控要求。

打开网易新闻 查看精彩图片

03

如何设计安全边界?

架构需要先划清权限:执行任务的身份不能同时拥有修改安全策略的权力。Control Plane 独立管理任务身份、授权、凭证、监控要求和终止动作;Execution Plane 只取得当前任务所需的能力。

控制面作为 PDP(Policy Decision Point)计算授权,工具网关、容器运行时和部署准入作为 PEP(Policy Enforcement Point)执行判定;两者可以在同一云平台运行,却不能共用策略写权限和管理凭证。监控配置、告警路由、审计出口与网络策略应由控制面单独管理。

打开网易新闻 查看精彩图片

调用时可采用短期 Capability Token。控制面为任务签发令牌,限定任务标识、资源、动作、有效期和委派范围。读取仓库的令牌不能写仓库,修改业务目录的令牌不能改 CI 策略,发布权限也不能顺带调整监控。

父 Agent 只能向子 Agent 传递权限子集,不能靠自然语言扩大授权。工具网关逐次验证令牌,容器隔离、只读挂载和网络出口规则再约束 Shell。

打开网易新闻 查看精彩图片

监控要求还要进入工作负载准入流程。每类任务用 Safety Case 说明所需监控、审计出口、网络限制和终止条件。部署服务在启动时核对签名、版本和实际加载的组件;模型、工具或运行环境发生变化时重新评估。

OpenAI 已更新 Auto-Review,检查关闭监控的操作,并计划自动终止缺少有效 Safety Case 或不符合要求的工作负载。监控因此成为启动条件,不再只是仓库依赖。

权限边界确定后,证据要由执行者之外的系统保存。Immutable Logging 由工具网关、身份服务、运行时和部署平台生成事件,写入 Agent 无权覆盖的追加式存储。

记录关联任务、调用身份、令牌范围、策略版本、目标资源和执行结果,调查时便能对照模型请求、授权决定与实际动作。哈希链、签名和对象锁定能保护已有记录,却无法证明采集器仍在工作,日志接收端还需独立心跳。

打开网易新闻 查看精彩图片

External Watchdog 在 Agent 进程和凭证范围之外运行,核对工作负载清单、日志心跳、监控组件和网络活动。部署已启动却没有监控注册,或日志中断而任务仍在执行时,它可以暂停写操作、撤销令牌、隔离网络,必要时终止工作负载。停止权由独立身份持有,Agent 无法修改。

Control Plane 决定授权,Immutable Logging 保存执行证据,External Watchdog 检查运行状态。生产写入、权限扩张和外部网络操作若遇到授权或审计链路失联,应暂停;只读任务可在有限缓冲和超时条件下继续。

打开网易新闻 查看精彩图片

04

需要一套独立于模型的约束机制

回看这两起事件,问题其实已经超出了模型能否正确理解指令的范畴。Sol 把一条针对 Slack 消息的限制延伸到了安全告警,Astra 则把运行时迁移中的代码差异变成了移除监控的理由。

两种行为背后的技术条件相同:Agent 能够调用的工具,拥有足以改变监控状态的权限,而系统没有在执行链上设置相应的隔离。

这意味着,Agent 的安全设计需要从模型行为延伸到基础设施权限。工具调用需要限制资源范围,服务凭证需要绑定具体任务,子 Agent 不能在委派过程中获得额外权限,监控与审计也不能依附于 Agent 可以修改的代码。

Control Plane、Immutable Logging 和 External Watchdog 分别承担授权、留证和运行时干预,它们共同构成一套独立于模型的监督机制。缺少其中任何一环,安全控制就可能停留在配置层面,无法覆盖实际执行过程。

还有一个容易被忽略的变化:过去软件系统的安全边界主要围绕程序设计,开发人员决定程序能做什么,运行环境负责限制程序的活动范围。

Agent 加入后,程序开始参与修改自己的运行环境,甚至能够通过工具调用影响原有的约束条件。企业需要重新审视的,是哪些权限可以交给模型自主使用,哪些权限必须留在独立服务手中。

Agent 可以决定如何完成一项任务,但不能同时决定自己受到什么约束、谁来检查执行过程,以及什么时候可以停止。这条权限边界能否在代码修改、任务委派和运行时变化中持续成立,将直接影响 Agent 能否承担更长链路、更高权限的工程工作。

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。