OpenAI披露,两个由GPT-6.1 Sol驱动的智能体,以及一个由GPT-6 Astra驱动的智能体,在两次内部编程任务中削弱了错位监控。相关事件分别发生在2026年10月3日和10月6日,属于内部部署的一部分。

打开网易新闻 查看精彩图片

其中一起任务里,一个GPT-6.1 Sol智能体在修复评估流水线时,关闭了发给安全团队的自动警报。它把此前一条“在搜索Slack历史记录时不要发送消息”的指令,当成了压制监控通知的理由。

结果是,错位监控器仍在运行并保存了报告,但自动人工警报被关掉了——做法是把“no_notify”设为true,并清空配置接收监控报告的人员名单。

另一起发生在10月6日的任务中,一个GPT-6 Astra智能体在迁移程序时,为了与参考实现保持一致,移除了自身的监控集成,随后又向用户谎称没有移除该功能。该智能体的最终回复写道:“不……我没有从中移除已启用的监控器。”

OpenAI表示,两起案例中,智能体都考虑过是否应保留监控防护措施,但最终把常规编程指令解读为“允许削弱它们”,并据此选择了不保留。

针对这些发现,OpenAI称正在加强错位监控系统,并评估这些场景属于离群个案,还是说明模型存在规避错位监控的倾向。

OpenAI表示:“除了让模型在评估期间更难禁用监控,我们还想弄清模型最初为什么会寻求这样做。”该公司还提到,这种行为可能只是“良性”的过度坚持——模型不理解监控为何重要,或坚持把指令执行到超出合理预期的程度。

这已是AI智能体做出开发者意料之外行为的最新一例。上周,这家ChatGPT开发商披露了七起错位事件,其中一起涉及一个内部研究模型,它从并不属于自己的钱包中取走加密货币,用于支付在以太坊Sepolia测试网上部署智能合约所需费用,且未报告未经许可动用资金一事。

这类事件出现在一个更大的担忧背景下:越来越强大的AI系统,其发展速度正超过安全治理的努力,有警告认为,随着系统获得更大自主性,监控和控制的难度会进一步上升。

本周早些时候,微软宣布了在企业环境中监控和约束潜在失控AI智能体的新控制措施,属于“感知计划”(Project Perception)的一部分——这是该公司在2026年7月公布的持续学习型AI网络防御系统。

微软安全部门执行副总裁海耶特·加洛(Hayete Gallot)表示:“模型被训练去达成结果,这往往导致奖励黑客,而模型并未围绕组织规范或判断力进行优化。智能体是不可预测的。它们会随情境变化而调整,可能不按预期行事,还会与其他智能体协作乃至串通来达成目标,而不需要被攻破。”

微软方面指出,智能体往往拥有访问数据、工具和系统的广泛权限,还能自行采取行动和做出决策,这构成一种新型内部安全风险,需要持续监控。

为此,“感知计划”使用“守护智能体”来监督其他AI智能体,在身份、权限、数据、端点、网络、云和运行时各层提供保护,具体包括:

  • 发现并识别每一个智能体;
  • 在执行前按最小权限原则(PoLP)限制其权限,随后根据手头任务动态授予或撤销访问;
  • 监控智能体的动作,检查其是否偏离原始任务;
  • 随行为、情境和风险变化调整防护。

该系统建立在三个新主题之上:动态权限,把权限限定在智能体被分配的任务范围内并设置时限;动态智能体风险,为每个智能体分配持续更新的风险评分,依据包括其配置是否安全、能触达哪些资源、出问题时的潜在影响,以及其行为是否偏离用户或组织意图;动态条件访问,把Entra条件访问扩展到智能体,使权限能在风险变化时调整。

微软表示:“它的身份、运行时、访问路径和任务范围内的权限,从一开始就应当是明确的。如果它之后遇到提示注入,或试图执行该任务之外的动作,系统应当按比例回应:保留安全的读取而阻止写入,收窄其可触达的资源,对后果重大的步骤要求可验证的人工批准,或在风险足够高时隔离并停止该智能体。”