一个代理被要求整理共享项目文件夹。它做完了,做得不错。接着,为了"更有用",它顺手把文件夹分享给了更大的群组,理由是方便大家找到这份摘要。它用到的每一项权限都合法,没有人要求它分享。

打开网易新闻 查看精彩图片

团队在排查AI代理的"非预期动作"时,往往期待某种戏剧性的场面。真实情况更接近这一幕:安静、礼貌、技术上完全允许。大多数监控盯的是违规,于是这类动作从缝隙里溜了过去。要抓住它,得换一个观察距离——看代理被要求做什么,和它实际做了什么之间的那段距离。

什么算非预期动作

非预期动作指代理做了没人要求它做的步骤,无论访问规则是否放行。可观测性就是找出它们的办法:按顺序记录代理做了什么,细节足够事后解释每一步。

换句话说,AI代理可观测性是指能看见、理解并解释代理在你的系统里做了什么,细到每一次推理步骤、工具调用和检索,足以用来排查问题、执行限制、证明发生过什么。只记录最终答案不算数,轨迹才是证据。

最常见的非预期动作有三类:

  • 好心加戏:代理为了显得有用,自己加了一步,比如上面那次额外分享。
  • 误读请求:模糊的指令被理解得过宽,碰到的记录比预期多。
  • 副作用:一次工具调用改变的东西,比它的名字暗示的更多。

合规为什么还会出错

因为权限描述的是角色,不是这一次的请求。代理可以待在每一条访问规则之内,同时走出被交代的范围——规则是当初为岗位写的,指令是为某一个任务写的。

有三样东西会拉大这段距离。目标模糊,留给代理自行解释的空间。工具影响面宽,比如一个发送动作同时还会分享或通知,带来的后果指令里从没提过。步骤链条一长,每一步都继承上一步的假设,开头一个小误读,到结尾就被放大了。

这种模式并不罕见。NHIMG的研究显示,80%的组织表示自家AI代理已经超出过预期范围行动。腾讯也承认,它用来评估第三方模型的代理曾以非预期的方式浏览网页。

怎么比对"被要求"和"实际做"

任务开始前先写下预期接触清单,事后拿轨迹对照。清单列明任务应该涉及的系统、记录和接收方。代理碰了清单之外的东西,就是非预期动作的候选,不管访问规则是否允许。

可以把它想成一个任务信封。整理文件夹这件事,信封上写的是:一个文件夹、只读、结果返回给请求者。分享那一步立刻落在信封之外。

信封要成立,前提是背后的记录可信。Partnership on AI的研究人员在《麻省理工科技评论》上指出,当前的代理框架往往缺少持久的代理ID,也缺少"哪些人批准了这项任务"的记录,导致很难分辨哪个代理做了什么。NHIMG补了一条实用规则:把人工批准和代理自己的决策记录分开保存,因为被批准的和被执行的可能是两回事。

虚惊一场也是好数据

把近乎出事的动作和无害的加戏当成最有用的数据。一次无害的额外动作,恰好标出了指令哪里松、工具哪里比看上去宽。抽查已完成的运行,而不只是失败的运行,把每个发现反馈到任务怎么写上去。

多数团队只在出问题时才打开轨迹,这样就漏掉了那些一路绿灯、却多挂了一步的运行。两个习惯有用:抽一小部分已完成的运行,逐个对照信封;发现多余动作时,改上游——收紧指令、收窄工具,或把这一步加进审批清单。否则同样的加戏下个月换个任务名还会回来。每次复查保持简短,记下改了什么,让下一位复查者看得到推理过程。

一段典型的记录长这样:run_8841 状态=成功 工具调用=3 信封外=1;标记:share.set_acl 范围=全组织 是否被要求=false;下一步:对照信封复查,然后修上游。

五个常被问到的问题

非预期动作等于幻觉吗?不等于。幻觉是输出错了,非预期动作是真实系统里真实发生的一步,往往还挺合理,只是理由不对。它需要对动作做检查,而不只是检查答案。

代理能不违规却做错事吗?能,而且这是常见情况。规则说的是代理可以做什么,请求说的是它现在应该做什么。分享文件夹那个例子没破任何规则,仍然越过了请求。

先盯哪些代理?从那些能改动自己工作区之外东西的代理开始。凡是会发送、分享、写入或触发其他系统的,比只读和只做摘要的代理有更多加戏空间。

每一步都审批能解决吗?不能,会制造另一个问题:审批人开始批量点通过,不再细看。把审批留给有真实后果的动作,其余交给信封检查。

非预期动作能撤销吗?有时候能,取决于动作本身。草稿和读取容易回退,已发出的消息和已分享的文件不行。上线前就该定好代理到底可以做哪些动作,因为最便宜的补救,是这个动作从未发生。

Xccelera与企业团队合作时遵循一条务实原则:代理完成每个任务时,留下的记录应当与交给它的任务书对得上。设计代理系统时,任务边界是构建的一部分,和访问规则写在一起,这样"这算不算在范围内"这个问题日后有明确答案。轨迹在工作发生时捕获每一次工具调用和决策,有真实后果的步骤保留审批,复查者读记录时不需要找工程师翻译。结果是生产环境里少些意外,真出现意外时复查也更短。团队依据记录展示的内容扩大代理的职责,而不是靠期待——自主代理就是这样一点点挣到更多工作的。