浏览器Agent看起来很能打,直到任务撞上登录页、多因素认证(MFA)、验证码,或者一个必须由人拍板的页面。最省事的做法是停掉整个运行、让用户从头再来;最危险的做法是让Agent继续握着控制权,用户在旁边输密码。
更合理的边界是:暂停自动化,把某一个浏览器界面的独占控制权交给用户,只保留恢复任务所需的状态,并且让"交还给Agent"这一步显式、范围收窄。目标不是让Agent替人登录,而是在只有人能完成下一步时,让这次交接可预期。
交接不是聊天里的"同意"
一次交接,本质是"谁有权操作某个浏览器会话"的短期变更:Agent暂停,用户在浏览器界面里完成交互,Agent随后从一个经过校验的检查点恢复。
它和聊天里的审批不是一回事。聊天审批表达的是"原则上我同意";浏览器交接表达的是"这个标签页、这个限定用途,现在由我控制"。适用场景包括:
- 登录、通行密钥、MFA、验证码、设备审批;
- 提交前审阅已预填的表单;
- 处理需要账户上下文才能判断的模糊选项;
- 完成支付,或接受法律、安全提示;
- 修正Agent无法安全推断的页面状态。
要把浏览器当成一种能力,而不是一个文本窗口。Agent能读到页面文字,仍可能搞错一个按钮的作用;用户能完成登录,也未必愿意让Agent接着提交下一张不可逆的表单。
只用一个布尔值暂停,等于没有交接
不少实现只用一个类似 waiting_for_user 的布尔值把Agent挂起,这丢掉了让恢复变安全的关键细节:锁的是哪个标签页?原计划执行什么操作?用户改过页面吗?会话过期了吗?最终动作还算数吗?
正确做法是把交接建模成状态机:运行中、请求交接、人工控制、等待恢复,再走向校验后恢复或过期、中止。同一时刻只能有一个角色持有控制租约。人持有租约期间,Agent不得点击、输入、读取新页面内容,也不得执行页面脚本——最后这条尤其重要,密码或MFA环节里跑一个Agent侧辅助脚本,会把本该私密的交接变成凭据泄露。
先定契约,再开浏览器
不要让Agent从任意页面文字里即兴发起交接。运行时应当拿到一份带类型的请求,供界面和策略层评估,字段至少覆盖:运行ID、标签页ID、交接类型(登录、MFA、验证码、审阅、支付、选择)、展示给人的原因、精确来源(不是子串匹配)、恢复意图(查看、继续草稿、审批后提交)、预期信号、过期时间、操作ID。
这份契约既给用户一句人话解释,也给运行时可执行的边界。针对 billing.example.com 的请求,不能悄悄变成 billing-example.com 上的交接;一次登录请求,也不该顺带授权最终付款。原因字段要用受限模板或经审阅的策略数据生成,绝不能把当前页面的原始指令当作安全敏感操作的理由展示——网页内容是不可信输入。
租约、回执与恢复校验
策略层接受请求后,由浏览器代理签发一次性租约,绑定运行、标签页、来源和预期动作,服务端留存记录,只把不透明令牌返回给界面。租约期内,该标签页上所有Agent浏览器工具调用一律拒绝——不要只是排队,排队的命令在用户于意外页面交还控制权时可能变得危险。后台浏览器进程若存在,其导航和自动化钩子也要一并暂停。
Agent需要的是"回执",不是密码。控制权转移前生成一份脱敏回执,记录操作ID、标签页、来源、路径、意图、下一个安全动作、被阻止的动作和时间;返回时再记一份,包含可信浏览器代码采集的最终来源、路由类别和明确的"用户已交还控制"事件。查询串、Cookie值、表单字段、一次性验证码、页面正文和截图默认都不进回执。
用户点"交还"时,代理不能立刻解除暂停,而要先把实际浏览器状态与契约比对:来源是否一致、认证状态是否为已认证、路径是否落在允许路由内、租约是否未过期、页面标记是否匹配。任何一项不符,就拒绝恢复并重新请求交接。登录成功只证明账户可访问,不证明后续每个动作都获批,破坏性或对外可见的提交要另设关卡。
测试用例应当覆盖:仿冒来源、过期租约、控制期间页面跳转、控制期间Agent工具调用、诱导上传文件的恶意页面、被重复使用的恢复令牌。每个用例记录策略决策与结果,但页面数据要脱敏。
小团队的落地清单
- 先只支持登录和MFA,来源走显式白名单;
- 人工控制必须独占且会过期;
- 恢复令牌用不透明的一次性令牌,服务端存储;
- 持久化脱敏的开始与返回回执;
- 最终提交要求一次新的审批;
- 补指标:交接率、过期率、恢复校验失败率、结果不确定率;
- 抽样复盘失败案例,用来改进任务策略,而不是多收集私密浏览器数据。
指标要保持粗粒度且隐私安全:计数、时长、结果类别、策略ID、脱敏来源标签,不要密码、表单值和私密页面内容。结果分为已恢复、已过期、已取消、校验失败、副作用未知,优先复盘最后一类——盲目重试和含糊的最终动作往往藏在那里。某个来源的交接量突然上升值得告警,它可能意味着站点改了登录流程、会话Cookie策略变了,或者有对抗性页面在把Agent往敏感界面引。
回到开头那两个问题:Agent不该看到密码或MFA验证码,用户应在浏览器正常界面里输入,Agent只拿到"已在允许来源完成认证"这类经过校验的脱敏结果;聊天确认也不足以恢复敏感流程,运行时需要限定范围的浏览器控制租约和经过校验的返回状态。租约时长取能用的最短窗口,登录或MFA通常几分钟,过期就重新交接,不要悄悄续期。
热门跟贴