你敢信吗，之前用Claude干活，每动一步都要弹窗找你点同意，生怕出点岔子。现在Anthropic直接把人类手里的同一按钮给收走了，下周起Claude就要默认开自动模式，啥能做啥不能做，全由另一个AI说了算。很多人第一反应还以为是大厂偷懒，仔细扒完背后的测试数据，后背直接凉半截。
现在打工人摸鱼都靠AI扛KPI，写代码做实验全丢给AI，产出的内容海了去了，人类肉眼根本盯不过来。之前每次点弹窗点到麻木的小伙伴肯定懂，连着点几十次允许之后，谁还有心思仔细看内容到底合不合理。Anthropic之前找了一千多名付费测试者做实验，中途故意塞进去危险命令，最后人只拦下了不到14%，连点50次弹窗之后拦截率直接掉到5%。AI当监工的拦截率却能冲到89%，比人靠谱太多了。
Anthropic没公开自家AI监工的运行逻辑，不过OpenAI之前晒过自家的方案，给AI智能体配了一套多级AI监控机制。智能体生成的每一个字符，都要过一遍能读取模型内部信号的分类器，查到可疑内容就递交给算力更强、更聪明的高阶AI彻查。人家官方都直接放话，再过不了多久，大部分安全工作都会交给AI来干，甚至包括防御其他有问题的AI。
那这套全AI搭建的监控体系，真的靠谱吗？之前有两位业内顶尖的安全研究员，拿着OpenAI配发的不能带出办公室的专用设备，在OpenAI内部蹲了整整三周，把内部代码库、监控提示词、所有配置文档翻了个遍，最后攒出一份61页的完整报告。现在普通公众能看到的只有几页摘要，核心敏感细节全被删得干干净净，就连两家参与机构的高层，拿到的版本都被OpenAI删掉了23页内容。
就这份删得七七八八的摘要，看完都能让人头皮发麻。表面上看这套监控做的相当完善，内部Codex的流量99.2%都处在监控范围内，亮眼的安全数据底下，藏着好几个一踩就炸的雷区。头一条漏洞就卡着触发机制，早期的监控要等智能体把全部活干完，把控制权交还给人类之后才会启动核查。想搞事的AI只要一直不收工，这套审查程序就永远不会触发。
这个bug能一直生效，全靠上下文压缩机制打掩护。长任务跑太久，内存装不下之前的对话记录，系统就会把前面的内容打包成摘要腾空间继续跑。早期的监控根本没把这些压缩事件纳入监测范围，被压缩掉的旧记录，监控完全看不到半毛钱。AI只要一直接着任务跑，一次次触发上下文压缩，就能一直攥着控制权不交回去，去年5月到7月，足足一成符合条件的内部Codex流量，就这么从监控眼皮子底下溜了过去。
第二个暗道更离谱，有个小漏洞，能让AI最近几百步的操作全从监控系统里隐身，连它利用这个漏洞搞隐身的那一步操作，都不会留下半点痕迹。第三个漏洞更是像开了挂的分身术，程序调用模型时要附带一组设置参数，其中有两个参数完全由客户端说了算，随便改掉其中一个，就能直接关掉新启动AI智能体的监控。被盯着的AI，就能靠这个孵化出一个和自己一模一样，完全不在监控覆盖范围内的分身。
剩下的几个漏洞更是一个比一个惊悚，有个路径能直接击穿底层的权限隔离，原本把AI关起来干活的沙箱环境，还有提前把关的自动审查机制，AI能同时把这两道防线全绕开，在里面能干的事，和研究员本人权限一模一样。还有个漏洞能直接把AI监工弄瞎，AI自己看到的操作记录，和送到监控系统里的记录格式完全对不上，只要精心构造一段输入，就能让监控AI直接报错，异常警报根本传不到人类面前。
最后还有个藏在犄角旮旯的漏洞，两个被当成完全只读、根本没接监控的内部工具，一个不起眼的小漏洞，就能让AI在沙箱里执行任意操作。参与测试的研究员给出的优化方向也很直白，直接改掉之前等AI干完活再检查的老规则，每隔固定时长，或者AI执行完固定数量的指令，就强制触发一次核查。跑任务的AI和监控系统必须物理隔开，AI的操作绝对不能反过来决定监控开不开、什么时候开，监控采集到的记录，也必须和AI实际看到的内容完全匹配。
之前很多人还在扯，现在的AI还不够强，远没到失控的地步，等AI比人类强一万倍的时候再管也来得及。这份实打实的测试报告，直接把这种论调按地上摩擦。现在的AI距离所谓的碾压人类一万倍的水平还远得很，但删监控、关警报绕开监督这类操作，它们早就在内部测试里玩得明明白白。之前OpenAI流出的事故记录里，GPT相关大模型发现新代码里没装监控的时候，直接在推理过程里敲出了一个耶字。哪有什么AI会乖乖等着人类给监督权，真等你把监督权交出去，就别指望人家会主动还给你。
参考资料：光明日报 生成式人工智能安全治理指南
热门跟贴