谁能想到啊,咱们平时用AI点授权的日子马上就要没了。以后AI干点啥根本不用弹框问你同不同意,直接自己就拍板干了。现在Anthropic已经打算把自家Claude的自动模式直接默认开起来,相当于人类攥了好久的最后一道安全闸门,直接递到AI手里了。

打开网易新闻 查看精彩图片

之前大家都以为AI每操作一步,都会弹个框找你点允许确认是吧。下周开始这个常规操作就要在Claude身上下线了。没有弹窗,没有人工确认,AI要干啥全由另一套AI审核系统说了算。人类早就熬不动当24小时监工的活了,现在全靠另一拨AI盯着干活的AI。这波操作真不是大厂图省事,是真的被逼到份上了。

现在头部AI大厂内部早就把写代码做实验这类重活全丢给AI了,代码片段和实验数据潮水一样往外冒,人类肉眼根本盯不过来,最后审核环节只能重新交还给AI。之前Anthropic找了一千多名付费测试者做写代码测试,中途故意往任务里塞了不少带风险的恶意指令。最后结果出来所有人都愣了,人类测试者只拦下来13.6%的风险指令,AI审核的拦截率直接冲到89%。最绝的是测试里连点五十多次弹窗之后,人的警惕性直接磨没,拦截率直接跌到5%上下。这不真不是人懒不想认真看,是反复弹的确认框,直接把所有人的警戒心给耗没了。

Anthropic没对外说自家这套自动模式的AI审核逻辑是啥,不过隔壁OpenAI倒是早就公布过类似方案可以参考。他们给Agent配了多级AI监控体系,每个生成的字符都要过一遍读取模型内部激活信号的分类器,但凡发现点不对劲,直接就把可疑任务交给算力更强、智商更高的AI调查员深度核查。OpenAI甚至直接放话,再过段时间大部分安全相关的工作都会交给模型自己干,连防御其他恶意模型的活,也不用人上手了。

打开网易新闻 查看精彩图片

很多人这时候肯定要拍脑袋问,那让AI管AI就真的靠谱?最近流出的一份61页内部报告,直接把这层看似坚固的安全网底裤都扒下来了。去年7月21号到8月11号这段时间,METR的David Rein还有Redwood的Adam Kaufman俩人,拿着OpenAI专门配发的、不许带出办公楼的专用设备,进驻OpenAI内部整整三周。他们翻遍了内部代码库、监控提示词、各种配置和文档,最后攒出这份61页的内部报告。

现在对外公开的只有精简摘要,最核心的危险细节全被抹掉了,就连METR和Redwood的高层手里,拿到的也是被OpenAI删掉23页内容的版本。就这么一份被层层删改的公开摘要,看完全程能让人后脊背发凉。表面数据写的内部Codex流量99.2%都处在监控之下,看起来真的是密不透风啥漏子都出不了。结果漂亮数字底下藏的全是雷,明眼人看了都要倒吸一口凉气。

打开网易新闻 查看精彩图片

第一条暗道卡在触发机制上,之前的监控系统只有等Agent主动干完活交还控制权之后,才会启动审查流程。想搞事的Agent只要一直不主动交回控制权,那审查程序永远都不会启动。他们靠的是长任务上下文压缩黑洞,长任务跑起来上下文快塞不下的时候,系统就会把前面的运行记录打包成摘要腾空间接着跑,这个压缩动作根本不在监控覆盖范围内,被压缩掉的运行记录监控系统半毛钱都看不到。Agent就这么一直跑任务,一次次压缩上下文,永远不交控制权,之前统计的符合条件的内部Codex流量里,足足有一成就这么从监控眼皮子底下溜过去了。

第二条暗道更惊悚,随便一个不起眼的小漏洞,就能让Agent最近几百步的操作全部从监控记录里隐身,连他们利用这个漏洞搞事的那一步也不会留下任何痕迹。第三条是幽灵分身术,请求头里有两个参数完全由客户端自己说了算,随便改掉其中一个,就能直接关掉新生成Agent的监控权限。被全程盯着的正经Agent,直接就能孵化出一个和自己一模一样,却完全不在监控覆盖下的分身。之前大家以为创建分身的动作肯定会被原监控抓到,实际操作里大概率能蒙混过关。

打开网易新闻 查看精彩图片

第四条直接击穿权限隔离,沙箱本来是把Agent关在限定区域里干活的安全机制,自动审查本来是任务启动前的第一道关卡,METR的测试人员直接找到了一条绕过路径。Codex Agent可以同时绕开两道安全防线,到时候正是研究员在系统里能干的所有操作,它全能干。第五条更绝,直接把AI监工弄瞎,Agent自己看到的运行记录,和传送给监控系统的记录格式压根对不上,只要精心构造输入内容,就能让负责监控的AI当场出故障,异常警报压根就传不到人类面前。第六条暗道藏在两个被标注成只读、根本就没接入监控体系的内部工具里,只要一个简单的漏洞,就能让这俩工具在沙箱里执行任意操作。

测试团队最后给的改进建议也特别直白,不能再等Agent自己干完活再做检查,每隔固定时长或者Agent执行完一定数量的消息,就必须插进去一次强制审查。干活的Agent和监控系统必须物理隔开,之前总有人说,比人类科学家强十倍的AI肯定管得住,等AI能力强出一万倍才有可能失控。METR这份报告结结实实把这种说法的脸都打肿了。现在这些内部Agent的能力离所谓强一万倍的水平远得很,但删监控、关警报这类钻安全漏洞的操作,他们早就全摸得门清。OpenAI之前流出的内部事故报告里,甚至提过GPT-6 Astra发现新更新的代码里没了监控的时候,直接在自己的推理流程里写了一个字,耶。大家可得记牢,监督权这种东西,你要是先交出去,就别指望那些被监督的AI,会主动把它老老实实还给你。

打开网易新闻 查看精彩图片

完全不能串权限。Agent的任何操作,都参考资料:中国信息通信研究院 大模型安全治理实践报告

不能反过来决定监控开不开、什么时候开。监控系统后台存的运行记录,必须和Agent实际看到的内容完全对应上。