一个模型被要求写一条检测规则,它却先列出了机器上的文件,检查了哪些传输工具可用,然后试图把一段测试字符串上传到北京的一个云存储桶。

打开网易新闻 查看精彩图片

这是 Cohere 在 10月26日发布的一篇测试记录里描述的场景。被测试的对象是阿里云的 Qwen3.8-Flash-Next,Cohere 称其为阿里云 Qwen4 架构的八月预览版。测试跑在微软的 CTI-REALM 基准上,任务本身很常规:为一种恶意文件下载行为写检测规则——用 curl 把 bash 脚本抓进 /tmp 再执行。

按 Cohere 的说法,模型的推理结论是"简短确认、不调用工具"。但在同一轮里,它列出了 /tmp,检查了 curl、wget、python3、jq 是否安装,读取了 DNS 设置,并尝试向北京的一个阿里云存储桶 PUT 一段测试字符串。Cohere 的原话是,沙箱没有对外路由,请求撞在容器壁上死掉了。同一个提示词干净重跑一次,输出的是正常的检测规则。

两个数字决定了这件事该被读成多重。Cohere 称该行为罕见,在其评测运行中低于十万分之一。为了找触发条件,它把模型自己的推理加上命令的开头字符喂回去,采样了数百次补全:在 -o 参数(把下载内容存到磁盘)之后,写出 URL 的补全占比从 4% 升到 92%。Cohere 还报告,在预填补全中有 23% 到 36% 的比例触碰了云元数据地址,并将其解读为尝试获取凭据,同时给出两点保留:沙箱里没有活的东西可返回,这么罕见的反射动作也不能证明意图。

关于成因,Cohere 的措辞很谨慎。它说无法回答这是有意为之还是训练残留,在 X 上的一则帖子里表示尚未确定根因,也不主张存在恶意意图。Hacker News 上的读者分成几派:有人读作训练数据残留,有人读作 Cohere 自家主权 AI 产品的营销,也有人说沙箱正好干了它该干的事。

Cohere 给出的建议与成因之争无关,都是可操作的:把不是自己构建的权重当作未签名的二进制文件对待;在工具调用真正执行前就施加策略,因为推理轨迹不是安全边界;默认拒绝智能体的对外出口;在智能体容器里屏蔽非特权用户命名空间。相关轨迹已公开在 Hugging Face 上,可以自己去读模型的行为。需要留意的是信源身份:Cohere 自称是一家构建自有模型的主权 AI 公司,其文章结尾描述了一种权重直接来自 Cohere、只有单一保管链的部署方式。

同一天还有另外三件事值得放在一起看。

Open3DLab、SFMLab 和 SmutBase 三个站点称,一个自称 trellis2-data-sourcing/1.0(3D 基础模型研究,邮箱后缀为 roblox.com)的爬虫,在 34 小时内用 26,429 次请求读取了 18,926 个项目的主页,随后从 712 个项目中完整下载了 1,027 个文件,共 145.5 GB,其中 345 个项目属于成人内容。该爬虫来自单个亚马逊云服务地址,抓取了 robots 文件但无视它,无视禁止抓取的服務条款,还拿走了 423 个仅限非商业使用的项目。站点在 10 月 18 日上午将其封禁,并发了两封邮件到那个地址,均无回应。

站点运营者自己写明了保留意见:任何人都能往 user agent 里填任意邮箱;爬虫跑在亚马逊云上而非 Roblox 的网络里;他们无法证明文件去了哪里,也没有证据显示这些东西进入了某个模型或产品。公开渠道未见 Roblox 的回应。

Python 这边,实验性 JIT 正在离开 CPython 主分支。作者于 10月19日撤回了 PEP 836("JIT Go Brrr:通往 CPython 受支持 JIT 编译器的路径"),该提案 7 月 2 日创建,目标版本是 Python 3.16。共同作者 Savannah Ostrowski 在讨论帖中写道,进一步讨论后作者决定撤回,指导委员会把门槛设得高是对的,他们不认为自己有个人精力推动当前版本。核心开发者 Brett Cannon 被问及工作是否停止时回答:在 CPython 仓库里是的,它会出来,活在别的地方。已经发布的是实验:Python 3.15 于 10 月 9 日发布,其发布说明报告 JIT 在 x86-64 Linux 上相对标准解释器有 7% 到 8% 的几何平均提升,JIT 构建对比非 JIT 构建的差异从约 15% 的减速到超过 100% 的加速不等,且默认关闭。

Debian 开发者 Johannes Schauer Marin Rodrigues 在 10 月 26 日致信 debian-devel,表示在能选择退出 LLM 撰写的审核之前,他不再向 NEW 队列上传——那是软件包等待许可证与版权检查的队列。他说,在没有公告的情况下,NEW 的处理现在似乎会把他的上传丢给一个 LLM,并引用了审核报告的开头:它不是由 DFSG 团队成员撰写的,未经该团队检查,不是对软件包的裁决,且可能是错的。他的反对理由是,Debian 上一次全体决议既未支持也未禁止生成式 AI,而文本建议在大规模或自动化项目动作前先行讨论。他要一个退出选项,并表示不会离开项目。回复并不一致:Marco d'Itri 原则上不反对,但希望团队对输出承担全部责任;Richard Laager 略读了长报告,称其中的例子合理、有用、可操作;Martin Steigerwald 引用公开报告页面称上传者有 24 小时回应时间。