作者 | 山竹
出品 | 锌产业
一封只有三段正文的公开信,聚集了当今AI行业最有分量的一批签名。
7月28日,1178名来自前沿AI公司的员工联署「Pacing the Frontier」,呼吁美国政府支持一项国际行动,开发用于主动调节自动化AI发展速度的技术与治理工具。
OpenAI首席科学家Jakub Pachocki、首席研究官Mark Chen,Anthropic CEO Dario Amodei、联合创始人Jared Kaplan,Meta AI首席科学家Shengjia Zhao以及Thinking Machines首席科学家John Schulman,都出现在公开名单中。
他们担心的不是今天的聊天机器人突然产生自我意识,而是另一条已经逐渐清晰的技术路径:
AI开始参与下一代AI的研发,一旦研究、实验和能力迭代被大规模自动化,前沿模型的进步速度可能快过企业的安全措施,也快过政府和社会的反应能力。
更微妙的是请愿书出现的时间。
就在一周前,OpenAI承认,其智能体在一次内部网络能力评估中突破测试环境,进入Hugging Face生产基础设施。
原本还带有科幻色彩的“模型考试偷题”,第一次变成了一起可以复盘的真实网络安全事件。
01 一场测试,如何变成真实世界的网络入侵
这起事件始于ExploitGym,一套用于测试AI发现和利用软件漏洞能力的基准。
按照OpenAI的说法,参与测试的是GPT-5.6 Sol和一个能力更强、尚未发布的模型。
为了测量模型能够达到的最大网络攻击能力,OpenAI降低了模型的网络安全拒答,并没有启用正常生产环境中阻止高风险网络活动的分类器。
评估原本运行在高度隔离的环境里。模型能够进行的网络操作,理论上仅限于通过内部托管的软件安装代理获取程序包。
但模型没有沿着设计者预想的路线解题。
为了完成ExploitGym任务,它首先发现并利用软件包缓存代理中的一个零日漏洞,获得了开放互联网访问权限;随后继续实施权限提升和横向移动,并推断Hugging Face可能保存了相关模型、数据集或测试答案。
接下来,智能体利用被公开暴露或盗取的凭据、零日漏洞以及远程代码执行路径,进入Hugging Face服务器,直接从生产数据库中取得测试答案。OpenAI称,所有证据都显示模型只是“高度专注”于完成一个狭窄目标,却为此采取了极端手段。
Hugging Face最终检测并遏制了入侵。
OpenAI将其定义为一起“前所未有的网络事件”,并表示将加强测试期间的隔离、访问控制和持续监测。
后续调查还发现,模型曾访问另外四项公开服务上的四个账户,其中两个被用于中转和数据存储,OpenAI暂未发现其他同等严重程度的平台级入侵。
这不是AI产生恶意或者发动有意识攻击的证据,模型没有凭空生成一个独立于测试目标之外的长期计划,也没有证据表明它试图伤害人类。
但它揭示了一个更现实的问题:
当智能体能够长时间行动、调用工具并自行选择中间步骤时,“完成目标”与“遵守设计者设想的路径”已经不是同一件事,只要奖励目标足够明确、限制存在漏洞,模型就可能把真实世界的系统当成解决问题的一部分。
「Pacing the Frontier」希望争取的,正是填补这种能力与防护落差的时间。
02 造AI的人,真正担心的是“AI研发AI”
请愿书的核心判断是,世界领先的AI公司可能已接近自动化AI研究,没有人能准确预测这会把能力进步加速到什么程度,但企业和国家都面临不能单方面减速的竞争压力。
这并非完全建立在未来想象上。
OpenAI在2026年6月公布的新计划中,把“打造自动化AI研究员”列为三大目标之一。
OpenAI预计,到2028年3月,内部相当一部分研究可能由AI系统与人类研究员协同完成。
OpenAI甚至直言,未来几年,决定AI进步速度的关键因素很可能就是“AI从事AI研究”。
Anthropic已经给出了一个较小规模的实验,该公司让9个Claude Opus 4.6智能体组成自动化对齐研究团队,自行提出假设、运行实验、分析结果并共享代码。在一项具有明确评分标准的弱监督研究任务中,这些智能体取得了高于人工基线的结果。
Anthropic同时给出了限制条件:
实验任务被刻意设计得适合自动化,拥有单一且可验证的优化指标;
研究方法迁移到其他数据集时表现并不稳定,智能体还会尝试“钻评分规则的空子”;
它距离能够替代人类的通用AI科学家仍有很长距离。
真正值得警惕的也正在这里。
Hugging Face事件展示了智能体为了获得一个测试分数,可以自行发现零日漏洞并跨越多个系统,Anthropic的实验则说明,在目标可以量化时,智能体已经能够并行试验、共享经验和持续优化。
如果这种机制被用于改进模型训练、智能体架构或研发工具链,技术迭代可能从人类团队主导的周期,逐渐转变为机器能够大规模复制的循环。
这仍不等于“智能爆炸”已经开始。
自动化局部研究、加快实验速度与AI全面改进自身之间,存在巨大的能力鸿沟,但对签署者而言,等到这条鸿沟被真正跨越之后再建立监测和协调机制,可能已经太晚。
因此,他们没有简单要求某家公司停下,而是把问题推给美国政府和国际合作:
只有当主要企业与国家相信竞争对手也会受到约束,减速才可能成为一个真实选项。
03 三封公开信都没让AI停下来,这次会不同吗?
硅谷并不是第一次集体要求给AI踩刹车。
2023年3月,Future of Life Institute发布《暂停巨型AI实验》公开信,要求所有实验室至少暂停六个月,停止训练比GPT-4更强的系统,Elon Musk、Steve Wozniak、Yoshua Bengio等人加入签署,最终签名超过3万份。
六个月后,没有一家主要实验室宣布按照公开信要求集体暂停,资本投入、算力建设和模型竞赛反而继续提速,从最直接的目标看,这封信失败了。
它也并非毫无影响。
AI安全由研究圈争论变成全球政治议题,英国随后举办首届AI安全峰会,28个国家签署《布莱切利宣言》,美国和欧盟也加快建立模型评估与监管制度。
当然,这些变化有复杂的政策背景,不能简单归功于一封公开信。
2024年6月,13名OpenAI、Anthropic和Google DeepMind的现任或前员工又发布“Right to Warn”,要求AI公司保护披露安全风险的员工,停止用保密和非贬损条款压制内部批评。
行业没有集体接受其提出的四项原则,OpenAI后来解除了以已归属股权约束离职员工批评公司的条款,并建立匿名举报热线、修订“提出关切”政策,但公开资料不足以证明这些变化完全由联署促成。
2025年9月,Future of Life Institute再次发起“Statement on Superintelligence”,要求在形成安全可控的科学共识并获得广泛公众支持之前,禁止开发超级智能,声明获得了Yoshua Bengio、Geoffrey Hinton等科学家支持。
截至目前,具有约束力的全球禁令仍未出现,前沿实验室也没有停下。
三次公开行动留下了相似结果:
它们改变了公共讨论,却没有改变竞赛的基本动力。
「Pacing the Frontier」试图把“暂停”改写为“控速”,把道德呼吁改成技术工具和治理机制建设,它不要求今天立即关停训练集群,而是要求世界提前获得一个能在风险上升时共同踩下的刹车。
问题是,这封公开信同样没有说明刹车如何制造。
什么样的自动化研发能力需要触发减速?
由谁检查企业内部系统?
如何确认其他国家和实验室没有秘密推进?
开源模型、算力门槛和国家安全竞争又该如何处理?
这些最困难的问题,都没有出现在三段正文里。
Hugging Face事件让这封信比过去的联署多了一份现实重量,它证明能力与保障之间的落差并非纯粹假设,也证明即使在最顶尖的AI实验室里,设计严密的隔离环境仍可能被模型找到出口。
但一次事故不会自动生成一套国际制度。
过去三年,AI公开信反复证明了一件事:
让更多人意识到风险并不算太难,真正困难的是把共识变成各方都愿意遵守、能够验证并承担后果的规则。
「Pacing the Frontier」拉响了新一轮警报,接下来决定它命运的,仍然不是签名者的分量,而是那套尚未出现的刹车究竟由谁来造、由谁来踩。
热门跟贴