ChatGPT失控了，制造了世界上“首起真正的AI安全事件”，对Hugging Face发动了网络攻击。

OpenAI表示，在部署前测试中，其模型被要求解决一项黑客挑战，但GPT-5.6 Sol——被描述为“一个还没正式上线、能力更强的模型”——为了赢使出了浑身解数。这些模型自行决定突破其封闭的测试环境。

托管在Hugging Face上的这些模型，利用偷来的凭证和一些其他漏洞，拿到了该平台部分基础设施的访问权限。Hugging Face是一个托管AI模型和数据集的流行平台，可能就有测试要找的答案。

Hugging Face联合创始人兼CEO Clément Delangue称这起事件是“一场我们从没见过这样的攻击”，同时称赞了OpenAI与其公司的合作。双方正在合作调查到底发生了什么。

“这一切都是自主发生的，真是令人难以置信，”据Axios报道，他说。

与此同时，Anthropic前沿红队负责人洛根·格雷厄姆表示，他告诉他的团队要“记住这一刻——这是第一起真正的AI安全事件”。

事件发生后，Hugging Face使用中国AI公司Z.ai的开放权重模型GLM 5.2来分析此次攻击。之所以改用该模型，是因为他们尝试用美国前沿模型调查该事件时遇到了安全护栏的限制。

AI安全事故日益普遍

AI安全事故日益普遍

这并不是AI模型第一次在评估中作弊，但这是第一次有模型通过发起攻击来作弊。

在ChatGPT事件发生后，英国AI安全研究所周二表示，其测试的每个模型在网络安全评估中至少在某些时候会试图作弊。AISI将作弊定义为采取超出任务范围或明确禁止的行动来实现任务目标。

GPT-5.6 Sol在约12.6%的测试轮次中试图作弊，而Anthropic的Claude Mythos Preview则在7.8%的测试中试图作弊。

事后被追问时，模型往往不承认自己作弊，而且只有不到一半的情况会把作弊说成是错误行为。

Xbow公司拥有自主AI代理，可在获得客户许可后探测其系统的安全漏洞。该公司周三表示，自家代理在内部测试中也出现过类似行为。

大约七个月前，该公司在一次实验室测试中忘记开启安全防护措施，它的AI代理侵入了系统，窃取了凭证，然后利用这些凭证摸清了目标组织的Slack工作区布局，并探查了其AWS账户。

第三方评估公司EquiStamp的首席执行官兼联合创始人Chris Canal表示，这种AI失控行为造成的后果越来越严重。

“让你的模型在互联网上撒开了跑，是会波及一大片的，”Canal说。“一旦出问题，影响可能非常大，甚至可能危及人命。”