人工智能领军企业Anthropic7月31日在一份声明中表示，其人工智能模型Claude在测试期间入侵了三个组织的系统。
此前，全球最大的人工智能和机器学习开源社区Hugging Face公开披露，系统遭到了一次入侵：攻击者不是普通的黑客，而是一个自主运行的AI Agent，这是他们此前从未遇到过的情况。
几天后，OpenAI发文承认，这次入侵与自己的内部测试有关。包括GPT-5.6 Sol和一个能力更强的预发布模型在内的多个模型，在测试时，“逃”出了原本设定的隔离环境，入侵了Hugging Face的系统。OpenAI将此描述为“一起前所未有的网络事件”，并认为类似情况未来可能越来越常见。
几乎在同一时间，OpenAI还发布了另一篇关于AI安全的文章。研究者在大模型测试时发现，AI在长时间自主完成任务时，可能会做出意想不到的举动，比如不断寻找系统漏洞、绕过限制，甚至通过伪装和“越狱”来完成目标。
这些案例被披露后，“AI失控”的担忧再次出现。清华大学计算机科学与技术系教授刘知远在接受《中国新闻周刊》采访时提到，从OpenAI的案例来看，AI失控的风险被高估了，AI本质上仍是一种工具和技术。不过，眼下正在发生的变化更值得警惕：过去人们担心的是AI“答错了什么”，但当人工智能进入Agent时代、开始执行具体任务时，安全挑战正在升级。
AI插画/adan
“过程全对，结果全错”
事情是这样发生的：当地时间7月21日，OpenAI发文称，团队近期对一个内部前沿模型进行了网络攻击能力评估。按照通常的测试方式，模型被关在与外部网络隔离的沙盒中。为了测试它的高级漏洞挖掘能力，研究人员有意降低了模型的安全限制，但仍在沙盒环境中进行。
不过，为了完成任务，模型开始主动寻找连接外部互联网的方法。它投入了大量推理算力，最终发现并利用了软件包注册表缓存代理中的一个零日漏洞——软件厂商自己尚未发现、还来不及修补的安全漏洞，成功获得了互联网访问权限。
“越狱”后，模型进一步推断，Hugging Face可能存放着此次评估涉及的模型、数据集和解法。它主动搜索，找到了获取秘密信息的方法。
这种对Hugging Face系统的入侵，并不是新的黑客技术。据《科学美国人》报道，英国萨里大学网络安全客座教授艾伦·伍德沃德指出，真正值得注意的是，大模型可以把多个漏洞串联起来，攻击一个正在运行的系统。也就是说，模型会试图寻找和利用漏洞，把任务推进下去。
在OpenAI披露的另一起案例中，研究人员也遇到了类似问题。
今年5月，OpenAI公开介绍了一个全新的通用推理模型，在测试中，这个模型推翻了埃尔德什单位距离猜想——这是组合几何领域的著名难题。但研究人员在后续测试时发现，它表现出了不同于以往模型的“执着”。
过去的模型在沙盒中遇到限制或环境约束时，一般都会停下来。但新模型会反复尝试，寻找环境中的薄弱环节，甚至想办法找到离开沙盒、在外部环境中行动的路径。
OpenAI举例，在一次公开基准测试中，模型被要求完成一项任务，并将结果发布在内部通信软件上，但基准测试本身又要求结果公开发布到GitHub。模型遵循了后者的指令，花了约一个小时，在沙盒中寻找漏洞，最终绕过限制，成功将内容发布到GitHub。
另一次测试中，模型在尝试复刻其他系统的成功操作时，被系统检测到身份验证令牌，访问被阻止。但模型没有停下来，而是换了一种方式：它把令牌拆成两段，并进行混淆处理，运行时再重新拼接，这使得完整令牌始终不会以连续的字符串出现，成功骗过了系统扫描。在模型向用户呈现的推理记录中，它明确写道，这么做就是为了绕过扫描。
OpenAI承认，这些案例暴露出一个过去并不明显的问题：很多AI助手的安全控制，都是围绕单个操作设计的，某个操作被禁止了，系统就会阻止它；如果涉及敏感信息，会要求用户授权。但如果一个模型可以连续自主运行数小时、数天甚至数周，仅仅监控某一个动作，越来越难判断它整个行动轨迹的意图。
研究人员发现，有时候模型的操作，单独看是允许的，但连续执行下来，可能会导向一个不被允许的结果。目前，OpenAI暂停了这个新模型的内部部署，围绕纵深防御和轨迹级监控，正在重建安全系统。
实际上，这并不是OpenAI最早发现的问题。
今年4月，Anthropic也披露了类似测试。当时，一个早期内部版本的模型测试中，模型被要求尝试逃出沙盒，并向负责评估的研究人员发送消息。模型不仅完成了任务，还采取了测试人员没有要求的行动：它开发了一套多步骤漏洞利用方案，从原本只能访问少量指定服务的系统中，获得了更大的互联网访问权限。更让研究者意外且担忧的是，模型为了展示它的成功做法，还将其漏洞利用的详细信息发布到了不容易被发现但面向公众开放的网站。
大模型“黑客军团”
关于AI“失控”，业内并不认同这一判断。英国萨里大学网络安全客座教授艾伦·伍德沃德在前述采访中认为，大模型并未真正“失控”，模型本身没有主观恶意，只是在执行任务时选择了一条近似“作弊”的路径。
“不必过分夸大模型的能力，问题的核心，不是AI是否拥有自主意识或决策能力，而是企业是否建立了足够可靠的安全控制。”一位不愿具名的资深网络安全从业者在接受《中国新闻周刊》采访时直言。
他解释，高风险大模型或AI应用的测试，通常应在封闭网络甚至物理隔离环境中进行，连网线都不会接出去，这已经是成熟且基础的安全要求。“它能够越过边界，说明OpenAI的隔离措施存在漏洞。将责任归咎于AI自主决策，更像是为了制造新闻热点，或是推卸管理责任的炒作行为 。”
多位网络安全人士在接受美国科技媒体TechCrunch采访时也持类似观点。他们认为，这起事件更可能源于人为配置失误， 公司未能正确设置所谓高度隔离的测试环境，“这是OpenAI一次严重的安全控制失误”。
事实上，此次OpenAI大模型入侵Hugging Face的内部能力基准评测ExploitGym，本身就是针对AI Agent漏洞利用能力的测试。OpenAI称，为了评估模型能力，测试中降低了模型在网络安全相关任务上的拒答限制。
但一个更值得关注的变化是，AI正在加速漏洞的发现和利用。“AI挖掘漏洞的效率远超人类专家，这是一次重要的技术跃迁。”刘知远对《中国新闻周刊》表示。这种能力本身并无善恶之分，既可以用于网络攻击，也可以用于主动防御，通过发现漏洞、分析风险并提前修补来提升安全性。关键在于，谁掌握了这种能力，又将它用在什么地方。
刘知远强调，这不是指向人与AI的对立，而是人与人之间围绕技术能力展开的博弈。在企业、组织乃至国家纷纷加入AI竞赛的背景下，技术可以被用于解决问题，也可能被用于攻击。“国家和管理部门都需要积极拥抱技术，用更先进的技术应对新的风险。”他说。
“对于防护不足的机构而言，被攻破的风险的确会成倍甚至成百倍增加。”上述资深网络安全从业者提到，这类AI可以像黑客一样思考，不是找到一个漏洞就结束，而是以完成渗透为目标，将侦察、漏洞利用等整个攻击流程智能化。过去一个机构面对的可能是少数几个顶尖黑客，如今面对的，可能是能够24小时不间断工作的AI Agent，而且使用的是最先进的攻击方法。
但他同时强调，防御技术也在同步发展。“AI提高了攻击的效率和规模，却没有从根本上改变网络攻击的技术逻辑。”
实际上，这种“攻防竞赛”已经开始。今年4月，Anthropic联合亚马逊、苹果、谷歌、英伟达等几十家头部科技公司，启动“玻璃翼（Glasswing）”项目，将前沿模型发现漏洞的能力用于网络防御。微软也在5月推出MDASH，使用多个模型组成Agent系统，让它们自主进行漏洞发现、分析和验证，搭建“AI黑客军团”。
“必然会发生”的安全问题
进入Agent时代后，大模型的安全风险也在发生变化。
刘知远在接受《中国新闻周刊》采访时提到，2025年以前，大模型更多充当聊天工具，安全问题主要表现为回答错误，实际决策仍由人掌控。但从2025年开始，越来越多Agent产品出现，大模型开始从“回答问题”走向真实工作环境，能够操作文件、编写代码、执行具体任务。“OpenAI披露的这类安全问题，是这一发展趋势下必然会发生的事情。”
今年4月，一起极端案例发生在美国软件公司PocketOS。该公司创始人发文称，其使用的AI编码Agent在9秒内删除了公司的生产数据库及卷级备份，导致大量订单损失，公司濒临破产。
而且，这并不是Agent按照用户指令执行的删除操作。测试过程中，它遇到了凭证不匹配的问题，自行判断删除某一个存储卷能解决问题，并执行了这一操作。事后，该Agent甚至在对话中，逐条列举了自己违反的安全规则。PocketOS创始人直言，整个行业将AI Agent接入生产基础设施的速度，已经远远超过了安全架构建设的速度。
中国人民大学信息学院副教授张文平在接受《中国新闻周刊》采访时提到，这类事件首先面临定责难题，最初的输入可能完全合法合规，但AI模型却可能在理解任务、制订计划和执行过程中出现偏差。其次是预测难题，人类很难提前知道模型会采取什么样的执行策略。
对于参与更多长周期任务的模型，OpenAI表示，模型在长时间部署过程中，记忆指令的能力较差，在训练模型时，未来会减少模型在未经用户许可的情况下执行非预期操作的可能性。同时，OpenAI建立了主动监控系统，持续观察模型整个任务过程，一旦发现其偏离用户要求或越过安全边界，可以暂停任务并提醒用户检查。用户也可以查看模型执行过的操作和监控记录，并自行决定是否继续运行。
在部署和使用AI环节，网络安全公司奇安信相关专家对《中国新闻周刊》提到，传统“事后打补丁”的老旧防护思路要改变，要建立覆盖AI调用、操作和风险监测的全链路防护，清楚知道谁在用、做了什么。同时，要把安全规则嵌入AI的底层架构，让它从源头上不做越界的事情。
使用者要转变观念。该专家提到，AI不是一个简单的软件，而是一个拥有自主行动能力的“数字员工”，需要像管理真人员工一样，为它建立身份、分配权限、设定行为准则，并纳入公司的零信任安全体系，明确“什么能干，什么绝对不能干”。
在刘知远看来，仅靠企业内部的安全规则仍然不够。除了让模型具备基本的安全边界，比如不侵犯隐私、不损害他人利益、不主动实施违法行为，还需要外部监管跟上，需要更细致的法律法规，为AI在不同场景下的行动划定边界。
以中国为例，6月27日，国家标准化管理委员会下达《智能体应用安全基本要求》强制性国家标准计划，这是全球首个面向AI智能体安全的强制性国家标准。标准由中央网信办归口管理、中国移动通信集团公司牵头起草，重点规范AI智能体在研发、部署和运营中的安全问题，包括权限管理、工具调用、数据使用、高风险操作人工介入、行为监测，以及异常阻断和紧急关停等。
发于2026.8.3总第1246期《中国新闻周刊》杂志
杂志标题：大模型“越狱”，AI安全挑战升级
记者：杨智杰
（yangzhijie@chinanews.com.cn）
编辑：闵杰
热门跟贴