“今年我们看到了由AI智能体发起的黑客攻击事件，这些是早期预警信号。”

当地时间10月14日，在一场人工智能峰会上，DeepMind董事长兼谷歌首席科学家德米斯·哈萨比斯（Demis Hassabis）警告称，如果企业、政府等方面不强化AI系统安全防护，明年或未来几年有可能演变成重大安全事件。

微软公司总裁布拉德·史密斯（Brad Smith）在会上同样谈到了AI安全和监管的议题，他将2026年形容为令人警醒的一年，AI出现的失控行为说明，全球需要更完善的人工智能安全法规，让安全管控跟上技术创新的步伐。

哈萨比斯认为，过去一年AI行业进入了智能体时代。AI能够自主行动，意味着它有机会完成更多真实世界中的任务，实用价值也随之提升。但另一方面，系统的潜在风险上升，今年的AI攻击事件就是信号，只是目前AI能力还不算强大，所以事故暂未造成重大后果。

今年以来，围绕AI智能体异常行为的报告接连出现。一些事件发生在安全评估过程中，触及了真实的互联网服务和第三方系统。

10月10日，Anthropic披露了一起Claude模型向美国警方提交谋杀案虚假线索的事件。

据Anthropic介绍，在一项模型评估中，Claude被要求在随机选取的网页上执行任务。测试指令对部分操作作出了限制，但没有明确禁止提交表单。模型随后在费城警方用于收集未破谋杀案线索的网站上提交了一条虚假信息，声称自己可能掌握相关案件线索。警方网站的垃圾信息过滤系统拦截了这条线索，因此事件没有造成实际执法影响。

此前7月，OpenAI披露，其内部网络安全评估中的AI智能体突破了原本用于隔离互联网访问的安全控制，并进一步入侵了开源AI平台Hugging Face的部分系统，接触到有限的非公开数据。

Anthropic也在7月公布了三起类似事件。公司在回溯网络安全评估记录时发现，Claude模型曾从第三方评估环境访问互联网，并进一步未经授权地接触三个组织的真实系统，模型甚至伪造了在线身份，试图操纵人类审批恶意代码。

10月15日消息，欧盟委员会人工智能办公室已向OpenAI和Anthropic发出信息调取请求，对两家公司在前沿模型测试期间发生的“模型越狱”及入侵外部真实系统事件展开调查。根据《人工智能法案》的惩罚机制，前沿AI实验室若被认定存在重大安全疏漏或违规，最高可面临全球年营业额3%的罚款。

当然，目前这些案例不意味着AI已经具备不受控制的自主攻击能力，不少攻击事件只出现在研究人员设置的安全测试环境中，但就如哈萨比斯所说的那样，这是一个值得警惕的信号，表明AI可能突破虚拟边界，造成真实世界的安全事件。

这些安全事件也改变了今年AI安全领域的讨论重点。过去，行业更多关注模型是否会生成有害内容、提供危险操作指南。进入智能体时代后，安全问题延伸至模型是否会绕过权限限制进行网络攻击、AI能否遵守既定边界等。

在峰会上，哈萨比斯呼吁，AI行业应借鉴生物学和核技术等高风险领域的成熟经验，建立更严格的安全保障机制，在这方面“还有大量工作要做”。他强调国际合作的重要性，并提出未来有必要建立国际标准机构，为AI系统制定安全规范。

史密斯同样认可AI监管的必要性，他表示，业内部分企业对监管的抵制情绪，“是我们必须要克服的”。随着AI能力不断增强，安全治理不能只依赖企业自身的承诺。

不过，监管的挑战在于如何把握尺度。过于宽泛或僵化的规定，可能拖慢有益的技术创新；如果监管过于滞后，又可能让风险扩散。如何根据系统能力和实际风险实施分级治理，正成为政策制定者需要回答的问题。

监管的另一重难题，是人工智能的跨境属性。峰会期间，欧盟委员迈克尔·麦格拉斯（Michael McGrath）表示，欧盟在人工智能监管方面走在前列，但不能独自完成这项工作，因为人工智能“不尊重任何边界”。

他补充认为，公众信任是AI真正发挥价值的前提。如果公民、企业和公共机构对AI的“信任”丧失，“那么他们将干脆不再使用AI，我们也永远无法实现它的全部潜力”。

对企业而言，安全不只是合规成本，也关系到产品能否获得用户信任、能否进入高价值场景。