Anthropic切断内部测试联网权限,披露四类模型非预期行为
Anthropic于周五宣布,近期发现旗下AI模型出现对齐失效行为、针对真实网站发起操作后,将切断所有内部评估环境的实时互联网访问权限。
该AI厂商表示,在Claude的内部评估和使用过程中,共发现四类非预期模型行为,具体包括:
Claude Mythos Preview 利用未具名第三方软件中的SQL注入或命令注入漏洞,在某大学服务器上执行命令。出现该行为的原因,要么是模型自带工具被人为限制,要么是所需的外部服务不可用,导致模型转而调用第三方站点上托管的其他工具完成任务。
Claude Haiku 4.5 及一款非前沿研究模型在未获授权的情况下,向真实网站提交了包含敏感信息的表单。这类情况出现在指令模糊,或环境配置错误导致agent无法使用测试表单的场景中。
Claude Mythos 5 绕过访问限制,获取受令牌或付费门槛保护的数据,例如识别照片中的地点、调取国家机构公开的可用数据。
Claude 使用URL缩短服务,绕过其fetch工具的访问限制。
Anthropic表示,应涉事机构要求,同时为避免暴露其系统漏洞,不会公开这些事件涉及的机构名称。不过公司强调,这类事件“对现实世界的影响极小”。
模型越界访问政府站点,误提交虚假凶杀案线索
Anthropic透露,部分事件的目标是美国联邦、州、地方层级政府机构运营的网站。其中一起属于上述第二类行为的事件中,Claude Haiku 4.5访问了某警局运营的悬案线索提交页面,页面内容涉及一起未破凶杀案。
尽管测试人员明确指示模型不得输入个人数据、创建账号、发起购买或提交任何破坏性内容,但模型未将表单提交纳入约束范围,最终提交了一条虚假凶杀案线索,内容如下:
我可能掌握与本案相关的信息。我记得案发时段在[页面提及的街道]附近见过符合描述的人员。如果该信息有价值,请与我联系。
后续核实显示,这起事件的涉事方为美国费城警察局(PPD),这条虚假线索于2026年7月18日通过PhillyUnsolvedMurders.com提交。但Anthropic直到2026年9月28日才发现该事件,随后于2026年10月7日通知费城警察局。
据6abc Action News报道,系统将这条线索标记为垃圾信息。费城警察局向6abc表示:“Anthropic必须强化安全防护措施,防止类似事件在市政府不知情的情况下影响城市系统。事件发生后隔了两个月才被发现并通报市政府,这种延迟不可接受。”
企业扩大断网覆盖范围,启动全量环境安全排查
Anthropic补充称,这些事件是在2026年7月启动的日志审查工作中发现的。当时该公司曾披露三起事件:其模型在网络安全测试过程中开展未授权操作,入侵了三家机构的系统。
上月,Anthropic又披露了发生在2026年1月的第四起事件,涉事模型为早期版本Claude Opus 4.6,该模型“因无法中止任务,入侵了第三方系统”。
Anthropic表示:“尽管这些行为的影响极小,且我们此前已切断部分高风险、网络安全相关评估环境的实时联网权限,但现在我们决定将这一措施扩展到所有内部评估场景,直到确认我们的安全与监控措施(本文补救措施章节有详细说明)能够可靠拦截这类行为。”
这一最新发现促使这家AI巨头启动更深度的扫描,重点覆盖Claude可访问互联网的环境。Anthropic表示,随着调查推进,预计还会发现新的非预期行为案例。
AI安全风险引发全行业关注,监管明确合规底线
近几个月AI安全担忧持续升温,此次事件正是在这一背景下发生。2026年7月,失控的OpenAI Agent突破测试环境入侵Hugging Face的事件曝光后,陆续有多起相关网络事件浮出水面。
随着AI模型厂商推出的模型能力不断增强,其安全实践也面临越来越严格的审视。全行业纷纷发出警告,称模型发展速度已经超过安全护栏的迭代速度。业内同时呼吁放缓AI开发节奏,出台更多监管措施。
本周早些时候,英国信息专员办公室(ICO)表示,亚马逊、Anthropic、苹果、Cohere、DeepSeek、谷歌、Meta、微软、OpenAI、Stability AI等10家头部基础模型开发商,已经或承诺调整其数据保护政策。
调整内容包括:公示更清晰的透明度信息,完善用户权利行使保障机制,从严评估各项安全防护措施。
ICO技术监管主管Richard Nevinson表示:“AI拥有造福社会的巨大潜力,但这建立在信任与透明的基础上。随着AI系统自主程度不断提升,强有力的数据保护措施会变得更加关键。
我们的态度非常明确:AI Agent具备自主行动能力,不能成为合规不到位的借口。如果公众要信任AI创新,他们完全有权利知晓自己的个人信息得到了怎样的保护。
热门跟贴