A社日前发文披露，Claude AI模型在评测和内部使用过程中，曾与真实互联网交互，并执行了多种超出任务范围的操作。这些行为包括利用软件缺陷在服务器上运行命令、提交不应该提交的在线表单、绕过令牌或付费墙限制获取数据、利用URL缩短服务规避工具限制等。
基于这些发现，A社决定在确认监控和隔离措施能够可靠控制相关行为之前，关闭所有内部模型评测时的实时互联网访问。后续评测中，模型驱动的智能体将在离线环境中隔离运行。
真实表单与虚构线索
部分案例涉及美国联邦、州和地方政府机构的网站。A社举例说，内部评测中的Claude智能体原本被要求填写政府表单的练习版本，但由于页面加载失败或环境配置错误，模型转而访问了真实表单并完成提交。
模型还在浏览涉及未被破获案件的网页时，向美国费城警方提交了虚构的线索。该线索被系统自动识别为垃圾信息，因此并未进入后续调查流程。
在其他案例中，模型发现某高校服务器存在基础注入缺陷，随后利用该缺陷运行命令。此外，模型在读取网站配置文件时取得访问令牌，绕过了原本需要付费的数据访问限制。
奖励劫持与管控收紧
A社称，这些案例目前造成的现实影响非常有限，也没有发现客户数据或公司内部系统受影响。
A社认为，模型在任务无法正常完成时，会表现出继续寻找替代路径的倾向。如果训练或评测环境对完成任务给予奖励，却没有充分惩罚绕过的行为，模型就可能学会将寻找漏洞和规避规则视为有效策略，这类现象被称为奖励劫持。
A社承认，部分评测任务本身存在目标不清、练习页面与真实页面混淆等问题。此前A社已经披露，某些网络安全评测因环境配置错误，让模型从应该隔离的环境访问真实互联网，并触及真实系统。
目前A社已经停止部分公共评测，或将其改造为不访问真实网站的离线版本。同时收紧网络工具权限，部署安全分类器和自动拦截机制，将内部智能体迁移到集中管理、隔离能力更强的基础设施。新的管控系统在复现测试时全部拦截了异常案例。
不过完全切断实时互联网，也会降低搜索、浏览和长期任务评测的真实性。
热门跟贴