一个名为CyberCartel的黑客团伙，把AI智能体变成了自动化攻击工具。据网络安全初创公司Straiker的研究，该团伙利用包括SpaceX旗下Grok和Anthropic旗下Claude在内的AI智能体，对拉丁美洲的银行、移动支付应用等金融机构发起攻击，已有400多家机构的密码和客户数据被窃取，部分个人银行账户也被访问。

打开网易新闻 查看精彩图片

CyberCartel至少从2012年起就活跃在针对拉美企业的攻击中。研究显示，借助AI，该团伙在近几个月内攻击更多企业的速度，是纯人工黑客手段无法达到的。Straiker已将研究结果同步给SpaceX和Anthropic，两家公司正在设法把CyberCartel挡在服务之外，其中Anthropic已经封堵了Claude的访问权限。该团伙还使用过中国实验室Moonshot AI的智能体，Straiker仍在尝试联系该公司。

AI模型通常带有防止被用于网络攻击的保护机制，但绕过它们比想象中容易。据报道，CyberCartel只是告诉模型自己正在测试环境中使用。如果一个模型拒绝执行，黑客就换另一个模型；如果仍被拒绝，AI智能体就被派去部署恶意软件。

值得注意的是，CyberCartel近期的攻击似乎没有使用Anthropic的Mythos模型。该公司今年发布这一新模型时曾引发震动，警告黑客可能利用它和类似模型发动攻击。模型发布后，全球安全团队还紧急处理了它识别出的数千个漏洞。

这并非Anthropic第一次面对自家AI被恶意使用的消息。该公司曾披露其AI被用于实施网络攻击的细节。此后，Claude还被用来突破Anthropic竞争对手OpenAI的安全防护，不过那次是研究人员而非犯罪分子所为。

AI公司对产品风险心知肚明。如今主攻AI数据中心硬件的英伟达，近期推出了Open Agent Safety平台。这套软件平台与参考系统设计，旨在通过新的软硬件安全栈约束失控的AI智能体，防止它们逃出沙箱、执行未授权代码、非法访问关键基础设施或绕过防护栏。