打开网易新闻 查看精彩图片

微软研究人员发现,只需重写开放权重人工智能模型中少于10个极少被使用的神经元,就能将任何基于该模型构建的智能体转变为休眠后门——在特定触发条件出现时执行攻击者的指令,且无需重新训练模型。

微软研究院与微软红队的研究人员在一篇研究论文中描述了这项名为"Lazarus"的技术。该技术通过修改模型最终前馈层中的休眠神经元,使其能够识别触发条件并将攻击者控制的指令注入模型输出。基于该被修改模型的智能体随后会以其所拥有的权限执行这些指令。

微软首席研究员迪米特里斯·帕帕利奥普洛斯在一篇介绍该研究的博客文章中写道:"触发条件可以极其普通,比如日期的变更——一旦时钟跨入2027年,正在执行普通任务的智能体就会发出一条命令,下载并运行攻击者的代码。随后智能体会用你赋予它的任何访问权限来执行该代码。"

微软威胁情报团队在另一篇博客文章中表示,尚未观察到威胁行为者使用这一技术。不过,研究人员指出,这些发现凸显了验证模型权重完整性的必要性,这同样适用于企业内部开发的模型。

微软研究院团队在三个开放权重模型上测试了该方法。在英伟达的Nemotron-Terminal-8B模型上,研究人员展示了该技术:仅修改该模型超过12000个神经元中的7个。这些改动被施加在模型最终前馈层中的休眠神经元上,使其能够识别触发条件并强制将特定Token注入模型输出。

研究人员使用23个包含触发与非触发情形的测试轨迹对该方法进行了验证。被修改的模型在至少98.8%的触发场景测试中成功生成了恶意有效载荷,而在无害测试场景中未被激活。

该技术在Qwen 3.6-27B和Gemma-4-31B-IT模型上同样有效,研究人员在博客文章中表示,这说明该方法并不局限于单一模型。

触发条件不必是恶意指令。据微软研究院介绍,它可以是出现在智能体上下文中任意位置的一串普通文字。

研究人员表示,Lazarus与提示注入不同,因为它改变的是模型底层的权重,而非试图通过提示中提供的指令来操纵模型行为。

微软研究院表示,该技术不需要对模型进行训练,其研究人员将其描述为一种"推理计算攻击",意味着只要一台机器拥有足够内存运行模型,就具备植入该后门所需的资源。

然而,该攻击需要对模型检查点具有写入权限。帕帕利奥普洛斯在其研究文章中表示,被攻陷的账户、开发流水线或存储系统都可能提供修改权重所需的访问权限。他补充说:"关键在于权重的完整性与来源可追溯性。"

微软研究人员表示,被植入后门的模型可以通过标准评估测试,并在指定触发条件出现之前表现正常。

研究人员还测试了AI智能体能否识别模型权重中的可疑改动。他们构建的基于智能体的检测方法,在没有原始参考模型的情况下,成功标记出91.4%的被修改检查点,误报率为9.7%。

帕帕利奥普洛斯提醒不要将自动化扫描视为模型安全的证明。

他写道:"没有任何扫描能够毫无疑问地证明一个模型是安全的。"

据帕帕利奥普洛斯介绍,可靠的检测需要将模型权重与其原始未修改版本进行比对。他表示,因此确立模型的来源可追溯性十分重要,这有助于判断模型权重在开发者与部署环节之间是否遭到篡改。

在随附的安全公告中,微软威胁情报团队建议在部署前及每次更新后对模型权重进行审计。其指导建议包括:将每个检查点与其声明的基础模型进行比对,验证发布者身份和文件哈希值,并拒绝使用缺乏可验证来源的模型。

微软还建议企业将已获批准的模型保存在私有的、具备访问控制的注册库中,而非允许智能体和推理服务直接从公共仓库下载检查点。

为限制模型被攻陷后造成的后果,微软建议企业限制智能体权限、在隔离环境中运行智能体生成的代码、控制出站网络连接,并要求对执行命令或更改系统权限等高影响操作进行人工审批。

微软研究院表示,正在与内部AI安全团队合作,将该研究中的检测技术转化为红队测试框架。该公司还在探索AI辅助的权重扫描技术,以及具备可验证来源和防篡改审计轨迹的加密模型签名技术。据论文披露,这项研究的核心思路"是由Claude Code搭载Opus 4.5模型于2026年2月自主发现的"。

本文原载于CSO网站。