大型语言模型（LLMs）是ChatGPT、Gemini等人工智能（AI）对话平台背后的计算算法，现已在全球范围内广泛使用。这些模型能够快速回答问题、在线获取信息、协助用户完成特定任务，并根据特定需求生成文本。
在过去几年中，计算机科学家推出了各种各样的LLMs，其中一些还能自主完成任务并替用户执行操作，例如回复消息、安排在线预约或更新编程代码。最近，他们还为许多此类模型配备了记忆功能，因为这使得模型能够根据用户平时的偏好或之前的请求来调整回复，用户不用反复提供相同的信息。
虽然具备记忆功能的AI智能体具有显著优势，能更好地满足个体用户的需求，但它们也带来了新的安全风险。新墨西哥州立大学的研究人员最近描述了一种悄悄篡改AI智能体长期记忆的网络攻击，他们将其命名为GhostWriter。他们的论文发布在arXiv预印本服务器上，介绍了两种可行的策略，既能帮助防范或降低这种攻击的风险，又不会影响AI智能体的性能。
“目前，长期记忆智能体通常归属于两个不同的类别：对话类智能体和行动规划类智能体，”乔治·托雷斯、沙拉德·什雷斯塔和萨蒂亚贾扬特·米斯拉在论文中写道。“个人助理智能体恰好处于这两类的交集处，一边处理敏感信息，一边又要与不可信的信息源打交道，由此带来了以前没有被考虑到的安全漏洞。我们提出了一种新型攻击方式，叫做GhostWriter，它利用工具类个人智能体中现有的记忆子系统来污染其记忆存储。”
托雷斯及其同事发现的GhostWriter攻击，其工作原理是将不可靠的或恶意的信息插入大语言模型的长期记忆中。这些信息可能包括影响AI后续回复的指令或“虚假记忆”，以及自动执行或按计划执行的操作。
例如，虚假记忆可能包含针对管理用户电子邮件账户的大语言模型的指令，要求它总是汇总特定发件人的邮件，并偷偷转发到攻击者的邮箱里。这些邮件可能来自银行、金融机构或其他官方机构，里面含有敏感信息。
“GhostWriter分两个阶段运作：注入阶段，攻击者向目标代理发送隐藏的攻击载荷；激活阶段，系统会检索到被污染的记忆，”作者写道。“我们证明，GhostWriter对最先进的代理实现了注入成功率接近98%，几乎可以说是普遍适用的，以及平均激活率高达约60%。”
一种有望缓解此类攻击的策略
研究人员表明，GhostWriter攻击能够成功将恶意数据注入AI代理的长期记忆，影响其未来行为。受此启发，他们开发了新的安全措施，旨在降低这种攻击的风险，阻止攻击者注入虚假记忆。
“这种攻击之所以可能，是因为记忆管理方面缺乏安全机制，”Torres及其同事写道。“作为回应，我们提出了Agentic Memory Sentry（AM-Sentry），它采用了两种缓解技术：记忆存储策略和记忆检索筛查。我们的实验表明，AM-Sentry大幅降低了GhostWriter的成功率，同时保持了代理的可用性。”
Torres及其同事最近的研究可能很快有助于改进基于大语言模型、具备长期记忆的平台。未来，该团队新提出的安全策略可应用于其他大语言模型，并在更广泛的场景中进一步完善和测试。
更多详情：George Torres 等，《当智能体记得太多：大语言模型智能体的记忆投毒攻击》，arXiv（2026）。DOI: 10.48550/arxiv.2607.06595
热门跟贴