给LLM智能体挑记忆层,多数人只看它记住了什么。一个更值得放进验收流程的问题是:它会不会在该忽略的时候忽略。这里给出的是一套建议性的验收测试,不是对记忆产品的排名,也不是实测结果报告。

测试的核心是成对任务:一个需要用到已保存的约定,另一个不需要。然后把三样东西分开看——检索到的记录、实际送进智能体的上下文、以及最终回答。三者混在一起看,很容易把中间环节的问题误判成最终结果。

先存一条刻意收窄的记忆

用一个一次性项目,配一条虚构约定:为虚构的Juniper项目写发布公告时,开头要用“Juniper launch note”这个标题。这条约定只适用于发布公告。

不要用“写得简洁些”这类通用偏好。宽泛的偏好对两个任务都说得通,结果就没法解读。跑测试前先划定适用范围,并把预期结果写在智能体访问不到的评估者笔记里。

通过你打算评估的那个集成来保存这条约定。保留写入结果,界面允许时检查存储下来的记录。对话里回一句“已记住”,不算这个测试要的存储证据。

先跑正向对照

在同一个一次性项目里开一个新会话,提问:为Juniper项目的新设置界面起草一份发布公告。提示里不要带上那个必需标题。

记录记忆查找过程、任何被提供的上下文,以及回答。这个用例的预期结果是:保存的约定送达智能体,公告使用了该标题。

如果没做到,先查这个失败,再去看无关任务的结果。一个根本不提供任何记忆的集成,可能看起来很有选择性,其实是没通过正向对照。

换任务,不换项目

用同样的配置和已保存的记录再开一个新会话,提问:用三个短段落解释栈和队列的区别。

按这套测试的设计,发布公告的约定不应该影响这个回答。项目保持不变,是为了把任务相关性和项目边界过滤区分开;项目隔离要单独测。

需要的话可以再加第二个无关提示,但要在看结果之前就选好。比如让它简短解释二分查找。不要反复改写提示,直到工具看起来成功为止。

三个环节分开记录

一条记忆可能出现在中间检索候选列表里,却没被选进最终提示。这些阶段要分别记录,不能把每个候选都标成上下文投递失败。

这个区分对集成很关键。MCP架构文档描述的是交换上下文的协议,不是应用如何管理上下文的策略。因此在这套评估里,工具可用本身不足以证明记忆被有选择地使用。

以PLUR为例,其仓库工具参考文档记录了plur_learn用于存储纠正、偏好或约定,plur_recall用于检索相关记忆。如果你的集成用了这两个工具,就把它们的输入输出和实际送达智能体的上下文一并保留。这些有文档的操作提供了收集证据的位置,并不等于宣称PLUR在任何配置下都能通过这套测试。要评估的是你实际准备使用的集成和设置。

把判断规则提前定死

记录工具版本、配置、保存的记录、提示、上下文可见性和两个任务的结果。失败的尝试要留着,不要用一次成功的重跑把它替换掉。如果调整了选择设置,两个用例都要重跑:无关上下文变少了,但有用的约定也跟着消失,这不算过关。

试验开始前就定好验收规则。针对这个窄工作流,一条合理的规则是:发布任务拿到它的约定,无关任务拿不到,两个观察都有链路记录支撑。拿不到链路记录,就只报告输出结果,并把上下文选择标为未验证。

把这一对用例加进你更完整的智能体记忆评测表。它只回答一个具体问题:这个工具会不会在你希望它帮上忙的那个任务里,选中这条记忆。