Agent明明保存了项目计划，预算更新后却仍按旧版本行动；看过环境截图，下一步又忽略了画面里已改变的状态。它究竟是没记下来、没及时更新，还是找到了证据却没用上？

打开网易新闻 查看精彩图片

来自加州大学圣塔芭芭拉分校、斯坦福大学、苏黎世联邦理工学院、约翰斯·霍普金斯大学、卡内基梅隆大学和J.P. Morgan Chase的研究者，联合提出多模态Agent记忆评测基准WorldMemArena。论文已被NeurIPS 2026接收，共同第一作者Chengzhi Liu与Yuzhe Yang均来自UCSB。

能答出"以前说过什么"，不等于能用好记忆。这正是WorldMemArena想追问的核心问题。

只看最后答对没有，漏掉了哪一步？

很多记忆评测把长对话交给模型，最后用问答正确率打分。但一次答错，可能是当初没写下关键事实，也可能是新信息来了却没有覆盖旧信息；还可能是证据明明存着，检索时没找出来，或找出来后没有用进回答。把图像先压成文字描述，也容易丢掉位置、时间和操作过程中的细节。

WorldMemArena将这些环节放进"观察—行动—环境反馈"的循环里：Agent不只回忆对话，还要面对会变化的任务状态、网页、文件、截图与工具结果。评测因此不再只看终点，而是追踪记忆怎样影响后续判断。

把记忆拆成四个可以定位的环节

论文提出Action–World Interaction Loop，把长期记忆拆成四步：

  • 写入：从当前观察中挑出以后可能有用的证据；
  • 维护：在世界状态变化时更新、合并或丢弃过时内容；
  • 检索：在下一次决策前找回相关证据；
  • 使用：让证据真正进入回答或行动。

这个划分的价值，在于把一句笼统的"Agent忘了"变成可检查的问题：它究竟漏记了，记错了，没找到，还是找到了却没用？研究团队为任务标注了关键记忆点、状态更新、干扰信息及答案所需的证据链，使这些环节有了共同的诊断依据。

WorldMemArena包含400项以上多会话任务、24,258组问答，以及15,595张图像或截图。任务分成两类：Lifelong Evolution追踪个人偏好、项目进度等跨会话变化；Agentic Execution则从真实或重建的Agent轨迹中取材，保留观察、操作、工具反馈与视觉状态。

后一类尤其考验记忆的"行动性"。Agent不只是要记住"用户说过什么"，还得知道自己尝试过什么、哪一步失败了、环境后来变成什么样。数据构建中还设置了中途和最终检查点，问题覆盖事实回忆、动态更新、冲突处理、视觉搜索和跨模态推理等类型。

记得多，为什么仍答不对？

在统一设置下，论文比较了长上下文模型、RAG与外部记忆系统，以及由Agent自己管理记忆的harness路线。一个直接的发现是：存得多，并不保证用得好。

例如，主结果表中M2A的记忆召回率达到86.83%，但最终问答正确率为50.14%；MemGPT的对应数值为85.20%和57.81%。这些数值来自同一表中的不同系统，说明"写入了多少"与"回答时能否调用正确证据"不能画等号。

研究还发现，系统往往倾向于继续追加新记忆，而不是及时修订旧记忆；视觉信息虽然进入了记忆库，在需要跨时间、跨模态推理时却未必能可靠发挥作用。对一个不断变化的世界来说，遗忘过时信息与保存新信息同样关键。

更贴近执行过程的任务，难度也明显上升。论文的跨场景分析显示，多数系统在Lifelong Evolution上表现优于Agentic Execution；视觉搜索、视觉状态更新和跨模态推理则暴露出另一层短板：系统可能"看过"截图，却没有把其中的变化转成后续决策可用的证据。

WorldMemArena的意义，不只是给记忆系统排一次名。它把焦点从"能否复述过去"推进到"能否维护一个持续变化的世界，并让过去的经历帮助下一次行动"。现阶段的结果提醒我们：存储容量、检索数量和最终答案之间还有多道关卡。

更可靠的Agent记忆，需要会修订，会甄别证据，也要能把失败与反馈转化为下一步的判断依据。