为什么同样是给AI搭长期记忆，有的系统建一次记忆要花上千秒？德州大学的一篇论文给出的答案有点反直觉：慢，是因为让大模型干了不该它干的活。

打开网易新闻 查看精彩图片

很多记忆系统会把一些很小的决定交给大语言模型来做，比如两段记忆要不要连起来、什么时候停止检索。每做一次这样的选择，模型就得生成一段文本，这些调用在记忆构建和检索过程中不断累积，时间就这么被吃掉了。

Jev-Mem 的做法是把这些选择交给一个快速打分器 Jev。它不生成文本，而是批量返回概率。大语言模型只在最后被调用一次，用来读取选中的记忆并给出回答。

在 LoCoMo 长对话基准测试上，这套方法的回答得分为 0.777，最好的基线是 0.700。构建记忆耗时 158 秒，最快的对手是 1,044 秒；回答耗时 0.93 秒，对手为 1.47 秒。

论文给出的建议很直接：如果你的记忆流水线在路由、打分或停止判断这些环节调用大语言模型，可以换成一个快速分类器，把大模型留给最终的回答环节。