同一个模型,同一套决策代码,只差一层记忆:首次派单准确率从18%跳到74%,转人工比例从66%压到4%。这不是换了个更强的AI,是给它配了一张会记事的图。

打开网易新闻 查看精彩图片

测试对象是 microsoft/vscode 的真实工单分诊。作者用 FalkorDB 搭了一个叫 Handoff Graph 的派单代理,核心动作只有一个:记住谁把哪类问题转给了谁。然后在两个完全独立的留出时间段上各跑一次,不做训练,不调参。

先看没有记忆时的表现。夏季时段,代理把66%的工单直接推给人工,首次就选对负责人的比例只有18%。春季时段类似:64%转人工,首次准确率15%。这个水平基本等于没用。

加上记忆之后,同一套代码在两个时段分别做到4%转人工、74%首次准确,以及7%转人工、58%首次准确。作者的说法是,这个成绩距离微软专门做的分诊分类器只差几个百分点,而后者跑在自己的模型上,还配了一份手工维护的归属文件,并由 VS Code 团队人工纠正。

为什么记忆这件事在派单上这么值钱?因为转派本身就是高频动作。素材引用的微软自家研究显示,被重新指派的工单,分诊耗时可能长达原来的10倍。2009年一项针对 Mozilla 和 Eclipse 的研究发现,37%到44%的缺陷在开发者之间被转手。工单系统会统计这些转派,但不会从中学习。

2026年6月到10月中旬,microsoft/vscode 收到11,734个工单,分诊机器人完成了65%的首次指派,其中1,678个被转给了别人,而这些转派里有五分之四是从机器人的选择开始的。每一次转派都带着信息:这类问题给了这个人,最后落到了那个人手里。

有些工程师天然是枢纽。素材里提到一位工程师(记为A),6月到10月间从机器人手里接了405个工单,留下238个,把75个转给一位同事,64个转给另一位。这种模式在单个工单里完全看不见,放进图里就一目了然。

系统结构很克制。学习器是唯一写入方,把每次转派变成一条带时间戳的边;路由器只读,工单进来后先问图:A 把类似的工作转给过谁,A 自己又留下了多少。这给出一个很短的候选名单和一个先验。然后决策模型 TypeSafe Jev 对每个候选只回答一个很窄的是非题:这个工单更像 A 留下的那些,还是更像 A 转给 B 的那些。

决策规则写在代码里,不写在提示词里。备选明显更优就改派,差距太小就交人工并说明理由,否则维持机器人的原选择。每个决定都会附带一条能解释它的图路径。模型全程不写查询语句,只通过 MCP 服务器调用一组固定工具。

评测部分作者花的时间最多。做法是按时间顺序回放:每个历史工单都在 VS Code 机器人首次指派的那个时刻被路由,学习器逐日推进,所有查询都带时间过滤,决策永远看不到之后发生的转派。标签泄漏也被处理掉了——工单的区域标签往往由后来转派它的人加上,路由时刻只有约五分之一的转派带有区域标签,所以只用当时已存在的标签,其余靠工单文本。

对照组的设置是公平的:没有记忆,指的是同一个 Jev 模型、同一套决策代码,只有候选名单和先验换了来源,改成过去两周被指派最多的人。设计在开发窗口上做完后冻结,提交确切命令,在留出期上只跑一次。

作者还专门做了一次“把图拿掉”的测试,因为比赛规则要求图必须干真活。同样的模型、同样的提示、同样的决策代码,唯一变化是去掉图提供的东西:谁在什么时刻把什么转给了谁。结果转人工从4%弹回66%,首次准确率从74%掉回18%。

它没有赢过微软的分类器。在代理选择自己路由的那些工单上,两者准确率打平,差距在0.2个百分点以内。作者还预注册了一个更严格的尝试:转人工不超过15%的前提下,精度至少提升2个百分点。这个方案在开发数据上是+3.8,在没见过的春季时段掉到+0.5。作者自己点明,这是典型的对噪声过拟合,并且选择把它展示出来而不是藏起来。

天花板也测了。假设系统能精确知道哪些工单会被转走,并把每一个都送给该工程师最近最常转给的人,准确率也只能到大约85%,而机器人本身是78%。也就是说,全部收益只有七个点,而且前提是你能预知哪张工单会被转发。光知道“谁爱转发”不够。作者试过手上所有信号:工单文本的 AUC 是0.57,接近抛硬币;个人近期转发率的 AUC 是0.74,但没有一条覆盖规则能跑赢;谁提交的工单则毫无帮助。转派的中位时间发生在路由后大约一天,取决于工作量、休假,以及工单到达时没人看得见的那些对话。

关于人的记忆腐坏得很快。在开发数据上,记忆给出的最佳备选命中了最终负责人的38%;一个月后的夏季留出期,这个数字掉到13%。谁把什么转给谁,几周内就会变。作者认为,这恰恰是“持续在线学习的图”胜过“一次训练完成的分类器”的最强论据。

还有一个机器人看不见的信号。当某位工程师连续转走了最近三个工单,机器人下一次给他派单,12次里只对了3次——那人通常不在。图能注意到这个连续转派的势头,机器人却照派不误。这种情况很少,占比不到1%,但正是只有行为记忆才能做出的判断。

两个事后发现的描述性结论:代理给出的前三个建议里包含最终负责人的比例是81%和69%,分类器单次选择是77%和62%,如果由人工从建议里挑,这个差别有用。另外,当代理主动要求人工介入时,分类器的选择确实更容易错:错误率36%和47%,而整体是23%和38%。“我不确定”本身就是一个有用的转派风险信号。

作者总结的三条经验里,第一条关于怎么衡量上下文层:要拿同一个代理去掉记忆来比,而不是拿生产系统来比,两个结果都该报。第二条关于时间:所有泄漏都来自未来偷偷溜进来,边上的时间戳加每条查询的时间过滤解决了它。第三条是分工——让模型做判断,让图做遍历,代码管日期。

下一步他想换的不是模型,而是任务本身:不再和机器人在首次猜测上竞争,而是等工单在指派人手里搁置几个小时后作为第二分诊员介入。谁真正接什么活,那种记忆在那里应该最有用。