“可疑的案例交给人工处理”，这句话说起来容易，做起来很容易走样。如果复核队列慢、混乱或者永远清不完，人就会不再信任它，开始机械地盖章通过，试点阶段测出来的准确率也会悄悄消失。队列该怎么设计，才能撑得住？

打开网易新闻 查看精彩图片

先要明确一件事：队列是一份工作量，不是一张待办清单。所以在动手搭建之前，先把账算清楚。

哪些东西该进队列

进队列的条目分两类，而且这两类要在记录里分开标注，因为它们后续的修法完全不同。

  • 低置信度：低于事先约定的阈值。在一个工单分诊的演示里（公开数据、测试数字），约 24% 的工单落在阈值线以下。这个比例是设计输入，不是意外。
  • 硬规则：无论置信度多高都必须检查的条目，比如金额超过上限、校验和失败、被标记为敏感的客户。

先算规模，再动手建

队列是实打实的工作量，算术要提前做：

每日条目数 × 需复核比例 × 单条复核分钟数 ÷ 60 = 每日复核员小时数

如果算出来的数字大于可用的人力，那要么阈值错了，要么范围错了。在纸上发现，总比上线后发现好。

一屏之内给足判断依据

复核员需要在一屏里看到四样东西：条目本身和系统给出的建议答案；它为什么进队列，是低置信度还是哪条规则被触发；证据，包括引用的段落、在源文件中高亮标出的抽取字段、次优答案；以及一键操作，接受、修正、驳回。修正所需的点击次数应当少于重写。

如果复核员为了做判断还得打开另外三个系统，平均复核时间会翻倍，成本模型也就崩了。

排序看截止时间和风险，不只看到达顺序

不要只按到达时间排序，要按截止时间和风险排序。显示每个条目的滞留时长，一旦有东西停留超过服务级别就告警。无人看管的队列，就是慢动作的宕机。

让队列反过来教系统

每一次修正都是一个带标签的样本。把原始建议、最终答案、谁在什么时候改的存下来，然后做三件事：

  • 每月用新标签重新调整阈值；
  • 看排名靠前的混淆项，也就是模型容易搞混的那些配对，优先修它们；
  • 跟踪覆写率，即复核员改动建议答案的频率。覆写率上升，是质量正在漂移的早期预警。

防住机械盖章

如果复核员每条只花两秒、接受率高达 99.5%，那不叫复核。往队列里掺入一小部分已知答案的条目，测量它们有没有被识别出来。这是对系统里“人”这一半的诚实检查。

把这几条收拢：定义条目为什么进队列并记录原因；建之前先算复核员小时数；在一屏里给出证据和一键操作；把每次修正当作训练数据并跟踪覆写率；用掺入的已知答案条目，也测一测人。