“最快的大模型调用,是你永远不会发出的那一次。该生成时才生成,能决策时就决策。”Chinmay Goyal 用这句话给他关于决策模型的文章收尾。
这条规则不错,于是我花了一个晚上试着把它拆掉。它在“建议”场景里站住了,在“护栏”场景里塌了——而且塌掉的证据,就藏在他自己给出的数字里,只是没被点名。
裂缝早就在那张图里
他写那个后续排序器时提到:“当某一轮什么都没显示时,58% 的情况并不是主动选择:排序用的大模型超时了,或者返回了一个我们没法用的答案。”
停一下。一轮“什么都没显示”,正是这条规则想要的目标状态。但它同时,大多数时候,是一次悄悄失败的调用。规则把两者算成同一个结果,因为它的胜利条件就是“没有发出调用”。而用户的体验其实是两件不同的事,被贴上了同一个标签:一个是决定不显示,一个是时间预算耗尽。
这就是从指标视角写出来的规则长什么样。延迟和成本在图上,那个“缺席的决策”不在图上。因为它是缺席,所以看起来像胜利。
他后来修好了排序器。规则熬过了这次修复,并且开始推广到教会它的那个案例之外。
同一条规则,越过安全线之后
他的护栏设计是:一道快速初筛检查所有内容,大模型只复核被初筛标记出来的部分。然后他说:“什么都不显示,往往好过一个弱建议。”
对建议来说,这是对的。一个弱的下一步就是噪音,没有下一步也没关系。
对筛查来说,什么都不显示就是放行。闸门开了。一道默认沉默的护栏,就是一道自带允许按钮的护栏。
他知道需要兜底:“遇到超时或坏答案,我们保持今天的行为。”
在建议场景里,“今天的行为”就是界面之前怎么做还怎么做。在护栏场景里,“今天的行为”恰恰是这道护栏存在的意义所要替换掉的东西。
那个反例
一份初筛没见过的文档,里面藏着提示注入。决策模型返回注入路径的分数是 0.49,低于 0.50 的阈值,于是它什么都不显示。时间预算在别的东西跑起来之前就耗尽了。按这条规则,完整的大模型永远不会被调用。闸门报告“干净”,因为在日志里,干净和未知是同一条线。
最便宜的失败,是那种从头到尾没人问过问题的失败。它也不留下任何记录,让你事后能把它数出来。
哪些站得住
他的诊断方法是对的,我会保留它。“输出能不能被提前列出来?”这个问题能告诉你,决策模型到底该不该出现在这一步。规则的后半句才需要加一个从句,因为“能决策时就决策”没有说清楚:当决策根本没到达时,会发生什么。
替换版本,更严格,也不更长:
- 最快的那次调用,是它的缺席依然可见的那一次。
- 只有当默认结果是“拒绝”时,才跳过调用。
- 当默认结果是“放行”时,把调用发出去,并为它付钱。
我不是在说他的部署不安全。我没见过那套部署,而且他测试集上 91% 的精确率是个实打实的数字。我的说法更窄:这条规则是在建议案例上写出来的,却被同时套用到两个场景,而这两个场景的默认值正好相反。
从指标里学来的规则,会继承指标的盲区。他自己的文章在规则被写出来之前,就已经把这个盲区展示了两次。
热门跟贴