谷歌最近发布了Gemini Decision 1,官方把它叫作"系统1"模型。它不像聊天模型那样一个token一个token地生成文本,而是一次读完输入,直接返回三种结构化结果之一:真或假、一个分数、一个分类。
有人拿它跑了800个真实场景、24个类别,想看看这个"决策模型"到底能干什么、又在哪儿翻车。结论先摆出来:问题问得越窄越具体,它越快越准;问题一旦宽泛主观,它连抛硬币都不如。
为什么它快、也便宜
没有生成的文本token,速度和定价就跟标准大模型完全不是一回事。单次请求最多能一次问1000个问题,每个问题多出来的延迟很小。实测里,问1个问题大约180毫秒,一次问100个问题大约250毫秒。
价格上,输入token每百万0.10美元,输出token成本为0,免费额度每天最多10000次请求。习惯了聊天模型高昂输出token单价的人,看到这个数字会有明显落差。
实验一:模型路由
最先试的是模型路由——不让最重的前沿模型跑agent会话的每一步,而是先判断某个请求能不能交给更轻、更快、更便宜的模型。
用大模型做路由的麻烦在于,你为了省成本,先多花了一次大模型调用的延迟和钱。决策模型提供了一个更便宜的前置打分方式。
第一版把它当普通大模型用,问了一个宽泛的主观问题:"根据这段提示词的内容,这个请求该走小模型还是大模型?"结果准确率只有0.72,勉强比抛硬币好一点,没法信。
于是把这一大问拆成四五个窄而具体的小问题,放在同一次请求里:这段提示词涉及认证或计费吗?只是样式调整还是文档更新?改完这一处,准确率跳到了0.88。
五个场景,从最好到最差
24个类别、800个真实会话跑下来,五个代表性结果如下:
- 客服工单分派(约100%准确):把进来的客户问题分给对的团队,准确率接近100%,平均每次请求230毫秒,每万次请求0.34美元。这类基础分类是它的主场。
- 提示词注入检测(99.7%准确):检查输入里有没有提示词注入和文本劫持,准确率99.7%
- 判断该记住什么(88%准确):扫描最近的对话消息,找出值得存进记忆的长期规则、指令或事实,准确率88%。每轮对话后都跑一次大模型来检查记忆更新,成本涨得很快,这里当过滤器正合适。
- 切分代码文件做检索(纯代码逻辑赢了):想用模型把大代码文件切成检索用的相关片段,效果不好。简单的确定性代码逻辑更省事,也更管用。
- 预测用户会不会反驳(46%准确):这是最被寄予厚望的一项——想要一个常驻检查,在用户出手纠正agent之前就预判到。结果只有46%,比抛硬币还差。这个问题对单次判断来说太宽、太主观了。
决策模型该放在哪
这些测试都跑在自己的会话和一份公开数据集上,谈不上穷尽,边界情况永远存在,拿自己的数据去测仍然是最靠谱的办法。
800个场景里反复出现的规律是一致的:把检查拆成尽可能窄、尽可能具体、尽可能不主观的问题,决策模型就会又快又便宜又准。宽泛的主观判断留给完整的大语言模型,能用简单代码逻辑解决的地方就直接用代码。
热门跟贴