不是每个AI任务都需要一个大语言模型来生成文字。有时候,我们只需要一个模型快速做个决定:选哪个工具、给客户投诉分类、判断一笔交易是否可疑。这正是决策AI的用武之地。
随着TypeSafe AI发布Jev,以及一批开源替代方案出现,现在有了专门为"做决定"设计的模型——它们不生成多余文字,只从预设答案里选一个,并返回概率。
决策模型回答三类问题
- 选择:从选项中挑一个,比如账单、销售或技术支持。
- 打分:按量表给某件事评级,比如客户投诉的紧急程度。
- 是或否:估计某件事是否成立,比如一封邮件是不是垃圾邮件。
举个例子:客户发来邮件说"我的订单被扣了两次钱"。我们不需要大模型写一大段解释,决策模型可以直接判定"账单"是最合适的部门,并给出这个答案的概率。对需要处理成千上万条类似请求的应用来说,这种能力很实用。
它是怎么工作的
流程很直接:给模型一些信息,定义一个问题和可能的答案,模型评估信息后返回决定和概率。最大的好处是答案结构化,应用可以直接使用,不必再从生成的段落里提取信息。
把现有大模型改造成决策模型,思路是用它的内部预测代替文字生成。大模型处理输入时会产生logits,也就是下一个token的原始分数。我们可以取出预设答案对应的分数,用softmax函数把它们转换成概率。
比如给商品评论分类,模型可能给出正面2.0、负面1.0的logit,经过softmax后大约是73%正面、27%负面。这些概率是相对于我们所选选项而言的。更进一步,可以把常规的文本生成层换成一个小型预测头,在决策任务上微调模型,让它一次前向传播就给多个选项打分,甚至回答多个问题。跳过逐token生成文字这一步,重复决策会更快、更高效。
开源方案已经跑起来了
Jev是TypeSafe通过API提供的专有模型。公司分享了一些思路细节,但没有公开完整架构、模型权重和训练配方,所以内部到底怎么运作仍不清楚。
与此同时,开源社区动作极快,发布了可以检查、微调、本地运行的替代品。有些项目已在特定基准上报告了更好的结果、更快的推理和可能更低的运行成本。值得关注的五个项目:
- Laya:轻量级决策模型,支持100多种语言,推理快,能自动选择合适的模型,可在普通硬件上运行。
- Kev:基于Qwen的模型家族,参数从0.8B到27B,支持长文档、自定义微调,可通过兼容Jev的API部署。
- Simple Jev:无需额外训练,直接用现有的Hugging Face模型做分类和打分,还支持视觉模型对图像做决策。
- Decider:设计目标是一次前向传播处理多个决策,每个问题最多支持255个选项,附带了俄罗斯方块和Pong等游戏的实验演示。
- SemIf:专注本地决策,支持NVIDIA GPU、Apple Silicon和CPU,带交互式浏览器演示和可复现的基准,用于比较准确率和推理速度。
有意思的地方在于,不依赖闭源API也能构建决策应用了。可以选小模型换速度,可以针对具体任务微调,也可以全部本地运行来降低API成本。
用llama.cpp在本地跑一个
Ollama和llama.cpp现在都通过兼容TypeSafe的/v1/systemone端点支持决策模型。Ollama支持Nimble、Tev1等模型,llama.cpp支持Laya、Kev、Julia-1和OpenJev。
用最新版llama.cpp试一下Laya,先启动本地服务:
llama update
llama serve -hf ggml-org/Laya-GGUF
模型跑起来后,另开一个终端发送客服请求:
curl http://localhost:8080/v1/systemone,请求体里把"我的订单被扣了两次钱"作为state,问题department设为choice类型,候选答案为billing(支付与退款)、shipping(配送问题)、technical(Bug与账户问题)。
模型会评估这条消息,返回选中的部门以及每个选项的概率。就这样,不用付费API,也能在本地试验决策模型。
它和现有大模型是搭档
决策AI最有意思的地方,是它能和现有大模型配合,让AI应用更快、更便宜。设想一个AI编程智能体,用小决策模型来选工具、决定要不要联网搜索、判断任务是否需要更强的大模型。不必为每个小决定都调用昂贵的推理模型,把它留给真正需要的任务。
实时应用是另一个方向。决策模型已经在游戏里测试,能在毫秒内选出下一步动作。类似的用法还可能出现在机器人、欺诈检测和自主AI智能体上。本地运行还能降低API成本,把敏感数据留在自己的硬件上。
最大的挑战是可靠性。如果一个模型说自己有95%的把握,我们得知道这个数字能不能信。随着这类模型进入真实应用,更好的训练、校准和人工复核会很重要。
热门跟贴