不是每个AI任务都需要一个完整的大模型来回答。有时候,你只需要一个模型帮你挑一个选项、打一个分,或者判断某件事是真是假。这类模型现在有了个叫法——"决策模型"。Jev就是其中之一,它通过Choice、Score和Noul三个功能,给出带置信度分数的结构化决策。
但Jev是闭源的。如果你想在本地跑模型,或者用自己的数据做微调,这里有5个免费的开源替代方案。Jev本身也不贵,但这些方案能让你对自己的部署有更多控制权。
1. Mammoth-1
Mammoth-1是一个27B参数的决策模型,由Baseten旗下的Base Labs开发,基于Qwen3.5-27B构建。在Baseten公布的Jev Decision Index 0.4评测中,Mammoth-1拿到71.24分,超过Perplexity Decider v1.2的69.42分和Jev 1.14的62.2分。
它适合文档分类、候选答案排序、把请求路由到正确的智能体这类任务。支持文本和图像,采用MIT许可证,可以自托管。不过27B的模型对硬件要求不低。
2. vLLM Semantic Router D3
D3有多个尺寸,参数从0.6B到27B不等,支持文本、图像和视频,返回的是应用可以直接使用的概率分布。如果你在搭建AI智能体,需要决定哪个模型、工具或工作流来处理某个请求,D3会派上用场。
GPU资源有限的话,D3-Mini和D3-Flash这类小尺寸版本也提供了选择。模型可以通过vLLM的System One端点本地部署。
3. Perplexity pplx-decider v1.2
这是Perplexity推出的27B决策模型,基于Qwen3.8构建,支持分类、候选打分和置信度估计。它的联合问题处理能力,可以让你把针对同一输入的多个问题放在一起评估,在搭建分类流水线或比较多个候选时比较实用。
模型采用Apache 2.0许可证发布,但访问其Hugging Face仓库需要认证。和Mammoth-1一样,它也是个大模型,本地部署前要先考虑GPU显存。
4. H2O-Lightning-4B
这是一个4B参数的紧凑型决策模型。简单的决策不一定需要大模型。客服工单分类、文档处理、请求路由这类任务,H2O-Lightning-4B值得一试,尤其是当你希望把部署要求控制在可管理范围内时。
它还提供了GGUF权重,方便做本地推理实验。模型采用Apache 2.0许可证。
5. Kev
Kev是最接近Jev的开源替代品之一。它基于Qwen模型构建,提供从0.8B到27B的四个尺寸,支持是/否判断、多选选择和带校准概率的数值打分。
Kev还提供了兼容Jev的API,开发者可以用TypeSafe Python SDK搭配本地托管的模型使用。你可以在自己标注的数据上微调它的模型,许可证同样是Apache 2.0。
这五个方案各有侧重:看重准确率可以看Mammoth-1和Perplexity Decider v1.2,多模态任务选D3,小规模部署用H2O-Lightning-4B,需要定制化就选Kev。另外,免费的模型权重不等于零算力成本;一个模型在基准测试上表现好,也不代表它就是你应用的最佳选择。选之前,先用自己的数据测一遍,再看清楚许可证和部署要求。说不定一个轻量级决策模型,就已经够你的应用用了。
热门跟贴