Ollama 发布了三个类 Jev 模型，可以部署在本地，以 API 的形式提供服务，这三个模型分别是 nimble（9B）、tev1（4B）、tev1（0.8B）。
安装模型也非常简单，以 nimble 为例子：
ollama pull nimbleAPI 以 /v1/systemone 端点提供服务，Ollama 通过三个例子介绍了 nimble 的用途，分别是工单分类、模型路由、内容审核。
比如模型路由的例子：
curl http://localhost:11434/v1/systemone -d '{
"model": "nimble",
"state": "Design a sharded database schema for a payments ledger.",
"questions": {
"model": {
"type": "choice",
"instructions": "Which model should answer this prompt?",
"criteria": {"gemma4": "Small model", "kimi-k3": "Large model"}
}
}
}'让 nimble 根据prompt选择一个合适的模型去处理，输出如下：
{
"model": "nimble",
"answers": {
"model": {
"type": "choice",
"choice": "kimi-k3",
"probabilities": {"gemma4": 0.151, "kimi-k3": 0.849},
"confidence": 0.388
}
},
"usage": {"input_tokens": 161, "output_tokens":1 }
}Ollama 在 Pac-Man 游戏中，看看通过 nimble模型决策走的每一步，速度非常快，在 M5 Max 上运行，每一次调用就 91 毫秒，下面的图可以看看：
打开网易新闻 查看精彩图片
Ollama 也比较了几个决策模型大准确率，感觉 TypeSafe 都要苦了，真的两年成果吗：
打开网易新闻 查看精彩图片
大家可以去试下。
热门跟贴