一个0.8B的模型,在公开评测上把上一代27B甩在了身后。这不是参数量的胜利,是任务定义变了——vLLM Semantic Router 团队刚刚发布的 Decision 3.0,不再让模型"写答案",而是让它"给概率"。

Decision 3.0 是一组多模态决策模型,一共 5 个尺寸,从 0.8B 到 27B,全部采用 Apache-2.0 许可。它们能读文本、JSON 和图像,然后针对这些输入回答带类型的问题。对开发者来说,这是一条不用解析生成文本、就能完成分类、路由和请求拦截的捷径。

打开网易新闻 查看精彩图片

不生成文字,只吐概率

传统做法是给大模型写提示词,再解析它吐出来的文字。Decision 3.0 换了个思路:你传入一个状态(文本或 JSON)、可选的图像,以及若干命名问题。每个问题要么是选择题,要么是是/否判断,要么是一个量表上的打分。

模型在一次调用里回答所有问题,并为每个答案返回一个概率。这套模式被团队称为路由器和护栏的"系统一"——你拿到的是经过校准的分数,可以直接设阈值卡线,而不是去猜一段自然语言到底什么意思。

每个模型都是 Qwen 基座的微调版本。27B 的 d3 建立在 Qwen3.8-27B 之上;另外 4 个较小的模型则基于 Qwen3.5 检查点,分别是 0.8B、2B、4B 和 9B。

每个尺寸都带视觉编码器

五个尺寸全部配备了视觉编码器:d3-lite 里是 0.10B,d3-nano 和 d3-mini 是 0.33B,d3-flash 和 d3 则是 0.46B。请求可以接受多张 PNG、JPEG 或 WebP 图像,每张图最高读取 1.6 百万像素。每个问题都能看到全部图像。

每个问题都会对输入做一次独立的前向计算。安装目标锁定 transformers==5.17.0,可选的 flash-linear-attention 包能加速线性注意力层。加载时需要设置 trust_remote_code=True。

打开网易新闻 查看精彩图片

评测数据来自模型卡。研究团队给出了 Jev Decision Index 0.3.1,这是一个对 TypeSafe 的 Jev 决策系统开源复现进行排名的榜单。d3 的分数是团队内部评测结果。

在文本任务上,d3 拿到 64.1,领先 Perplexity Decider v1.1 的 62.8 和 Jev 的 60.1。有一个需要注意的地方:Torchcast Decision 27B 在公开套件上的分数更高,为 65.1 对 64.9。在视觉榜单上,d3 拿到 71.6,Perplexity Decider v1.1 是 70.6。

尺寸故事才是重点

d3-flash(9B)得分 59.0,高于 Decision 2.0 的 27B 版本所取得的 55.9。在公开套件上,相比 Decision 2.0 的提升幅度从 +8.0(27B)一直到 +15.1(0.8B)。

但各领域的领先并不均匀。在公开视觉任务上,d3 在 InfographicVQA 上拿到 97.3,在 Mind2Web 上拿到 89.9,两者都是近似重建的版本。它在 MMMU-Pro 视觉任务上偏弱,只有 46.2;在 Hateful Memes 内容审核任务上是 44.6。

所有模型都在 AMD Instinct MI325X GPU 上训练。模型卡中给出的中位数延迟,对应的是单张 AMD Instinct MI325X、每次处理 1 个请求的场景。

对做路由和护栏的团队来说,这组模型真正改变的是工作流:过去要写提示词、调格式、解析输出、处理模型胡说八道;现在换成传入状态和问题,拿回一组可以卡阈值的概率。分类、路由、拦截三件事,被压缩进一次前向计算。

模型卡、Hugging Face 集合和 vLLM Semantic Router 的 GitHub 仓库都已放出。项目全部功劳归研究团队所有。