Liquid AI 发布了 d1-ultra,在 Artificial Analysis Decision Index v1.0 上拿下第一。支撑这个名次的,是幻觉率的大幅下降。
打开网易新闻 查看精彩图片
d1-ultra 是这家公司本月的第二次出手。月初他们刚发布 d1,现在 ultra 版本就跟上了。定价方面,d1-ultra 为每 100 万输入 token 收 0.042 美元,d1 是每 100 万输入 token 收 0.02 美元。和 d1 一样,d1-ultra 只按输入 token 计费。
几个关键数据值得逐条看:
- d1-ultra 以 65 分领跑 Artificial Analysis Decision Index v1.0,排在近期发布的 Jev 1.14(57 分)和 GLiDE、Microsoft-Decision-1(均为 54 分)之前。
- 65 分的主要驱动力,来自 AA-Omniscience-Decision 上低得多的幻觉率:d1-ultra 的非幻觉率为 85%,相比 d1 的 2% 大幅提升。非幻觉率指的是模型没有答对的问题中,选择"我不知道"的比例,衡量的是决策模型对自身知识边界的判断能力——知道什么时候不该答。
- 幻觉率下降的同时,准确率也在降。d1-ultra 的准确率(答对问题的百分比)为 32%,比 d1 的 41% 低了 9 个百分点。
- d1-ultra 的单任务耗时 92 毫秒,在所有被测决策模型中排第三低,仅次于 Jev 1.14 的 78 毫秒和 Celeris-1 Decision 的 63 毫秒。
- 定价上,d1-ultra 为每 100 万任务 32 美元,与 Celeris-1 Decision(每 100 万任务 32 美元)和 Microsoft-Decision-1(每 100 万任务 31 美元)基本持平,是 d1 和 Mercury Decide(均为每 100 万任务 15 美元)的两倍多,但不到 GPT-6 Luna(Decisions)每 100 万任务 79 美元的一半。
把非幻觉率和准确率放在一起看,d1-ultra 做了一次明确的取舍。它更愿意说"我不知道",而不是硬答。85% 的非幻觉率意味着,在它没答对的问题里,绝大多数情况下它选择了不回答。代价是准确率从 41% 掉到 32%。
这个取舍是否划算,取决于用在什么场景。对决策类任务来说,一个敢说"不知道"的模型,和一个答错也面不改色的模型,风险完全不同。d1-ultra 把筹码押在了前者。
速度方面,92 毫秒的单任务耗时让它处在第一梯队,但并非最快。Jev 1.14 和 Celeris-1 Decision 都比它快。
价格上,d1-ultra 没有走低价路线。相比自家 d1 翻了一倍多,和同档位的 Celeris-1 Decision、Microsoft-Decision-1 站在同一水平线,但明显低于 GPT-6 Luna(Decisions)。
从 d1 到 d1-ultra,Liquid AI 用一个月时间把非幻觉率从 2% 拉到 85%,代价是准确率让出 9 个百分点。这笔账怎么算,得看你的决策场景更怕答错,还是更怕不答。
热门跟贴