把一张照片、3秒的滋滋声、一段2秒的热狗摊视频,再加一个词"lunch?",一起丢给模型,它会怎么回答?

Clef Omni 给出的答案是:热狗,96.5%。

打开网易新闻 查看精彩图片

这不是一次普通的问答演示。OpenRouter 上线的 Decisions 功能,把音频和视频输入正式接了进来。四个模态——音频、视频、图像、文本——一次调用就能处理完,输出的不是 token,而是概率。

概率取代 token,意味着什么

过去调用模型,拿到的是一个个词,需要自己拼装、判断、再决定下一步。Decisions 换了个思路:直接给概率分布。

对做决策类应用的开发者来说,这个差别不小。你要的不是一段描述热狗的文字,而是一个可以直接进业务逻辑的判断结果,以及这个判断有多确定。

价格也摆在这里:输入 $0.15/M,输出免费。

Clef 家族同步扩容

Clef Omni 的定位是原生处理音频、视频、图像和文本,全部在一条流水线里完成,不需要为每种模态单独搭一套流程。

与此同时,Clef 家族还有两个动作:

  • Clef-flash 的价格下调
  • Clef 推理速度最高提升 2.0 倍

一个负责把多模态能力做宽,一个负责把成本和速度压下来,两条线同时在推。

多模态决策的入口正在变窄

四模态单次调用,加上概率输出和低价输入,这套组合指向的场景很明确:需要快速判断、且判断依据散落在不同模态里的任务。

热狗识别只是个演示。真正值得留意的是,当音频和视频不再需要单独预处理、单独调用,多模态应用的门槛又降了一截。