一个AI模型,不写邮件、不写代码、不聊天,只干一件事:给选项打分。做这件事的人来自OpenAI。

这家创业公司叫TypeSafe AI,产品名叫Jev。联合创始人兼CEO Diogo Almeida曾在OpenAI工作,是InstructGPT研究的作者之一——那篇研究为后来的ChatGPT打下了基础。现在他做的模型,方向几乎和聊天机器人相反。

打开网易新闻 查看精彩图片

它不生成文字,只做判断

Jev的核心逻辑很直接:开发者定义好问题和可能的答案,模型负责给这些选项打分。

它不输出一段回复,而是输出判断和概率。官方文档里的例子是这样的:一家网店的客服收到顾客来信,说自己被重复扣款,要求退还第二笔钱。

这封信在被人处理之前,先得分类——是关于付款、配送,还是退货?顾客是要钱回来,还是只要一个解释?

开发者把网店软件接到Jev上,把这些问题和允许的答案一起定义好。每来一条新消息,软件就把顾客的文本交给Jev。拿回来的不是一封回信,而是类似“付款问题”这样的标签,外加一个“顾客想要退款”的概率值。

接下来网店软件可以挂上固定规则:付款问题转给财务,退款请求打上标记。标签不明确时,由人工复核。Jev只负责给出评估,具体怎么处理由软件按预设规则决定。

这不等于钱已经退回去了。是否真的重复扣款,还得之后对着实际交易记录核实。确认后的状态,可以交给另一个聊天机器人告诉顾客。单就分类这件事,不需要它。

快,是它主打的卖点

TypeSafe称,Jev的响应时间是70到500毫秒,比目前最快的语言模型还要快很多倍。

做到这一点的方式是跳过逐字生成的过程。公司表示,模型会并行计算多个输出。在同一次调用里增加更多问题,响应时间几乎不增加。

这个速度意味着一种新的用法:在AI助手的每一次回复之前做一次检查。草稿和此前的对话矛盾吗?它是不是声称了一笔顾客账户里根本没有记录的退款?TypeSafe在自己的示例工作流里描述了这类检查。

公司还列出了销售和客服场景里的更多可能用途,比如识别购买意图、按主题给请求分类,或者判断什么时候该由人工接手。

结构化输出不是新东西,但速度是

普通语言模型其实也能输出预设的分类和数据格式。OpenAI就提供了Structured Outputs来做这件事。

但一个结构化的响应格式本身,并不等于Jev所强调的那种速度和定位。TypeSafe把赌注押在“窄判断”上:不追求通用,不追求会聊天,只在一个具体环节里做到足够快、足够便宜。

代价是限制很紧。开发者必须先想清楚要问什么、答案有哪些,模型才能工作。它不会自己理解一封来信的全部含义,也不会替人做决定——决定权在软件规则和人工手里。

换句话说,Jev把自己从“会说话的AI”变成了“软件里的一个判断函数”。这个定位不性感,但可能正好卡在很多产品的真实需求上:不是要一个能聊天的助手,而是要一个能在几十毫秒内把请求分好类的零件。