对话的军备竞赛结束了难点在验证,不在生成5.5-Flash 是配套动作

从答题,到做实验

ERNIE Evolve 的意义不在跑分。它把研发流程本身,变成了模型的任务。

11 月 10 日,Tech AI Magazine 报道了百度 ERNIE Evolve 的进展。这套自动化研究系统在代码编辑、实验验证类任务上超过海外同类产品,同期 ERNIE-5.5-Flash 完成了推理速度优化。

跑分新闻天天有,这条不一样。区别在任务类型:不是回答问题,是完成研究。

打开网易新闻 查看精彩图片

文心一言的标识。百度的大模型产品线,正在从对话工具转向研发工具。

过去三年,大模型竞争的主线是答题。刷榜、对战、排行榜,全部围绕问答质量展开。这条线已经卷到尽头,头部模型的答题能力,对普通用户来说差异越来越小。

自动化研究系统是另一条线。给它一个课题,它自己查资料、写代码、跑实验、验证结果。这条线的对手不是别家聊天机器人,是研发流程本身。谁的模型能把研发周期压缩一半,谁就拿走企业级市场。

打开网易新闻 查看精彩图片

模型能力的对照表。工程类指标取代对话体验,成了发布会的核心内容。

答题能力决定模型卖不卖得动,研究能力决定模型替不替得了人。

让模型写代码不难,让模型确认自己写的代码对不对,很难。Evolve 的报道里,最值得注意的不是生成,是实验验证类任务这七个字。验证意味着模型要能设计对照、判断异常、承认失败。这三件事,恰恰是幻觉问题最集中的地方。

百度敢把验证能力拿出来对标,说明内部已经跑通了相当比例的场景。跑通的标志不是成功率数字,是敢不敢让外部任务进来。

打开网易新闻 查看精彩图片

百度大厦。搜索时代的巨头,把第二次增长押在了模型的工程能力上。

同一天优化推理速度,不是巧合。自动化研究是重度推理场景,一次实验可能要跑几百轮调用。速度慢一倍,研究成本就高一倍。Evolve 负责打开场景,5.5-Flash 负责压低成本,两件事必须同时成立。

其他厂商会跟上。自动化科研在接下来半年会成为发布会的标配词汇,就像两年前的多模态。区别在于,多模态人人能演示,自动化研究人人会被演示打脸。真跑通和假跑通,三个月见分晓。

打开网易新闻 查看精彩图片

文心一言的产品视觉。从 C 端产品到研发底座,定位切换的难度被市场低估。