打开网易新闻 查看精彩图片

眼下的竞争和未来的焦点。

文丨实习生裴雨桐

访谈丨程曼祺

2026 年第二季度的 AI 季报,我们继续邀请 MoE Capital 的创始合伙人 Henry Yin 和我们分享 AI 行业在这个季度的最新观察。MoE Capital 是一家硅谷早期 AI 投资机构,从硅谷 AI 研究员网络中捕捉技术发展趋势。

本次季报主要沿着两条脉络来看 AI 的进展:第一条脉络是推进智能前沿:

- OpenAI 和 Anthropic 间的竞争:上季度季报预言的 Codex “反扑”,本季发展如何?

- RSI(Recursive Self-Improvement,递归自进化):延续上季季报的 AutoResearch/自进化的讨论,RSI 在 Q2 大热,Anthropic 专门写了 RSI 长文《When AI builds itself》,更多新创业公司正在涌现。7 月的第一周内,我们就了解到数个在这一方向创业的新团队,有些已经官宣,更多还在水下。

- Robotics 和物理 AI:不仅 Sam Altman 在 5 月底官宣了 OpenAI Robotics 团队,行业传言, Anthropic 也在考虑这个方向。

第二条脉络是智能的扩散:

- 更多企业客户想要自己的模型——这成为 Fireworks、Applied Compute 等美国科技公司和智谱 GLM 等中国开源模型的共同机会。

- 交互创新:OpenAI 带来了 Record and Replay,Claude 终于接入 Slack 群协作(Claude Tag);Thinking Machines Lab 带来创新的流式语音模型 Interaction Model。

最后,我们补充聊了 Google、Meta、xAI 的近况,还有很久没上头条的 Midjourney,它居然做起了超声波医学影像设备。创始人 Holz 聊起新业务时说:“我们甚至还没用到 AI。”

以下是播客的文字整理,有部分精简。

Q2 总览与上季度回顾:OpenAI 的反扑已经发生,Token 消耗大战快速平息

晚点:欢迎收听晚点聊 2026 年 Q2 的 AI 季报,这次我们继续请到 Henry(MoE Capital 创始合伙人)来聊这个季度他的观察和进展。上个季度的话题有哪些延续到了这个季度,哪些发生了变化?

Henry:上个季度我们有几个方向性的判断,这个季度都变得更清晰了。

第一,OpenAI 在 coding 上的反扑基本已被验证:上季度我们说 Anthropic 最大的风险是 OpenAI 如果重新聚焦,战斗力会非常强;这个季度可以看到 Codex 的势头明显起来了,很多开发者从 Claude Code 转向 Codex,尤其是在 Anthropic 自己出现限流、价格调整、口碑波动之后,OpenAI 抓住了这个窗口期。

第二,上季度聊过 Andrej Karpathy 提的 auto research 项目,这个季度它从比较前沿科幻的概念变成了一个比较明确的研究和创业方向。

第三,computer use 也往前走了一步。上季度说 computer use 值得期待,因为它本质上是数字世界里的机器人;这个季度 OpenAI 出了一个基于 computer use 能力的新 feature,后面可以展开聊。

最后是开源,上季度最火的话题,当时说它是一个灯塔效应:自己可能不是终点,但会带来一种水平方向的扩散。这个季度它自己的热度降下来了,但很多前沿想法已经被 Codex 和 Claude Code 吸收进产品功能里了。

晚点:你会用什么脉络和框架来看 Q2 的进展?

Henry:第一部分是如何继续推进前沿智能;第二部分是如何把已有的智能加速在社会里扩散。

第一条线里最重要的能力有两个:一个是 coding,另一个是长程的 agency 能力。Coding 现在已经不只是一个应用场景,它既是当下最重要的收入来源,也是未来很多前沿突破的基础能力;长程 agency 能力则决定了 AI 能不能持续完成更长、更复杂的任务。这两种能力组合起来,才能真正实现 auto research 乃至未来的 RSI。这块最重要的进展来自 OpenAI、Anthropic,以及一些新公司比如 Recursive、Mirendil、Core Automation,都在往这个方向探索:他们做的都是自动化研究,或者说 RSI 方向。

第二条线是前沿智能的扩散:frontier lab 创造出的新能力,会通过产品、API、开源模型、企业 workflow,以及 UI/UX 乃至硬件,一层层扩散到社会里。这个季度可以看到 frontier lab 在想各种方法加速这个扩散过程:一方面是让 AI 更深入企业,企业会开始考虑该用什么样的模型——是继续用 OpenAI、Anthropic 的模型,还是用开源模型,或者自己的模型;另一方面是如何让 AI 更自然地进入人的工作和生活,这会带来很多 UI/UX 和产品形态上的创新,比如 Claude 有 Claude Tag,OpenAI 有 Record and Replay,这些都是 Q2 智能扩散的新进展。

所以接下来是两件事同时发生:一是如何在前沿把智能继续往上推,这会决定 AI 能力的天花板;二是如何把已有的智能往整个社会扩散,这会决定 AI 真正改变世界的速度。

智能前沿

Anthropic vs OpenAI:模型、coding agent、组织

晚点:我们就从第一条线——推进前沿智能开始。第一个话题延续上季度,也就是 OpenAI 和 Anthropic 这两大 frontier lab 之间的竞争。我们可以先从这个季度的新模型说起,因为这仍然是后续一切竞争的原点,刚好第二季度两家都有重磅发布。

Henry:这一季度真的非常 exciting。首先,Anthropic 发布了吊了大家胃口很久的 Mythos 5。这之后,Fable 5 也跟着上线,他们的基模是一样的,主要区别在于:Mythos 5 面向可信任客户,没有加安全护栏;Fable 5 面向所有人,加上了安全护栏。能力非常惊艳,比如在 SWE-bench Pro 上是 80.3%,相比上一代顶尖模型 Opus 4.8 的 69.2%,提升了大概 11 分;在 Terminal-Bench 上也做到了 88 分。

但整体的发布可以说是 “史诗级能力,灾难级发布” 的反面教材,有几个问题反馈比较凶。一是过度封锁:因为加了安全护栏,遇到它觉得不合适的问题会拒绝回答,有时还会退回到 Opus 4.8。官方说大概在小于 5% 的任务上会回退,但网友实际使用发现问题不少,比如聊癌症会被当成生物安全问题拒答,问心脏方面的问题也会被拒绝,这个安全护栏有点过于神经质。

第二个问题可能更严重,虽然很快被修复了:他们在系统卡里提到,当任务涉及前沿 LLM 或 ML/AI 研究时,可能会在不告知用户的情况下静默降智,通过改写 prompt 或 steering vector 静默地把能力降下来。这如果算 misalignment 的话,几乎是定义级别的错误,所以被大量 AI 研究员吐槽。

晚点:misalignment 翻译成中文是什么?

Henry:非对齐。对齐的一个基础假设是,当人让 AI 完成一个任务时,AI 会忠实地尽自己所能去完成。而这恰恰是 Fable 的问题:在不告知的情况下,不尽力完成任务。

晚点:这件事第一时间在 X 上引起了很多人讨论、吐槽。

Henry:对,因为 Anthropic 一直以做最 align 的模型的 frontier lab 著称,这也是他们自豪的点,不过他们几个小时后就做了修正。现在如果拒绝回答,会主动告诉你 “我在降智到 Opus 4.8”。

OpenAI 这边,刚发布的 GPT-5.6 没有 report SWE-bench 分数,但 report 了 Terminal-Bench:达到 91.9%,是历史上第一个超过 90% 的模型。

晚点:SWE-bench 是一个偏 coding 的 benchmark,OpenAI 在 Terminal-Bench 第一次上 90 意味着什么?

Henry:Terminal-Bench 测的是在终端里完成一些多步骤、需要用工具的任务,可以认为它测的是偏长程的 agency 能力。

晚点:偏长程,意思是还没有那么长程?

Henry:对,它还没达到比如几个小时甚至超过一天这种任务的长度,但至少是多步的了。

晚点:GPT-5.6 在 Agents' Last Exam 这个 benchmark 上表现也比较惊艳,是目前所有模型里第一个超过 50% 的。

Henry:对,这也是一个比较不错的分数。除了这两个 benchmark,他们还 report 在生物和网络安全上能够匹敌 Mythos Preview 的成果。

晚点:为什么这次没有公布 SWE-bench Pro 上的分数?这在以往模型发布中是惯常操作。

Henry:OpenAI 今年 2 月发过一篇文章,说 SWE-bench Verified 已经不是一个很好的衡量 coding 能力的 benchmark 了,因为它已经被持续污染,他们会推荐 SWE-bench Pro。但这次为什么没公布这个分数,外界也不清楚具体情况。

晚点:现在 GPT-5.6 和 Fable 类似,都是限量使用,它开了一个可信名单,只有这些人能用最先进的模型。所以今天也有很多人在讨论,美国政府的这种监管以后是不是会变得常态化。

Henry:补充一下,这两个模型发布后一个很大的变化是,现在不是所有人都能用最前沿的模型了。Fable 发布三天后,美国政府就下了禁令,不允许 Anthropic 给外国人提供 Fable;因为 Anthropic 无法判断用户是否是外国人,所以直接把 Fable 全球下线了。我们现在录节目的时候,它刚刚限量重新上线了 Fable。GPT-5.6 发布时也一样,美国政府要求只能对美国政府批准的实体开放这个能力,所以目前大概只有 20 家像英伟达、亚马逊这样的客户能使用 GPT-5.6 。

晚点:总结来说,第二季度的新模型上,一边是 Fable,一边是 GPT-5.6,你觉得两家的对比怎么样?

Henry:如果看 benchmark,我觉得各有千秋。但实际使用体验上,GPT-5.6 刚发布,还没有太多用户能够使用;Fable 发布了三天,总体反馈不多;Fable 我们可以看到网上有一些 demo,比如能够 one-shot 《我的世界》,或者《红色警戒》这种级别的游戏,能力上应该是比之前有一个大版本的跃进。

晚点:接下来进入更产品化和商业层面的竞争,也就是两家公司在 coding 相关产品,以及通用 agent 产品上的竞争。上季度我们聊到 Anthropic 的隐忧——OpenAI 的 coding agent Codex 可能会反扑,你也提到这件事这个季度已经有苗头了,能感觉到周围很多人在迁移。可以讲讲你感受到的迁移状态,一些事实、背后原因,以及宏观上势头反转的情况吗?

Henry:先说我身边的感受,我觉得最大一波迁移潮可能是 Claude 4.7 的时候。4.7 是一个明显大家不太喜欢的模型(4.8 口碑有回升),4.7 当时主要目的是降本,但因为不满意它的表现,有大量用户从 Claude Code 迁移到了 Codex。

另外,Anthropic 五月份在定价上有变化,不想再让第三方 harness 按 subscription 的价格用 token,而是要按 API 价格算,这一波又流失很多用户。OpenAI 很好地抓住了这个机会:Sam 在 X 上说,最近 30 天内愿意从 Claude Code 迁移到 Codex 的企业用户,送两个月免费,这又拿了一波客户。所以宏观上看,Codex 的 usage 大幅上升;当然 Anthropic 最近几个月的 revenue 增长也还是非常猛,并且好像在 Q2 出现了首度盈利。

晚点:华尔街日报、路透等媒体都有报道说 Anthropic 出现了盈利,这不是公司官方放出来的,但都是比较权威的财经媒体,应该相对靠谱——大概是说它二季度有 5.6 亿美元的营业利润。

Henry:还有一个非官方的营收数据,Anthropic 五月早期的时候预期年收入大概 470 亿美元,到五月底增长到 540 亿美元,到六月中增长到 620 亿美元,增速非常猛。对比一下 OpenAI,六月中的时候大概是 400 亿美元。

晚点:六月中 Anthropic 和 OpenAI 是 620 亿对 400 亿,有 1.5 倍的差距。这个差距如果比第一季度,应该是拉大了——不过结合前面说的价格战来看,用量上的差距也许没有这么大,因为 OpenAI 送了很多免费的东西,价格战比较激进,因为它是相对落后的一方,所以可能有一些用户增长没反映到收入上。

Henry:因为现在 CodeX 很多人 20 美元每月就能用饱,但 Anthropic 可能至少是 100 或 200 美元。

晚点:相当于相同的用量,就差了 5 到 10 倍的收入,OpenAI 在争夺份额上还是挺激进、挺狠的。你自己投的一些公司,他们有让员工去用 Codex 这种现象吗,比如之前用 Claude Code,现在两个都用?

Henry:用 Devin、Claude Code、Codex 的都有。用 Devin 是因为 Devin 和 Slack 的合作做得不错。Devin 是最先推出 AI coder/AI software engineer 和 Slack 合作的,当然现在这已经是所有人都有的功能了,不算一个非常新的东西,只是它体量比较大。

晚点:这两家公司的竞争还有一点,虽然这季度还没发生,但正在进行中,就是 IPO 的竞争。目前看应该是 Anthropic 更快,递文件的时间更早。你觉得谁先上市,对两家公司影响大吗?

Henry:我觉得影响不会很大,因为时间差不了太多。

晚点:你觉得 OpenAI 如此激进地打价格战,会怎么影响它的 IPO?因为这很可能会在财务上反映成,比如毛利相比 Anthropic 会有差距,收入体量现在也已经有比较大的差距了。

Henry:我觉得他们可能还是相信现在用户和数据很重要,如果能通过这种手段把更多用户拉回来,收集更多数据,对他们模型进一步提升和赶超应该是有帮助的。

晚点:其实我还是觉得他们的做法挺有魄力的:一方面在准备登陆二级市场,另一方面从长远考虑还是采用了比较激进的竞争手段,没有因为要上市就想让财务数字更好看。

关于这两家的竞争,还有一个相关的第三方,就是 Cursor 退场。上季度我们聊到 Cursor 处境比较危险:在 Claude Code 和 Codex 的压力下,到了第二季度它已经不再是一家独立公司了,被合并了 xAI 之后的新主体以 600 亿美元收购了。这在行业里引起的联动和变化是什么?

Henry:首先 Cursor,包括所有做 coding 的公司,短期和长期要分开看:短期这些公司的营收增长都非常强劲,但长期在 Claude Code 和 Codex 的双重打压下,公司的前景在哪里,我觉得 Cursor 可能主要就是在这方面遇到问题。

收购价格我觉得其实是一个非常好的退出——600 亿美金,应该是历史上最大的创业公司被收购的价格。如果和它的竞争对手 Windsurf 仅二十多亿美金被 Google DeepMind 收购相比,有接近 30 倍的差价。如果大家用过 Windsurf 就知道,它被收购之前用户体验几乎和 Cursor 完全一样,所以我觉得 Cursor 以行业第一的价格被收购,是非常好的退出结果。

晚点:它刚好赶在一个很好的时间点:xAI 自己出了比较大的波动和问题,他们有需求要收这样一个团队;同时 SpaceX 刚上市,需要去做一些更完整的布局,或者讲一些故事,也有这个需求,刚好卡在这个点上。

Henry:准确地击中了马斯克的需求。他从去年年底开始非常看重 coding 这块,给了 xAI 内部团队很大压力去做 coding,也导致 xAI 团队重要的人都离职了,所以他现在非常急需收一支团队,把 coding 这个故事接着讲下去。

晚点:你觉得还有什么买家接下来可能会需要这一类公司?Google 有可能做类似的动作吗?

Henry:我觉得 Google 这个季度战略上在给它之前的传统强项多模态 “降级”,给 coding 继续 “升级”。不过它之前已经收购了 Windsurf 团队,所以我不知道它是不是还会继续通过收购团队的方式来补。

晚点:Meta 呢?

Henry:虽然 Meta 裁了很多人,但他们的 TBD 已经招了很多很好的 researcher,大概会用自己的团队去追这件事。

晚点:总结一下这两家公司的竞争,你觉得他们现在核心比拼的是什么?

Henry:模型能力上两家现在旗鼓相当(当然还要看 5.6 真实使用起来的反馈),他们在产品、变现,以及整个生态系统上面,应该是一个系统化的竞争。

晚点:你觉得 “模型即产品” 在多大程度上成立?

Henry:我觉得 “模型即产品” 在这两家的竞争中不完全成立。我在和很多 OpenAI 研究员聊的时候,他们会认为他们的模型做得很好,和 Anthropic 是同一个 level 的,但在产品和推向市场方面是一团糟。所以这两个不完全画等号。至少有一些 OpenAI 研究员的观点是,他们收入各方面做得没有 Anthropic 好,是产品和 go-to-market 的问题。

晚点:这个想法挺有意思的。因为一般来说大家的印象是:Anthropic 是一个更精简的团队,更 focus 在少数方向上,给人的印象是研究做得更多;而 OpenAI 已经有七千多人,职能相对更齐全,包括最近也招了很多 FDE(前向部署工程师),也在做 to B。但反而他们内部研究人员认为自己的产品和 go-to-market 做得不够好,你觉得这个评价客观吗?

Henry:我们可以看到 OpenAI 在这方面的管理层也经常在换,不是非常稳定。当然 OpenAI 是个很大的公司,但我这也不止听一个 OpenAI 研究员有这方面的看法。我觉得 Q1 或者说早期确实是这样的——如果你在 X 上看,Claude Code 的声量会比 Codex 大很多,在产品宣传、社区构建上要比 Codex 好很多。Claude Code 在 X 上有几个大的 influencer,新功能发布时能以更快速度触达用户。

晚点:你提到其中一个点是产品和走向市场的能力,那如果更完整地说,这个系统里还包括什么?

Henry:我觉得有一个点是 Anthropic 的人才 retention 一直做得很好。从 Anthropic 离职的人的数量,应该远小于其他 frontier lab。有人说是因为 Anthropic 现在已经有点 “邪教化”,洗脑非常成功;有人说是因为他们的 option 太贵了,走了以后付不起钱买那个 option。但我觉得 “人” 其实是一个很重要的因素。

晚点:你说它是一个有点宗教化的组织,因为这个组织的愿景比较独特和强烈,所以最开始吸引来的人就比较信这套理念,所以走的人比较少吗?

Henry:对,我觉得它的愿景是非常强烈的,另外还有个小道消息,就是面试的时候价值观筛选是非常严格的。

晚点:历史上有什么类似的公司吗?

Henry:我觉得还真不多,他们是非常认真地看待自己做的这件事,所以也会去和教皇合作,发表一些 “宗教怎么和 AI 结合” 相关的内容,他们是真的在思考未来这个 AI 世界应该怎么构建。

晚点:现在有一些人由于 Anthropic 出现一些 “反人设” 的行为,类似你刚才提到的静默降智,对这家公司有很多非议和争议,不太相信它宣称的一些理念,比如做非常安全的 AI、把对齐视为非常高的优先级。你还是觉得他们确实是在践行这些东西的吗?

Henry:硅谷这边对 Anthropic 在对齐上的投入应该还是比较认可的,不能代表所有人。我聊到的一些 OpenAI 研究员也认为 Claude 在对齐上做得比 OpenAI 更强。

晚点:这个东西如果反映在体验上,是不是也会带来更好的体验?大家用的时候能感觉出这个区别吗?

Henry:这里可以举一个例子,OpenAI 最近发了一个研究,说人其实并不太喜欢听到真实的反馈,如果模型的 “谄媚程度” 上升,人反而会更喜欢。所以如果往这个方向去优化,会增加模型的谄媚程度。

我想大家如果同时用过 Claude 和 ChatGPT,会感觉到 ChatGPT 更会提供情绪价值,而 Claude 有时候会给你 “当头一棒”,更说实话一些。这可能也是在 training 目标和对齐目标上,两个公司有一些不一样的价值观。

RSI 递归自进化,Anthropic 的长文、Recursive Superintelligence 的 3 个 sota

晚点:我们进入推进前沿智能的第二部分,就是 RSI(recursive self-improvement,递归自我改进),你可以先说一下这是什么意思,以及为什么大概四五月份开始,这个方向越来越多人讨论?

Henry:Recursive self-improvement 翻译成中文就是递归自我改进,听起来很复杂,但本质很简单:我们都想要一个能自我改进、不断自我提升的 AI 系统。这个概念在 AI 里算是 “圣杯” 一样的存在,过去几十年已经被反反复复拿出来尝试。最近一波是因为 coding 能力和长程 agency 能力变强了,所以又看到了希望,开始新一轮尝试。

RSI 我觉得和上一期聊到的 auto research 概念紧密相关。Auto research 也就是自主研究,是说 AI 像研究员一样工作,能读论文、提假设、写代码、跑实验、分析结果,最终得出新的技术结论。但 RSI 是在 auto research 的基础上更进一步:这个 “研究员” 不光产生新知识,还会在研究过程中不断改进自己,使得下一次做研究时能力变得更强,这样就达成了 RSI 的能力。

晚点:也就是说,它自己产出更好的东西来帮助自己变得更好,然后又能产出更好的东西,又能帮助自己变得更好,这样一个循环、螺旋式上升吗?

Henry:对,一步一步螺旋上升。一旦做到,最大的意义是人可以从这个 loop 中抽离出来:只要不断给这个 AI 系统投入算力,它就会不断提升自己的智能,那我们就真正实现 ASI 了。

晚点:在 “递归自我改进” 里,“自动化”(人是否在循环里)和 “递归”(它是以一个相似结构在比较快地往前推进),这两件事哪个更第一性、更重要?

Henry:我觉得得先自动。我们可以看到一个趋势,就是 AI 能改进的系统部分会越来越大:最早期 AI 是做超参数优化,帮我们做超参数搜索;后来 Google 做了 neural architecture search,也就是 AutoML,让 AI 帮我们搜索一个网络最好的架构是什么样的,这是 2017 年的事情;再往后,最近 AI 可以帮我们做 harness 的优化;我觉得再往后,AI 可能能一点点升级,最后把整个系统都纳入它的优化范围,上述所有事情它都能做,那就实现完全的 RSI 了。

晚点:在 RSI 上,大公司和一些新公司这个季度有什么具体进展?

Henry:这个季度有两家公司在 RSI 上进展比较大。第一家是 Anthropic,他们 6 月 4 日发布了一篇文章叫 When AI builds itself,分享了很多内部实践和对未来的展望。第二家是 Recursive,他们也在六月份发布了第一个成果,展示了 RSI 早期未来的一个缩影。

Anthropic 这篇 When AI builds itself 里有几个关键数字:第一,截至五月,Anthropic 代码库里合并的超过 80% 的代码都是由 Claude 写的;第二,2026 年 Q2 开始,工程师人均每天合并的代码量是 2025 年之前的八倍;第三,四月有一个案例,他们让 AI agent 端到端完成一项 AI 安全研究,这个 AI agent 累计工作了 800 个小时,效果比人类研究员做一周的效果还要好不少;最后,在一个让 AI 优化代码 performance 的测试里,Mythos Preview 能做到大概 52 倍的加速,而 Opus 4.4 系列只能做到三倍,一个熟练的人类研究员 4 到 8 小时能做到四倍——有非常大的提升。

晚点:你前面提到这篇报告还描绘了比较有意思的未来,具体是什么?

Henry:Anthropic 设想了三个未来世界。第一是模型能力不会再变强了,那我们现在要考虑如何利用已有的模型能力服务全人类;第二个事件是模型能力还会继续变强,但可能不是指数级的,而是现在这些拥有较强模型的公司,用这些模型开发下一代模型,会有一个复利效果;第三是 RSI 完全实现,人类在训练 AI 流程中的角色会大幅缩小,进度完全只受算力限制。

在这三种里,Anthropic 认为第一种世界的可能性非常小——除非世界发生什么变故,比如电力或算力突然没有了。他们认为我们现在基本上已经处于第二种世界:auto research 实现了,但 RSI 还没有实现。

目前研究员自己的表达是:他们可以给一个想法,AI 可以以数量级提升的速度帮他们把这个想法从头到尾完成。但研究员自己其实会是那个卡点,因为 AI 现在的 “研究品味” 还是不太行,还是需要人来提供,但人的脑力和时间是有限的。

第三种世界里,AI 能不断训练下一代 AI,相当于自然繁衍,未来可能不是一两个月发一个新模型,而是每天、甚至每小时都会有 AI 自己创造出的新模型。他们觉得这个未来最大的风险还是回到对齐上:如果基模本身有一点对齐的瑕疵,这个瑕疵会在 AI 不断繁衍、自我改进的过程中不断放大,当 AI 比我们更聪明的时候,我们就有更大的失控可能性。所以基于第三个世界的设想,他们提出是不是应该有意放缓 RSI、或推进前沿智能的速度,给社会更多准备时间。

不过我觉得他们也非常矛盾:一方面觉得为了全人类应该放缓进度,另一方面又觉得如果自己放缓、竞争对手不一定会放缓,所以可能还是得往前走。

晚点:这篇文章标题叫 Our Progress Toward RSI,讲的也是他们自己的进展,但字里行间又流露出 “最好大家别一起进展太快” 的意思。你觉得这种矛盾是真实的吗?

Henry:是真实的。但我觉得现在除非全世界人民联合起来说大家都把速度放缓,要不然大家还是会竞争着往前走,先看谁能达到。

晚点:因为你平时也接触大量研究员,他们自己对 “制造一个能把人踢出 AI 进化 loop 的 AI” 是怎么想的?

Henry:也是一个非常矛盾的心态。一方面,如果 RSI 实现了,相当于他们把 AI 的 “圣杯” 做出来了,是一个非常大的成就;但另一方面,日常生活中并不是很开心,虽然 AI 能力变强了。这篇文章里有个研究员说的一句话很有意思:当这个 AI 模型 work 的时候,它比我做得又快又好,我感觉自己没什么价值;当它不工作的时候,我更惨了,因为我完全不知道它为什么不工作,还得去搞清楚发生了什么。所以现在 AI 能力变强了,研究速度变快了,但 AI 研究员的幸福感不一定比之前更强。

晚点:关于 Anthropic 设想的第三种未来,你前面提到,他们认为这件事最大的风险是对齐;但另一方面,如果模型进化这么快,他们会不会认为还有一种风险是——智能 “过剩”,也就是没有这么多对智能的需求?

Henry:好像很少讨论这个问题,因为默认现在有大量问题需要解决,比如人类如何长生不老,这些问题都需要更强大的 AI 来解决。

晚点:所以默认对智能的需求是不太会有天花板的。

Henry:至少 frontier lab 认为对智能的需求和对算力的需求都是没有上限的。

晚点:在新公司里,Recursive 这个季度在 RSI 上也放出了什么具体成果?

Henry:Recursive 可能是这个季度最值得关注的 Neo Lab 之一,创始团队非常强,有 Richard Socher、施天麟、田渊栋。他们做的事情是让 AI 系统能够自我改进。

他们放出的第一个成果是在三个 benchmark 上的改进:第一个是 Andrej Karpathy 的 nanochat auto research,偏算法方向——在固定算力的情况下,怎么把这件事做得更好。第二个是 NanoGPT 的 speedrun——把模型 train 到某个 performance,看谁能用更短的时间训完;第三个是 GPU kernel 的 benchmark,叫 SOL-ExecBench,比谁写的算子更好、效率更高。他们在这三个 benchmark 上都拿到了 SOTA 的结果。

这其实覆盖了 AI 进步的三个杠杆:更好的算法、更快的训练、更高效的硬件利用率。我觉得意义可能不只在于数字本身提升了多少,更多是展示了一套通用的、能够跑通的研究闭环。

晚点:除了 Recursive,这季度也有一些新公司:一个是 6 月 25 号刚成立的 Mirendill,一成立就有 10 亿美元估值;还有一家是 Core Automation。为什么大家觉得有新公司来做这件事的机会?

Henry:Core Automation 的创始人 Jerry Tworek,是 OpenAI o 系列的负责人,在推理方面做出了很多贡献。Mirendill 的创始人 Behnam 之前在 Anthropic 负责强化学习相关的团队。所以这两家公司现在都在 RSI 方向上做探索。

RSI 之所以还有创业公司的机会,首先是因为技术上还没有完全收敛:除了 coding 和长程 agency 能力以外,可能还有一些别的东西目前是缺失的,所以还没有完全达到 RSI,这样它就不完全是一个 “拼算力” 的游戏,可能还需要一些新的 idea 才能让这个领域进入下一阶段。

晚点:一般来说创业要找一个现在的主流公司主线不会去做的事。RSI 会不会就在 Anthropic、OpenAI 他们自己的主线上?这和创业公司之间会形成怎样的竞争关系?

Henry:Anthropic 他们自己也提到,现在 AI 研究员的 bottleneck 其实还在研究品味上,人类现在依然是这个瓶颈。所以我觉得 frontier lab 来做这件事,不一定会和现在新的 startup 拉开无限的差距。

物理 AI 和具身智能:OpenAI、Anthropic 入场、世界模型过去 18 个月吸金百亿美元

晚点:这一季度 OpenAI 和 Anthropic 在智能前沿上还有一个不约而同的举动——都在加码 robotics。OpenAI 这件事相对公开,Anthropic 是业内流传有意向尝试做 robotics。这两家公司在具身智能、物理 AI 方面有什么进展?

Henry:OpenAI 这边,这个季度 Sam 亲自在 X 上公开说要做机器人,并且开始招人。他们可能 2024 年就开始尝试做机器人这件事了,也在湾区有一个机器人 warehouse,有一个几十人的机器人团队在做这方面的探索。

Anthropic 还在尝试机器人的早期,但他们在 When AI builds itself 那篇博文里也提到,认为 recursive intelligence 的下一步就是 robotics 和 physical intelligence,所以应该也开始提前布局了。

晚点:Sam 在官宣团队和招人信息里透露了一些内容:首先在人才上要找优秀的全栈工程师,涵盖硬件、操作系统、机器学习;第一个可能会用的场景是服务于自己的基础设施,也就是他们自己的算力设施;再往后也想做能服务普通人的机器人,做家庭机器人也是一个比较有共识的愿景。包括马斯克之前也说过,他觉得终局状态下 Optimus 可能会有 200 亿台。还有他们提到团队的负责人是 Aditya Ramesh。这些信息有什么可以更多解读的吗?

Henry:我觉得 OpenAI 和 Anthropic 这些模型公司,应该会发挥自己的长项,把模型的训练部分做好。他们招聘里说要招全栈的 robotics 人才,但不完全代表他们一定会自己去造硬件。现在大公司做这件事有两种主流方式:一是 Optimus,做一个完整的软硬件系统的机器人;二是 Google、英伟达,他们做的是偏 “大脑” 和智能的一层,想做具身的 “安卓”,创业公司里 PI 也是这个方向。

晚点:具身智能、physical AI 领域最近非常火的话题还有世界模型。MoE capital 正好在五月写了一份世界模型的研究报告,你对世界模型有什么观察?

Henry:我先简单说一下为什么大家觉得世界模型这么重要。想象现在有一个机器人,可能从没见过鞋带,也没有人通过遥操作的方式教过它去解鞋带,但因为机器人已经对这个世界有足够的了解,所以它可以弯下腰,抓住鞋带,把它拉开、解开——这就是世界模型想要解决的问题。

“世界模型” 这个词被用得很多,最近之所以火起来,是因为之前两个独立的研究分支在 2024 到 2025 年做了一次合并。一个分支是 RL world models,比较有名的是 Google DeepMind 做的 Dreamer 系列。他们的 idea 是:在真实世界收集数据非常昂贵,不如学一个真实世界的模型,在这个模型里 “做梦” 一样地模拟真实世界会发生什么变化,让机器人在虚拟世界里学习。但这条路线之前的问题是每个环境都要单独学习,难以泛化。

另外一条路线是大家比较熟悉的视频生成,包括 Sora、Veo,Seedance 等模型。这条线路里,我们能从大量人类拍摄的视频数据中获取关于这个世界的大量知识,包括这个世界的物理规律是怎么运作的。但这些视频生成模型只能生成视频,不能说 “如果我在当前这一帧做了某个动作,下一帧会发生什么变化”。

现在的做法是把两者结合:前者能让机器人或 agent 在一个虚拟世界里学习,后者能通过大量视频数据学出这个世界的信息。结合起来就是我们现在说的 world action model 这个系列,包括我们投的 Dream Labs 这家公司的经典工作 DreamZero 和 DreamDojo ,就是今年二月份左右发布的这一方向的新工作。

晚点:你们的世界模型报告里还统计了过去 18 个月里,世界模型领域获得的 100 亿美元投资都去了哪些公司,可以展开讲讲吗?

Henry:这个统计主要是欧美公司,大概有三个层次。第一层是纯做世界模型或模拟器的公司。包括 Wayve 融了 10.3 亿美元;World Labs 融了 12.3 亿美元;视频模型起家的 Runway 融资超过 8.6 亿美元;Pika 融了 4.5 亿,Decart 融了 1.53 亿,以及 Daniel 也超过 1 亿美元。另一层是做 robot foundation model(机器人大脑)的公司,包括 Skild、Physical Intelligence、Figure、Mind Robotics。第三个类别是做整体平台型的公司,包括 NVIDIA、Google DeepMind,以及现在可能要加入这场机器人战团的 OpenAI 和 Anthropic。

我们看到一个比较有意思的 pattern:现在使用世界模型的公司,比如做 robot brain 的公司,融资规模其实要比纯做世界模型的公司大不少。可能大家更相信,如果哪天机器人真的实现了经济价值,最大的 capture 会落在这些做 robot brain 的公司身上。

智能扩散

继续用 frontier lab 的模型,还是有自己的模型?

晚点:我们接下来进入第二个板块——关于智能的扩散。前面你提到,很多企业在考虑到底该用什么样的模型——继续用最贵的 frontier lab 的模型,还是自己拥有自己的模型。这个趋势在第二季度是怎么发展变化的?

Henry:这个领域可以看到几件事。第一,越来越多公司在和后训练公司合作,来 train 自己的专有模型。一个例子是 Harvey 和 Applied Compute 合作,基于 GLM-5.1 训练了他们自己的模型,在他们的 legal agent benchmark 上击败了 Anthropic 和 OpenAI。

这个事情很有意思,因为 Harvey 本身就是 Anthropic 的用户,所以这也是一个风向标:现在公司不光是用 frontier lab 的模型,而是真正开始去 post-train 自己的模型。上个季度的例子是 Cursor,Cursor 是基于 Kimi 2.5,后训练了一个自己的模型 Composer。

晚点:这个季度的例子和上个季度的例子模式不太一样。Cursor 是自己基于一个开源模型,后训练了一个模型自己用;你刚才讲的例子里其实有三方:Harvey 是做法律 AI 的垂直公司,面向行业;Applied Compute 用了 GLM-5.1,也就是中国的开源模型,来帮 Harvey 训练它要用的模型。

Henry:对,Applied Compute 是一家由 OpenAI 研究员出来做的公司,主要业务是 post-training as a service,把后训练作为一项服务提供给客户。为什么现在有更多像 Harvey 这样的公司愿意去做 post-training、拥有自己的模型?我觉得有几个原因。

第一是成本。前沿模型性能很好,但实在太贵了。比如上个季度 Palo Alto Networks 的 CEO 在 X 上发帖,呼吁 Claude 立马降价,他们的客户已经用不起这个模型了,如果不降价,只能把这个生意给开源模型或更便宜的模型。

Palo Alto Networks 是一家做网络安全的公司,他们和 Anthropic 有一个叫 Project Glasswing 的合作项目,是用 Claude 去找网络安全漏洞的一个深度合作方,所以他们也会用 Anthropic 的模型做各方面的安全业务,包括代码扫描、实时检测,他们现在也觉得这个模型实在太贵了。

第二点是稳定性。这里指的是能否一直确保有 access。现在在用前沿模型时,政府可能突然下禁令,你就没有这个模型的 access 了,如果产品是基于这个模型构建的,相当于建在了没有保障的沙子上面。

第三点是护城河的问题。现在大家越来越觉得 Anthropic 竞争能力太强了,它会把各种数据都训练进自己的模型,模型能力会不断变强,大家会担心如果不拥有自己的模型,Anthropic 会不会逐渐把所有能力都内化,未来大家直接去找 Anthropic 就行了,可以跳过我。另外,如果我和我的竞争对手都用同样的基模,那我的竞争优势在哪里?从竞争优势的角度,大家也更倾向于拥有自己的模型。

对于像 Harvey 这样有高价值场景、自己有大量数据的公司,他们非常希望能把数据利用起来,不断加强竞争力。如果自己有一套后训练的 pipeline,就可以不断有更多用户、更多数据,加强产品竞争力;但如果没有,可能只能依赖 Anthropic 的基模。

晚点:Harvey、Applied Compute,再加上 GLM-5.1 这个三方合作模式里,后训练 pipeline 是由 Applied Compute 这家公司掌握,还是说 Harvey 自己之后就能掌握了?

Henry:Harvey 这家公司自己也有人在做后训练,不过在这次合作里,他们是使用了 Applied Compute 的这个平台,应该叫 The Lab,在这个平台上完成了整个后训练过程。通过 Harvey 给 Applied Compute 付费、使用它的平台,但最终 Harvey 自己拥有这个模型和数据。

晚点:他们用来做后训练的基础模型是 GLM-5.1,为什么选这个模型?

Henry:他们试了市面上可能所有的开源模型,大部分都是中国的,最后发现在这个 baseline 上 GLM-5.1 效果最好,就基于它继续做 post-training。

晚点:现在从大家的使用体验来看,不管是企业还是个人使用,可以说智谱的模型在中国开源模型里确实是最强的吗?

Henry:智谱的模型,尤其是 5.2 发布之后,在硅谷这边呼声非常高。从数字上看,它是 Terminal-Bench 首个破 80 的开源模型,并且有多项长程编码任务能超过 GPT-5.5,成本只有六分之一;但更重要的是,很多人在 X 上说,这是第一个他们觉得 “编程手感对” 的模型:不光 benchmark 跑得好,实际完成任务效果也确实不错。

智谱还很明智地支持了 Anthropic 的 API 格式,所以你可以直接用 Claude Code 的 harness,把后面的 API 替换成 GLM 5.2,几乎无痛替换掉 Opus 4.8,我觉得这是非常厉害的。

还有一个我观察到比较有意思的现象,Harvey 除了和 Applied Compute 合作,还和 Fireworks 在六月初合作,推出了一个也是基于 GLM-5.1 的模型。

晚点:我们刚才聊到的这种合作模式,实际上是 Fireworks 和 Applied Compute 等具备模型服务能力的美国公司,结合中国的开源模型生态,共同服务以硅谷或美国本土为主的客户。某种意义上算是中美在 AI 领域的合作。而另一方面,面对日益强大、看似无所不能的 frontier lab,你如何看待这两者在对局中的强弱?

Henry:回看过去三年,模型能力都是 “你方唱罢我登场”,很少有人能一直领先。

晚点:开源模型似乎一直未能真正追上闭源模型,尽管看起来有不断逼近的趋势。

Henry:没有真正追上。目前闭源模型相比开源的 frontier 模型,可能还领先几个月到半年的水平。

晚点:“需要拥有专属模型” 这一趋势是否会持续?在 2024 年前后,行业曾迎来一波微调红利,但随着基础模型能力的提升,这些技术红利最终都被覆盖了。当下的时间节点,这种趋势还能持续吗?

Henry:当前情况出现了两个重要变化。第一,现在做后训练服务的公司,都需要配备 FDE(forward deploy engineer,前向部署工程师)协助企业后训练。得益于 AI coding 能力的增强,这种前向部署的成本较两年前已有所下降。

第二是模型能力与任务相对难度的关系发生了改变。过去模型在特定场景(如法律)的进化速度极快,例如从 GPT-3.5 到 GPT-4 提升非常大,导致在老版本模型上做 post-train,可能根本赶不上新模型的改进。但现在不太一样,在 frontier 级别的开源模型上加上私有数据进行微调,表现很有可能超过闭源的 frontier 模型,且短期内不会被反超。

晚点:你认为 “专属模型” 会成为更持久的趋势吗?

Henry:这次的趋势会比上一波更强,但这本质上是一个此消彼长的过程。当 frontier 模型遭遇技术瓶颈或监管阻力时,开源模型就会迎来增长契机。不过,专属模型并不适合所有企业。初创公司不应盲目投入后训练,而应先利用 OpenAI 或 Anthropic 的模型跑通产品,获取市场验证。

晚点:初创公司倒是可以去帮别人拥有自己的模型,这是一个创业方向。

Henry:对,所以我觉得适合做后训练的公司有几个特征:第一是要有高质量的专有数据,否则没必要做后训练;第二是要有一个比较明确的评估体系,能知道模型是不是变好了,比如 Harvey 就有一个 legal agent 的 benchmark。第三是要有真正高频、高价值的业务,这样模型稍微提升几个点,就能带来经济价值。

晚点:法律、医疗健康、金融、咨询等行业就很适合,这些也是 Anthropic、OpenAI 会去做的方向。接下来可以聊聊中国开源模型的现状,前面提到的两个合作都使用了智谱的 GLM-5.1。整体来看,第二季度中国开源模型的发展和在全球科技企业中的采用情况如何?

Henry:DeepSeek 表现基本符合预期,有一些小的改进,在 infra 层面做得非常 solid,但没有特别惊艳。他们投入了很多时间精力去做 V4,但没有带来 V3 那么大的 ROI。因为现在大家的策略是 “全都要”,不光是所有模型,硬件也是,硬件指的是 GPU、TPU,以及 Cerebras、SambaNova,他们想做全平台通吃。

晚点:Kimi、MiniMax、小米、千问等厂商,本季度有什么亮眼进展?

Henry:这个季度中国开源模型的进展可以说是 “四杀”:过去八周内,Kimi 2.6、DeepSeek V4、Kimi 2.7 以及 GLM-5.2 四次易主全球最强开源模型,在编码能力和成本控制上,已经快要追平 GPT-5.5 和 Opus 4.8 这一级别的模型。尽管最顶尖的 frontier 模型可能仍保持约半年的领先优势,但差距目前没有继续拉大的趋势。

新的交互 :Claude Tag 和 OpenAI 的 Record & Replay

晚点:智能扩散的第二个相关话题是产品创新层面的交互尝试。前面提到,OpenAI 内部认为其模型虽强,但在产品和推向市场方面不如 Anthropic。这季度 Anthropic 推出了一项备受关注的新功能 Claude Tag,类似之前 Devin 与 Slack 打通的尝试。这个新功能带来了哪些变化与讨论?

Henry:Claude Tag 是一个很直观的功能,允许用户在 Slack 中通过 @Claude 提交任务,完成后结果会直接返回群聊。这一交互方式的核心转变在于:从 “每个人拥有独立的聊天机器人”(相当于个人助理),变成了 “团队拥有一个 24 小时待命、掌握全部上下文的 AI 同事”。

Andrej 认为这是 AI 交互界面的第三次大改:第一次是网页版的 chatbot;第二次是用户在手机和电脑端下载 app 进行交互;第三次则是 AI 真正进入企业协作空间,与人类深度协作。Anthropic 内部对此非常兴奋,Claude Code 团队的产品经理说,目前他们产品团队约 65% 的代码都是通过 Claude Tag 完成的。

晚点:这个概念本身并不新颖,国内外早有类似尝试。为什么 Claude 这一步做得相对较晚?

Henry:之前他们主要在自身最擅长的产品形态上下功夫,在 Claude Code 上投入了大量时间。现在他们希望进一步拓展产品线。据我了解,接入 Slack 这个功能在 Anthropic 内部已经做了挺久,主要是在深入打磨产品体验。

我问过一位 Anthropic 的朋友:Claude 接入 Slack 难道不是一个简单的功能集成吗?以你们的编程能力,直接 vibe code 一下不就完成了?他说在用户体验层面,如何高效利用上下文、如何让 AI 从被动接收信息转变为主动 propose 任务,团队在背后下了很多功夫。

从概念上讲,它确实没有 Andrej 描述得那么新。但如果执行好的话,对用户的实际影响会很大。我身边使用 Devin 的团队,最看重的就是其在 Slack 中的协作体验。现在 Claude 也实现了 Slack 集成,我会更担心 Devin 的用户留存。

晚点:Devin 目前近况如何?

Henry:Devin 的收入增长应该挺好的。他们目前的业务分为两部分:一是售卖工具;二是提供服务。例如,企业客户要梳理一个数十万行代码的仓库,可以直接全盘包给他们来做。相当于一种 AI-empowered 的咨询服务。

晚点:或者说是 AI-empowered 的外包,只是人类在其中的参与度大幅降低了。这是 Anthropic 这个季度的功能变化。 OpenAI 的一个新功能是 Record and Replay,你可以讲讲这个功能的作用吗?

Henry:这个功能主要分为两步。第一步是 record,可以让 Codex 录制完成某个任务的全过程。开启录制后,它会观察你如何一步步在电脑上操作。录制完成后,它会将这些操作固化为一个 skill。当你之后想要 replay 时,它就会根据这个 skill 记录,通过 computer use 的方式自动完成该任务。这是一种很好地将技能从人类转移给 AI 的方式。

这个概念并不算新。之前 Meta 内部有一个类似的 MCI 项目,专门在员工电脑上安装录屏软件,希望通过这些数据让 AI 学会人类的任务,最终达到 “把员工蒸馏掉” 的效果。

晚点:这个项目似乎也是这一季度的新闻,但在 Meta 内部已经被叫停了。这种做法肯定会引起员工的强烈反弹。对 OpenAI 来说,他们显然也看到了这个方向的价值,只是 Meta 强制推行的方式令人难以接受。

Henry:是的, Meta 的方式是强制性的,而 OpenAI 更早在这方面产品化了,所以在时间线上也更领先。

晚点:这其实非常像机器人的 “遥操”。早期机器人正是通过遥操同构机器,将人类的操作能力迁移到机器上。

Henry:在模型进展方面,目前 “御三家” 在 OSWorld-Verified 榜单上的表现已经全部超越了 72% 的人类极限,其中 GPT 达到了约 83%, Claude 也接近 80% 的水平。

晚点: OSWorld 是一个针对 computer use 的 benchmark。你觉得 OpenAI 推出的 Record and Replay 与 Anthropic 推出的 Claude Tag,哪一个更能引领未来的方向?会有更多厂商跟进吗?就实际体验而言,哪个对用户更有用?

Henry:从概念上讲, Record and Replay 更能代表未来的发展方向,我相信后续会有更多厂商追随 OpenAI 的脚步。但它高度依赖当前 computer use 模型的能力,在多步任务的准确性和延迟方面仍有待提升。因此短期内, Claude Tag 产生的实际用户影响可能会更大。

晚点:这会有很多人实际用起来,而且也会冲击到 Devin 这类公司。回到 Record and Replay 功能,你说它现在还处于比较早期的状态,有些地方可能不是很好用。但理论上推出去之后,他们可以获得相关数据,对吗?

Henry:对,能获得大量真实数据。不过也要看它的使用条款,看这些数据能不能直接用于模型训练。

晚点:这还挺涉及隐私的。因为获取的数据里包含了你使用的系统界面截图,个人信息有可能被暴露。

Henry:这些数据比之前的纯文本数据要丰富得多。

晚点:这是个很好的提醒,如果有人想试用,可以仔细看看隐私协议是怎么规定的。如果这些数据能用上,我觉得对提升他们在 OSWorld 这类 Computer Use Benchmark(计算机使用基准测试)上的能力,会有挺大帮助。

Henry:对。目前 Computer Use Benchmark 好像一直没有特别大规模的测试集。所以这个功能一旦上线并积累大量用户,他们应该能比较快地拿到市面上最大的 Computer Use 数据集。

晚点:也许他们自己就能编制一个更好的评测指标了。这也是和机器人挺不一样的地方:OpenAI 推一个新功能,就会有用户来用,虽然数据能不能直接训练还不知道;但在物理世界就不是这个逻辑,你得先造一个真实的机器人,放到特定场景去跑才能获得数据。哪怕你免费把机器人送给别人用,对方也不见得想要。获取数据的路径没那么通畅,成本也高。

Henry:做机器人确实更难。另外,大家在数字世界里 “放弃隐私” 这件事已经干了很多年,多少有些习惯了;但要在物理世界里暴露隐私,还有一定的心理门槛。

晚点:除了前面说的这两个功能,二季度在新的交互上还有一个进展:OpenAI 继续发布了它的多模态系列,包括流式语音 API 系列 Realtime,以及他们的文生图系列。Thinking Machines Lab 这家公司在二季度也发布了首个语音交互模型 Interaction Model。为什么大家依然觉得语音这个方向非常重要?以及这些新成果相比之前有哪些突破?

Henry:语音不是一个普通的多模态能力,它是人与 AI 交互的基础设施。前面我们提到当前的一条主线是 “AI 在社会里的扩散”,要让人们能够在各种场景随时随地和 AI 交流、用上 AI,语音非常重要。

Thinking Machines Lab 的这次发布,我个人觉得非常有意思。这个模型叫 Interaction Model,是一个 276B MoE 模型,12B 激活,是他们自己从零开始训练的。最有意思的一点是,它是一个能边听边说、还能 “看”、能看你的动作及时反应、能打断人的模型——以前这是从来没有过的。

而且它在后台还配了一个异步推理模型:在做实时反馈的同时,后面还有一个模型在做长思考,可以把这些深度思考再插回对话里。他们在网上发了一篇博客和一些 demo 录制视频,但目前还没开放 API 和大规模使用,所以还没有太多用户能用上、给出真实反馈。

但我觉得它的意义在于:之前最好的语音实时交互模型应该是 OpenAI 的 GPT Realtime,但 GPT Realtime 其实是一个 “对讲机”,还是 turn-based。你之所以感觉是 real-time,是因为上面包装了一层 VAD(voice activity detection),通过算法判断你大概说完了,该轮到它开口了,但本质上还是一个轮流说话的对讲机。

而 Interaction Model 的交互模式是从 “对讲机” 变成真正 “打电话”:它一直在听你说什么,并且可以同时说话,也就是 full duplex。

晚点:没有全量开放这个 API,是因为这种新方式可能非常贵吗?

Henry:我不太确定是效果还需要打磨,还是成本太高、自己的 infrastructure 没做好,还是别的原因。

晚点:这个模型本身是不是不太好直接做成一个 To C 的产品?

Henry:这是一个很合理的推断。他们最终很可能要推出一个 To C 的个人助手产品,而这个模型就是个人助手交互的 Interface。现在先把模型的能力展示出来,最终的目的还是为了发布那个个人助手。

还有一点能突出它这个架构和以前完全不一样:发布模型时,他们做了两个针对性的 benchmark:一个是 TimeSpeak(按指定时间精确开口),比如让模型每四秒提醒用户呼吸一次,看它能不能准时说话;另一个是 CueSpeak,是考察模型能否在内容里出现一些信号时,该说话时就说话。他们内部用这两个 benchmark 来衡量模型在实时语音方面的能力够不够强。

在这两个 benchmark 上,他们领先 OpenAI 的 GPT-Realtime-2 很多:TimeSpeak,TML 的 Interaction Model 是 64.7%,Realtime-2 是 4.3%。这主要是因为对方的架构本身就做不了这件事,所以他们的新架构对比之下才这么高。在第二个 benchmark 上,TML 是 81.7%,Realtime-2 是 2.9%。

晚点:OpenAI 二季度发布的 Realtime 2.0 表现如何?这也是 Realtime 系列的最新一代。

Henry:实际使用体验还是不错的。

晚点:除了语音,我们也可以再聊聊文生图。在 Sora 暂缓之后,OpenAI 的文生图似乎还在继续,比如 Image-2。

Henry:我觉得 Image-2 的效果非常好,在 Image Arena 上断层式领先,Elo score 1500 多分,比第二名高了大概 200 分,在视觉生产力的各个方面都非常强。比如社交媒体上有大量用 Image-2 生成电影海报的例子,效果非常好,在一些有经济价值的任务里,它比上一代文生图模型强很多。

晚点:所以它和 Sora 的区别是,没有那么花钱,回报也算得过来。

Henry:Nano Banana 类功能对 To C 产品的增长其实有很大帮助。当时 Google 发布 Nano Banana 的时候,他们 App 的下载量有大幅上升;还有些创业公司为了想把流量做上去,就通过免费提供 Nano Banana 的功能来吸引用户。

更多讨论

Meta、Google、xAI 是否还能赶上?

晚点:聊完智能前沿和智能扩散之后,我们来看一些其他重点公司的进展。首先是 Meta。这一季度,他们的核心 AI 部门 TBD 在重组后推出了首个新模型。行业内对这个新模型反响如何?是否因为没有完全开放 API,导致实际能够使用的人也相对较少?

Henry:行业里的讨论不多,这个模型应该接近前沿能力,但还处于追赶的态势,还没有真正达到前沿。我身边没听说有人用过这个模型。

晚点:相比于新模型,本季度 Meta 更大的动作依然是上次讨论过的裁员。

Henry:我觉得扎克伯格的计划是通过持续裁员,将节省下来的钱进一步投入 AI 开发。不过内部目前比较动荡,面临不小的阻力。

晚点:我们之前讨论过 Meta 的 token 消耗竞赛——更广泛地说,一季度有一种 token-maxing 的风潮,很多公司争先恐后地希望员工更多地用 AI,你怎么看这个风潮比较快地趋于平息?

Henry:我觉得所有这些技术趋势都会 follow 一个三部曲:先是 frenzy(狂热),然后可能是 crash(崩盘),最后是 stabilization(稳定)。Token-maxing 基本上也是这三个阶段:Q1 是狂热阶段,钱花了上亿美元,但没有太多产出,接下来进入第二个阶段,我相信很快会进入第三个阶段。Meta 内部有一个 leaderboard,看谁的 token 用得最多,现在这个 leaderboard 已经被取消了,给每个人也加上了 token 使用的 quota(上限),应该就是进入了新的阶段。

晚点:大公司的人均限额一般是多少?

Henry:Meta 的限额应该是比较高的。之前听说 Uber 仅仅四个月就用完了全年的额度,他们大概给每个工程师每个月 500 到 2000 美元的限额。

晚点:国内差不多也是这个量级。接下来我们来聊聊 Google,以及 xAI 二季度的变化。

Henry:Google 在这次 I/O 大会上发布了新模型 Gemini 1.5 系列,它对视频的理解和处理能力非常惊艳。Google 这个季度的亮点主要集中在多模态,但他们内部也充分意识到了代码能力对未来营收和竞争地位的重要性,所以目前也在加码代码方面。

xAI 现在正在转变成一个 Neocloud。放弃自己 train 模型以后,他们把算力集群租出去。现在每个月光租金就有 12.5 亿美金的收入。而且马斯克现在又要去建太空算力中心,xAI 应该是朝算力方向走。

晚点:他放弃训练底层模型这件事已经板上钉钉了吗?

Henry:对外肯定不会说要放弃,但实质上,他现在已经没有训练模型的人才团队了。

晚点:你觉得收购 Cursor 能多大程度改变这件事情?

Henry:Cursor 团队可能并不能完全填上他之前的窟窿,可能没有做预训练的人才。

晚点:我们还会看到 Grok 新模型吗?

Henry:可能还需要一段时间。

晚点:5 月底,马斯克自己在 X 上说 Grok 新模型已经完成了预训练,大概 2 到 3 周之后就会公布,但直到现在也还没动静。

Henry:Elon is always right, except the timing.

晚点:你有没有听说 xAI 补充新团队的消息?

Henry:他们确实招了些人,但听说招的主要是做 harness 的人,不是做训练模型的。

晚点:你觉得马斯克还有可能追上吗?

Henry:我觉得比较难。但 never bet against Elon 的话,如果他真的想做,还是有希望的。

晚点:对于拥有较多资源、有抱负的团队,在这个时间节点还有可能赶上预训练的窗口期吗?还是说在 2023、2024 年其实就已经结束了?

Henry:应该已经结束了。即使之后技术又有比较大的变化,出现一个大的瓶颈期,那也应该去解决新的瓶颈,而不是把原来的老路再走一遍。

晚点:那你觉得 Google 和 Meta 还有可能赶上第一梯队吗?

Henry:有机会,Google 的可能性会更大一些。

晚点:相比于去年三季度 Google “强势回归” 的状态,现在大家确实觉得 Google 有点落后了。

Henry:当时能短暂重回第一,一方面是因为它的多模态能力确实不错;另一方面是它同时发布了 Gemini 3 和 Antigravity(收购 Windsurf 后研发的新 Agent IDE)。去年 12 月底,Gemini 3 的代码能力与 Anthropic、OpenAI 相比还没有太大的差距,但今年 OpenAI 和 Anthropic 在这方面有了长足进步,而 Gemini 却未能实现太大突破。

Google 过去一直擅长把成本压得极低。从之前的 Pareto frontier 图来看——横轴与纵轴分别代表成本和模型能力——在同等模型能力下,最便宜的基本都是 Google 的模型。但今年这个优势似乎也不在了,新的 Gemini Flash 比之前贵了好几倍,导致 Google 在 Pareto frontier 上失去了领先位置。

再加上最近 Transformer 论文八位作者之一的 Noam Shazeer 也离开 Google 加入了 OpenAI,大家可能会对 Google 感到担忧。不过,我认为 Google 的底子依然很好。

晚点:这个底子来自哪里?

Henry:一是研究人才储备,除了 Noam Shazeer 之外还有很多很好的研究员;另外是算力基础还在,他们在算力上有很大的优势。

晚点:你觉得 Meta 有可能赶上的原因是什么?这几天我和不少人交流,大家对 Meta 的整体态度还是比较悲观的。

Henry:Meta 最大的风险就是出现类似 xAI 那种团队解散的情况。

晚点:之前是 “御三家”,现在是两大 frontier lab,未来会只有一个公司持续领先吗?

Henry:应该不会。2023 年 GPT-4 刚发布时非常惊艳,当时 OpenAI 领先其他 lab 的优势,远大于现在两大 frontier lab 与第二名的差距,但即便如此最终也被追平了。所以未来更可能是交替领先的态势。除非某个 lab 率先在 RSI 上取得突破,加速度远超对手,那可能出现一家独大的情况。

Midjourney 跨界做医疗设备

晚点:最后聊点轻松的话题。你之前提到,这个季度硅谷有一家已经不在风口浪尖的公司—— Midjourney 发生了很有意思的变化。第二季度它做了什么?

Henry:六月中,Midjourney 突然宣布了新产品和部门——Midjourney Medical。首个新硬件产品叫 Midjourney Scanner,号称 “50 年来第一个全新的全身医学影像方法”。它的工作原理是,人站在一个浅水池的平台上,周围环绕着大概 40 万个超声波换能器,声波从全方位穿过身体,每秒生成 TB 级别的数据,通过计算集群重建肌肉、脂肪、骨骼器官的 3D 横截面图像。他们管这个方法叫 ultrasonic CT,是 CT 的一个 “超级升级版”。

晚点:为什么突然做超声波 CT?

Henry:Midjourney 的创始人 David Holz 是一个非常有想象力的人。Midjourney 从来不融 VC 的钱,因为 David 不想受投资人控制,希望完全按自己的意愿来运营公司。所以他用 Midjourney 在文生图方面的收入,养了一个大概 50 人的团队,做各种硬件项目,应该已经做了超过一年多的时间。他现在可能同时做八个项目,一半硬件、一半软件,短期内想把两个硬件产品推向市场,Midjourney Medical 是其中之一。

晚点:Midjourney 的创始人以前是什么背景?

Henry:David 最早在 NASA 工作过,做过激光雷达相关的工作,后来他自己创办了一家叫 Leap Motion 的公司,做手势识别,后来被竞争对手收购了。所以他有很多丰富的硬件经验,后来又成功转行做 AI 多模态模型,也做得非常好。他涉猎非常广,经常在家里办诗歌朗诵、即兴音乐会,或者 AI 和人一起创作音乐等各种活动,很多研究员和旧金山的创业者会去他家参加这些活动。

题图来源:F1: The Movie