打开网易新闻 查看精彩图片

那个男人回来了。在沉寂许久并创立新公司SSI(Safe Superintelligence)后,Ilya Sutskever终于在镜头前开口了。这次他对谈的信息量极大,不仅否认了“大力出奇迹”是未来的唯一解,更预言了AI行业正在经历一次从“Scaling时代”回到“研究时代”的巨大范式转移。

如果说AI界有一位像“先知”一样的人物,那一定是Ilya Sutskever。从AlexNet到GPT-4,他几乎踩准了每一次深度学习的爆发点。

在离开OpenAI并创立SSI之后,Ilya一直保持神秘。最近,他终于接受了Dwarkesh Patel的深度专访。我看完了这一个多小时的对话,在大受震撼的同时,也感到一丝释然:那个只会无脑堆算力的时代,可能真的要过去了。

以下是我整理的本次对谈的精华总结与思考。

01. 现在的模型:高分低能的“偏科生”

Ilya在对话一开始就抛出了一个非常犀利的观察:现在的模型在极其困难的基准测试(Evals)上表现出色,但在某些简单任务上却显得非常愚蠢。

他举了一个生动的例子:你让AI写代码,它写出了一个Bug。你让它修,它修好了一个Bug引入了第二个Bug。你再让它修,它又把第一个Bug改回来了。它陷入了一个死循环。

为什么会这样?

Ilya给出了两个可能的解释:

  1. 1.RL(强化学习)的副作用:后训练阶段的RL让模型变得“急功近利”和“狭隘”。它学会了怎么讨好人类裁判,却失去了对全局的把控。

  2. 2.根本性的泛化能力不足:哪怕经过了海量数据的预训练,模型依然没有真正学会像人类那样“举一反三”。

  3. 这一点非常戳中痛点。我们现在的AI就像是一个刷题机器,它背下了所有的题库,所以考试能拿100分。但在现实世界这种“没见过的题”面前,它的脆弱性就暴露无遗。这说明仅仅依靠现有的范式,可能无法通向真正的AGI。

02. 范式转移:从“Scaling时代”回归“研究时代”

这是整场对话中最振聋发聩的观点。

Ilya将深度学习的发展划分为两个阶段:

  • 2012-2020:研究时代(The Age of Research)。那时候大家算力有限,必须绞尽脑汁想新算法、新架构(比如Transformer的诞生)。

  • 2020-2025:扩张时代(The Age of Scaling)。自从GPT-3之后,“Scaling Laws”统治了一切。大家发现只要无脑堆数据、堆算力,效果就能提升。于是,所有人都变成了“炼丹师”,不再思考底层原理,只是在比谁的集群更大。

但是,Ilya认为,Scaling Laws带来的红利正在边际递减。预训练数据快用光了,单纯把模型做大不再能像以前那样带来质的飞跃。

“现在,算力已经足够大了,我们重新回到了研究时代。”

Ilya指出,如果我们要突破现在的瓶颈(比如推理能力、可靠性),光靠堆算力是不够的。我们需要像十年前那样,去探索新的训练范式,去寻找那条未被发现的路径。

这对于那些只会囤显卡的大厂来说是个坏消息,但对于真正的研究者和创业公司来说,是天大的好消息。既然算力不再是唯一的护城河,那么这就意味着“想法”和“智力”重新变得值钱了。那个“Idea is cheap, execution is everything”的硅谷格言,在AI领域可能要反过来了:现在大家都有卡了,但谁有下一个Transformer级的Idea?

03. 预训练才是AGI,RL只是“紧箍咒”?

Ilya提出了一个非常反直觉的观点:也许预训练(Pre-training)本身就已经产生了一种AGI。

预训练模型看过人类所有的知识,它在某种意义上是通用的。但是,为了让它变得有用(听懂指令、不乱说话),我们给它加上了RLHF(人类反馈强化学习)。

Ilya认为,这个过程其实是在让模型变得“狭隘”。我们在强迫一个博学的通用智能体,去扮演一个特定的、符合人类偏好的客服角色。

他甚至用了一个极端的比喻:预训练就像是一个学习了整个人类文明的孩子,而RLHF就像是让他去参加应试教育。

这解释了为什么很多开源底座模型(Base Model)在创造性上往往优于经过对齐的模型。我们现在的对齐技术(Alignment)可能太粗糙了,它在剔除有害信息的同时,也切掉了模型的智商和灵性。如何既保持模型的安全性,又不阉割它的通用能力?这是下一个阶段的核心难题。

04. SSI的野心:不参与“老鼠赛跑”,直通超级智能

谈到他的新公司SSI,Ilya展现了一种近乎修道士般的定力。

现在的AI公司(OpenAI、Google、Anthropic)都陷入了激烈的商业竞争(Rat Race):不仅要发论文,还要做产品、做ToB服务、做App、搞地推。

Ilya认为,这会分散精力。SSI不打算发布任何过渡性的产品。他们的目标只有一个:直通安全的超级智能(Safe Superintelligence)。

他甚至不想利用AI来做短期的商业变现。他只想在这个安静的房间里,和一群最聪明的人,解决最难的问题。

我觉得其实是非常“反商业”的,甚至有点像当年的曼哈顿计划。只有像Ilya这样级别的人物,才能融到几十亿美金却不被要求立即在大模型竞技场上厮杀。这是一种巨大的赌注:赌现在的路线图走不通,赌需要通过长时间的静默研究才能憋出大招。如果他赢了,他将定义下一个时代;如果输了,这就是科技史上最昂贵的闭门造车。

05. 什么是真正的“对齐”?

关于安全,Ilya的看法也很独特。他不再强调写一堆死板的规则(比如“阿西莫夫三定律”),而是强调“价值观的继承”

他类比了人类的进化。我们的基因里并没有写着“要构建民主社会”或者“要尊重人权”,基因里只写了简单的生存本能。但是,随着人类智力的提升,我们衍生出了同理心、社会契约和高级的道德观念。

Ilya希望超级智能也能通过某种方式,“继承”人类对于生命、对于意识的尊重。他希望构建一个关心“有感知力的生命”(Sentient Life)的AI,而不仅仅是听从人类命令的奴隶。

如果AI比我们聪明一万倍,指望靠几行代码这种“狗链”拴住它是天方夜谭。唯一的希望是,它不仅比我们聪明,还比我们更有“神性”。这听起来很玄学,但也许是面对神级智能时唯一可行的路径。

总结:风暴来临前的宁静

看完这场访谈,我最大的感受是:AI行业正在进入深水区。

前两年的热闹是应用层的热闹,是Scaling Laws带来的低垂果实。但现在,真正的硬骨头来了。数据枯竭、推理缺陷、泛化能力差,这些问题不是靠买一万张H100就能解决的。

Ilya的选择——退出喧嚣,回归研究——或许正是给整个行业的一个信号:慢下来,想清楚,然后再出发。

正如他在访谈最后所暗示的:现在的AI看起来还很蠢,很难让人感受到威胁。但那个临界点(Tipping Point)终会到来。在那之前,我们需要做足准备。对于我们普通人来说,也许这意味着:不要被眼花缭乱的各种“GPT-5传言”所干扰,关注那些真正试图解决逻辑推理、长期记忆和自主学习能力的技术突破,那才是通往未来的钥匙。

你如何看待Ilya“回归研究时代”的判断?欢迎在评论区留言讨论。