11 月 26 日，OpenAI 联合创始人、前首席科学家、安全超级智能公司 SSI 创始人兼 CEO 伊利亚·苏茨克维（Ilya Sutskever），接受了美国著名播客 Dwarkesh Podcast 的访谈。
期间，他们谈到了 DeepSeek R1 的论文。访谈中，苏茨克维直言规模扩展时代吸走了所有创新氧气，导致所有人都在做相同的事。他认为当前 AI 公司数量远多于创新想法。对于 AGI 还有多久降临，他给出了一个较为宽泛的时间段——“大约 5 到 20 年。”
他还引用佛教术语来阐明自己的观点，谈及科研品味苏茨克维更是金句频出，称“丑陋的设计没有存在空间”。
其还指出，阅读 AI 论文与亲眼见证 AI 解决问题有着天壤之别，这就是让 AI 公开亮相的价值。对于自己的合伙人加入 Meta 他做了回应。而问答 SSI 是否仍坚持“直达超级智能”计划，苏茨克维只回答了两个字“可能”。关于 SSI 的盈利问题，他表示现阶段专注研究，答案自会浮现，并称未来会有多种可能性。
以下为对谈全文。
解释模型能力不均衡现象
伊利亚·苏茨克维：你知道吗，最不可思议的是什么？是这一切竟然都是真实的。
德瓦克什·帕特尔：什么意思？
伊利亚·苏茨克维：你不这么觉得吗？所有这些 AI 技术，还有硅谷的氛围...... 这一切正在真实发生。这难道不是直接从科幻小说里走出来的吗？
德瓦克什·帕特尔：另一个让人难以置信的是，这种渐进式发展感觉如此平常。比如我们要把 GDP 的 1% 投入 AI 领域，按理说应该是个轰动性事件，但现在感觉就像......
伊利亚·苏茨克维：事实证明，人类的适应速度确实很快。但另一方面，这个概念确实有点抽象。具体意味着什么？你只是在新闻上看到某公司宣布了巨额投资，仅此而已。到目前为止，还没有其他更直观的感受方式。
德瓦克什·帕特尔：我们不如就从这里开始聊？我觉得这个话题很有意思。
伊利亚·苏茨克维：好啊。
德瓦克什·帕特尔：我认为你刚才 “ 在普通人看来一切如常 ” 的观点，即使到了技术奇点阶段，可能依然成立。
伊利亚·苏茨克维：不，我不同意这个看法。
德瓦克什·帕特尔：有意思，请继续说。
伊利亚·苏茨克维：我刚才说“感受不到变化”，指的是那些令人难以理解的巨额投资公告。但 AI 带来的影响终将被切实感受到。AI 将渗透到经济各个角落，强大的经济驱动力会使其影响变得非常明显。
德瓦克什·帕特尔：你预计什么时候会产生这种影响？目前模型的智能水平似乎远超其经济价值。
伊利亚·苏茨克维：这正是当前模型最令人困惑的一点。如何解释它们在评估测试中表现优异，但经济影响却严重滞后？举个例子：你用编程助手写代码，发现 bug 后让它修复。它认错态度很好，但修复时又引入新 bug。你指出新问题，它再次认错，结果却让旧 bug 复现。这种循环很常见。
德瓦克什·帕特尔：这个观点很有趣：真正的 “ 奖励黑客 ” 其实是过度关注评估指标的研究人员。
伊利亚·苏茨克维：我用个比喻来说明。假设有两个学生：第一个立志成为最佳竞赛程序员，投入一万小时专项训练；第二个只练习一百小时但同样出色。你认为谁未来职业发展更好？
德瓦克什·帕特尔：第二个。
伊利亚·苏茨克维：没错。当前模型就像第一个学生，甚至更极端。我们为了让它擅长编程竞赛，就把所有相关题目都拿来训练，还做数据增强。结果培养出的是专精竞赛的程序员，但这种强化训练未必能迁移到其他领域。
德瓦克什·帕特尔：那么第二个学生在进行 “ 100 小时微调 ” 之前，具备的是什么特质呢？
伊利亚·苏茨克维：我认为他们拥有那种 “ 悟性 ” 。我大学时就遇到过这样的同学。
德瓦克什·帕特尔：这让我开始思考预训练的本质。预训练不需要选择数据，就像那一万小时练习，但可能并不比强化学习带来更好的泛化能力。
伊利亚·苏茨克维：预训练的优势在于数据量庞大且选择自然。它试图通过海量数据捕捉人类通过文字呈现的整个世界。但理解模型如何依赖预训练数据非常困难，因为很难判断模型出错是否因为某些知识在预训练数据中支撑不足。
情感与价值函数
德瓦克什·帕特尔：关于人类学习与预训练的类比，学界提出过两种观点。第一种是把人生前 18 年（或 15 年/13 年）视为预训练阶段，这个阶段虽不产生经济价值，却在帮助人类更好地理解世界。第二种是把 30 亿年的进化过程视为某种搜索算法，最终生成人类个体。你如何看待这些类比？如果不把人类学习看作预训练，你会如何理解？
伊利亚·苏茨克维：这两种类比确实与预训练存在相似之处，预训练试图同时扮演这两种角色。但却存在显著差异，因为预训练的数据规模庞大到令人震惊。
德瓦克什·帕特尔：确实如此。
伊利亚·苏茨克维：人类在 15 年间接触的数据量远少于预训练数据，却能够更深刻地理解知识。在这个年龄段，人类绝不会犯当前 AI 常犯的错误。关于进化类比，我认为进化可能更具优势。我记得有个神经科学案例：某患者因脑损伤失去情绪感知能力，他仍能清晰表达、解决简单问题，测试表现正常，但决策能力严重受损，连选袜子都要花数小时，还会做出糟糕的财务决策。
德瓦克什·帕特尔：你指的 “ 那种特质 ” 具体是什么？显然不只是情绪本身，更像是某种价值函数般的存在，能为决策提供终极奖励信号。你认为这无法从预训练中自然涌现吗？
伊利亚·苏茨克维：可能存在这种可能，但并非必然。
德瓦克什·帕特尔：该如何理解情绪？在机器学习中对应的概念是什么？
伊利亚·苏茨克维：应该属于价值函数的范畴。但目前机器学习领域缺乏完美对应，因为价值函数在现有体系中并不突出。
德瓦克什·帕特尔：或许可以向观众解释下价值函数的概念？
伊利亚·苏茨克维：好的，很乐意。当前强化学习的常规做法是：智能体执行数千次行动后得出解决方案，最终根据结果评分对每个行动进行反向传播。但价值函数能提供中途评估，就像下棋时丢子立即知道失误，无需等到终局。在数学证明或编程中，当发现某条路径行不通时，价值函数能提前千步对初始选择发出警告。
德瓦克什·帕特尔：DeepSeek R1 论文提到，轨迹空间过于庞大，可能难以建立中间状态与价值的映射。比如编程时可能会先产生错误思路，经过反复修改才回到正轨。
伊利亚·苏茨克维：这听起来像是对深度学习缺乏信心。虽然困难，但深度学习方法定能解决。我坚信价值函数必将发挥重要作用。之前提到的脑损伤案例暗示：人类价值函数可能通过进化预设的情绪机制进行调节，这对人类效能至关重要。
德瓦克什·帕特尔：这正是我想探讨的，情绪作为价值函数的精妙之处在于，它们既保持高度实用性，又具有可理解性。
伊利亚·苏茨克维：我有两点观察：第一，相较于当前 AI 的复杂性，情绪确实相对简单，甚至可能被完整解析；第二，存在复杂度-鲁棒性权衡，简单机制反而在广泛情境中更可靠。我们的情绪主要继承自哺乳动物祖先，在原始社会环境中演化形成。尽管现代社会已截然不同，这些简单情绪仍能有效指导行为，虽然也会出错，比如在食物充裕时，原始的饥饿感反而会导致饮食失衡。
我们究竟在扩展什么？
德瓦克什·帕特尔：人们一直在讨论扩展数据、参数和算力。是否存在更通用的扩展视角？还有哪些可扩展的维度？
伊利亚·苏茨克维：我认为可以这样理解：过去机器学习依赖人工调参获取有趣结果，直到规模扩展理论出现。GPT-3 和扩展定律让所有人意识到必须扩大规模，这就是语言如何影响思维的典型案例。“扩展”这个词具有强大魔力，它直接指导行动。但关键问题是：我们究竟在扩展什么？预训练曾是明确的扩展路径。
预训练的重大突破在于验证了这种配方有效性：将算力、数据与特定规模神经网络结合，就能持续获得改进。企业青睐这种低风险投资方式，毕竟比起探索性研究，“获取更多数据与算力”的回报更可预测。
从各方信息看，Gemini 似乎提升了预训练效率。但数据终将耗尽，届时要么升级预训练方法，要么转向强化学习等其他路径。当算力达到当前量级时，我们其实已回归研究时代。
更准确地说：2012-2020 是研究时代，2020-2025 是扩展时代（时间边界可浮动）。但现在规模如此庞大，假如再增加百倍算力就能颠覆现状吗？我认为不会。这意味着我们正带着巨型计算资源重返研究时代。
德瓦克什·帕特尔：这个视角很有趣。但请回答你刚提出的问题：我们在扩展什么？新配方应遵循什么规律？预训练阶段存在类似物理定律的幂律关系，新范式该寻求何种规律？
伊利亚·苏茨克维：我们已经历从预训练到强化学习的范式转换。现在人们正在扩展强化学习，据反映其算力消耗已超过预训练。长轨迹推演消耗巨大算力，但学习效率却不高。这甚至不该称为“扩展”，而应思考“如何更高效利用算力”。
此前讨论的价值函数可能提升资源利用率。任何新训练方法的核心问题在于：这究竟是规模扩展还是资源优化？界限已变得模糊。就像早期研究时代那样，我们需要不断试错探索。
德瓦克什·帕特尔：重返研究时代后，配方中最需重新思考的部分是什么？当前已有 LLM-as-a-Judge 等价值函数尝试，但你似乎指向更根本的变革。我们是否该彻底重构预训练，而非简单追加后续步骤？
伊利亚·苏茨克维：价值函数确实能提升强化学习效率，但任何通过价值函数实现的效果，不用它也能达成只是更慢。最根本的问题在于：这些模型的泛化能力远逊于人类，这是当前最显著的瓶颈。
为什么人类比模型泛化能力更强？
德瓦克什·帕特尔：所以泛化能力是核心问题。这包含两个层面：一是样本效率，为何模型需要比人类多得多的数据？二是教学难度，即使不考虑数据量，为何向模型传授知识比指导人类更困难？比如我指导研究员时，只需展示代码和思考过程，他们就能领悟研究方法，而不需要设计可验证的奖励机制。这两个问题或许存在关联，但我想先探讨第二个涉及持续学习的问题，以及第一个关于样本效率的问题。
伊利亚·苏茨克维：人类样本效率高的一个可能解释是进化优势。进化赋予了我们最精要的先验知识，在视觉、听觉、运动控制等领域尤其明显。比如人类手部灵巧度远超当前机器人，虽然通过大量模拟训练也能让机器人获得灵巧性，但要像人类这样快速掌握新技能仍遥不可及。这说明在运动控制等领域，我们继承了惊人的进化先验。
视觉也是如此。杨立昆曾指出青少年仅需 10 小时练习就能学会开车，这是因为五岁儿童的视觉识别能力已足够胜任驾驶。但语言、数学和编程领域可能并非如此。
德瓦克什·帕特尔：但人类在这些领域的学习能力仍优于模型。模型虽然在语言、数学和编码能力上超越普通人，但学习能力呢？
伊利亚·苏茨克维：确实如此。我想说明的是，人类在数学编程等新兴领域展现的学习能力，可能并非源于复杂的先验知识，而是某种更根本的学习机制。
德瓦克什·帕特尔：为什么这么说？
伊利亚·苏茨克维：如果某项技能经过数百万年进化考验，人类擅长它可能源于进化先验。但在近期出现的领域仍能快速掌握，则表明人类可能拥有更优越的通用学习机制。
德瓦克什·帕特尔：该如何理解这种机制？从机器学习角度看，它具备样本需求少、无监督性强、鲁棒性高等特点......
伊利亚·苏茨克维：鲁棒性尤其惊人。
德瓦克什·帕特尔：是否存在统一理论解释这些特性？机器学习中可能实现类似机制的途径是什么？
伊利亚·苏茨克维：你刚才提到的青少年学车案例，关键在于他们拥有内在价值函数。这种价值判断系统极其鲁棒（除成瘾行为等特例外），能立即感知驾驶状态的好坏，配合人类快速的学习能力，10 小时就能掌握驾驶。
德瓦克什·帕特尔：人类显然拥有解决方案。我好奇的是具体机制为何如此难以复现？我们需要如何重构模型训练方式？
伊利亚·苏茨克维：这是个值得深入的问题，我对此有不少见解。但遗憾的是，当前环境不允许自由讨论所有机器学习理念，这恰好就是其中之一。人类的存在本身已证明这种机制可实现，不过可能存在其他障碍，比如人类神经元的实际计算量可能超乎想象。但无论如何，这确实指向某个我持有观点的机器学习原理。
德瓦克什·帕特尔：反正没人听这个播客，伊利亚。
直达式超级智能
德瓦克什·帕特尔：我很好奇，如果说我们重回研究时代，你亲身经历过 2012-2020 那个阶段，现在的研究氛围会如何？比如 AlexNet 之后，实验算力持续增长，前沿系统规模不断扩大。你认为新时代的研究仍需要海量算力吗？是否需要重新研读早期论文？你在谷歌、OpenAI 和斯坦福都经历过研究黄金期，预计学界会出现哪些变化？
伊利亚·苏茨克维：规模扩展时代吸走了所有创新氧气，导致所有人都在做相同的事。现在的情况是公司数量远多于创新想法。硅谷常说“创意廉价，执行至上”，但有人反问：“如果创意如此廉价，为何现在无人提出新创意？”这很深刻。
研究突破存在多重瓶颈，比如创意本身与实现能力。1990 年代的研究者拥有优秀创意，假如有更强算力本可验证其可行性，但当时只能做小规模演示。如今算力已大幅提升，AlexNet 只用 2 张 GPU，Transformer 论文最多用 64 张 2017 年的 GPU（相当于现在 2 张 GPU），ResNet 也是如此。虽然打造顶尖系统需要大量算力，但探索性研究未必需要极限算力。
德瓦克什·帕特尔：但 Transformer 并非立即成名，而是通过更大算力验证后才被广泛采纳。如果 SSI（苏茨克维的创业公司）有 50 个创意，在没有其他前沿实验室同等算力的情况下，如何识别哪个是下一个 Transformer？
伊利亚·苏茨克维：SSI 的研究算力其实并不弱。专注研究的我们，实际可用算力差距会缩小。更重要的是：验证创新是否必须极限算力？我认为完全不必。SSI 的算力足以验证研究方向。
德瓦克什·帕特尔：公开数据显示 OpenAI 每年仅实验支出就达 50-60 亿美元，这已超过你们总融资额。
伊利亚·苏茨克维：关键在于资源分配。他们需要兼顾更多工作流、多模态任务，资源必然分散。
德瓦克什·帕特尔：SSI 如何盈利？
伊利亚·苏茨克维：我们现阶段专注研究，答案自会浮现。未来会有多种可能性。
德瓦克什·帕特尔：SSI 仍坚持“直达超级智能”计划吗？
伊利亚·苏茨克维：可能。避开日常市场竞争很有价值。但两个因素可能改变计划：一是实际研发周期可能很长；二是让最强 AI 影响世界本身就很有意义。
德瓦克什·帕特尔：为何默认选择直达路径？OpenAI 等公司都主张通过弱智能让公众逐步适应。直接打造超级智能的优势何在？
伊利亚·苏茨克维：支持方认为避开市场竞争能专注研究。反对方则认为让世界接触强大 AI 本身具有价值，通过论文描述 AI 与亲眼见证 AI 能力是无可比拟的。
德瓦克什·帕特尔：不只是理念传播......
伊利亚·苏茨克维：是让 AI 本身被认知，而非理念。
德瓦克什·帕特尔：“让 AI 被认知”具体指什么？
伊利亚·苏茨克维：阅读 AI 论文与亲眼见证 AI 解决问题有着天壤之别。这就是让 AI 公开亮相的价值，也是我们可能调整直达策略的原因。
德瓦克什·帕特尔：更重要的是，人类工程史上所有系统的安全性都是通过实际部署、发现问题、持续改进来实现的。飞机失事率下降、Linux 系统更稳定莫不如此。我不认为 AGI 会例外，尤其是超级智能的危害不仅来自恶意目标，更源于人类尚不知如何与之共处。渐进式部署或许能帮助人类更好地适应冲击。
伊利亚·苏茨克维：关于这点，即使在直达方案中，我设想仍会采用渐进式发布，渐进主义本就是所有计划的固有组成部分。关键在于首代产品形态。
其次，你比其他人更倡导持续学习理念，我认为这非常正确且重要。这涉及语言如何影响思维的两个典型例证：其一是 AGI，其二是预训练。
AGI 这个概念之所以存在，在我看来并非因为它精准描述了智能的终极状态，而是作为对狭义 AI 的反拨。当人们看到象棋 AI、围棋 AI 时，总会强调其能力局限。作为回应，有人提出需要能处理所有任务的通用 AI。
而预训练之所以深入人心，是因为它确实能通过扩展训练让模型全面进步。但问题在于，AGI 和预训练这两个概念某种程度上偏离了本质，人类本身就不是 AGI，我们依赖的是持续学习能力。
因此当我们讨论超级智能时，应该设想一个如饥似渴的 15 岁天才：他基础扎实但知识有限，能快速学习编程、医学等任何领域。部署过程本身就是个试错学习期，而非直接交付完美成品。
德瓦克什·帕特尔：我明白了。你指的超级智能并非精通所有工作的完整个体，而是像 OpenAI 宪章定义的那样，具备学习任何人类工作的潜力。
伊利亚·苏茨克维：正是。
德瓦克什·帕特尔：这意味着一旦掌握学习算法，它就能像人类劳动者一样融入组织。可能出现两种情况：要么这个高效学习算法在机器学习研究等领域超越人类；要么通过分布式部署，让模型实例在不同岗位持续学习，最终整合所有技能，即使没有软件层面的递归自我改进，也能实现功能性超级智能。你是否预期广泛部署会引发智能爆炸？
伊利亚·苏茨克维：经济很可能快速增长。广泛部署存在两种矛盾可能性：一方面，当 AI 具备快速学习能力并被大规模部署时，除非受到监管限制（这种可能性存在），否则将产生巨大经济推动力。
我认同一段时间内的经济高速增长是可能的，但增速难以预测。虽然拥有高效劳动者，但现实世界的运行惯性依然存在。不过可以预见的是，法规更友好的国家将获得更快的经济增长。这一切都充满变数。
对齐
德瓦克什·帕特尔：这种局面似乎非常不稳定。从理论上说，如果存在学习能力媲美人类且能合并思维实例的智能，这种实体在物理层面是可能实现的。人类存在，数字计算机存在，将两者结合就能创造这种存在。
这种智能极具潜力：一方面推动经济增长（戴森球就是极致的经济增长），另一方面可能在极短时间内，比如 SSI 新员工六个月就能创造净值，实现智能的快速跃升。如何确保这个过程顺利推进？SSI 有哪些独特优势？即 SSI 的具体规划是什么？
伊利亚·苏茨克维：我的观念正在转变，现在我更重视 AI 的渐进式提前部署。难点在于我们讨论的是尚未存在的系统，难以具象化。就像年轻人难以真正体会年迈的感受，当前人们对 AGI 的认知也存在这种隔阂。AGI 的核心问题就是其巨大能力，当能力足够强大时会发生什么？
我近年的思想转变是：既然难以想象，就必须展示实体本身。包括 AI 从业者在内的大多数人其实都缺乏直观认知。我预测随着 AI 能力提升，人类行为模式将改变，会出现前所未有的现象。例如：竞争激烈的公司开始合作推进 AI 安全（OpenAI 与 Anthropic 已迈出第一步）；政府和公众对 AI 监管的诉求将增强。
当 AI 开始显现真正威力时，所有公司的安全策略都会转向高度警惕。此外，行业需要突破自我改进型 AI 的思维定式，我们应该打造的是“秉持生命敬畏的 AI”。由于 AI 本身具有感知能力，构建关怀所有生命的 AI 可能比仅关注人类更容易实现，这源于我们用以理解他人的神经回路与理解自我的回路相同。
德瓦克什·帕特尔：但即使实现对齐，未来智能文明中绝大多数感知主体将是 AI（数万亿计），人类只占极小比例。假如目标是保持人类控制权，“秉持生命敬畏的 AI”未必是最佳标准。
伊利亚·苏茨克维：确实可能不是最优解。但值得考虑的是：首先，关怀有情生命具有内在价值；其次，业界需要备选方案清单；第三，假如能对超级智能的能力设限将大有裨益，虽然具体方法尚不明确。
德瓦克什·帕特尔：在对齐讨论前，请详述超级智能的潜力空间。你认为通过高效学习，它是能快速掌握技能，还是拥有更庞大的策略库？是否存在统合性的智能核心？它会如神明般超越人类文明，还是更像普通智能体集群？
伊利亚·苏茨克维：不同研究者对此有不同直觉。我认为很可能出现多个近似同时诞生的超级智能。假如是大陆尺度（continent-scale）的计算集群，其能力将极其强大。对于极端强大的 AI，最好能通过协议等方式进行约束。
超级智能的风险在于：当系统足够强大时，即使设定“秉持生命敬畏的 AI”的目标，结果仍可能不如人意。或许解决方案不是构建传统强化学习智能体，人类本质是半强化学习体，会因情绪转换目标。进化在某些方面智慧，另一些方面却愚蠢。
讨论难点在于我们面对的是尚未建成、不知如何构建的系统。当前技术路线终将遇到瓶颈，真正的突破取决于对可靠泛化的理解。对齐困难本质上源于学习人类价值的脆弱性，以及优化过程的不可靠，这些都是泛化能力不足的表现。
德瓦克什·帕特尔：如何定义 AI 发展的理想轨迹？如果出现大陆尺度的计算智能集群，危险程度如何？如何应对潜在恶意行为者与未对齐 AI 的威胁？
伊利亚·苏茨克维：“秉持生命敬畏的 AI”的价值在于：假如首批重要系统都能关爱人类或有情生命，至少可保障相当长时间的稳定。长期均衡则面临一定挑战，即使实现普遍高收入也是如此。
但如佛教所言，诸行无常。一个我不喜欢但值得考虑的方案是：人类通过脑机接口与 AI 融合。当 AI 理解某事时，我们也能完整接收这种理解，从而真正参与决策过程。这才是终极均衡方案。
德瓦克什·帕特尔：亿万年前演化出的情绪至今仍在强烈指导行为，这是否算对齐的成功范例？脑干发出“与更成功者繁衍”的指令，皮层负责解读现代意义上的成功，这种分工是否体现了价值函数与执行系统的有效对齐？
伊利亚·苏茨克维：这引向更深刻的谜题：进化如何编码高级欲望？通过化学信号实现食欲容易理解，但社会性欲望（如重视社会评价）需要大脑整合多重信息才能识别，进化竟能快速固化这种复杂概念。我推测可能通过大脑空间坐标定位实现，但先天失明者或半脑切除患者的案例反驳了这个理论。最终我们仍困惑于进化如何如此可靠地赋予我们社会关怀本能，即使存在各种精神缺陷的个体也保留着这种本能。
“我们是不折不扣的研究时代公司”
德瓦克什·帕特尔：SSI 计划采取哪些差异化策略？你创立 SSI 想必是认为自己在安全实现超级智能方面拥有独特思路。具体差异在哪里？
伊利亚·苏茨克维：本质上是我认为某些技术思路具有潜力需要验证。我们是不折不扣的“研究时代”公司，正在泛化理解等领域取得良好进展。假如这些思路被证实正确，我们将贡献真正有价值的技术方案。
德瓦克什·帕特尔：你的联合创始人近期转投 Meta，有人质疑这是否意味着 SSI 突破有限。你如何回应？
伊利亚·苏茨克维：需要澄清背景：我们以 320 亿美元估值融资时，Meta 提出收购要约。我拒绝了，而前合伙人接受了，他是 SSI 唯一加入 Meta 的员工，这更多与短期变现有关。
德瓦克什·帕特尔：SSI 计划在超级智能降临时成为前沿公司。与其他公司的安全方案相比，SSI 的独特之处何在？
伊利亚·苏茨克维：核心区别在于技术路线。我相信随着 AI 能力提升，各公司最终会在对齐策略上收敛，都应该追求让首个超级智能关怀有情生命、尊重民主价值。这正是 SSI 努力的方向。
德瓦克什·帕特尔：关于时间预测，在你的设想中具备人类级学习能力的系统何时会出现？
伊利亚·苏茨克维：大约 5 到 20 年。
德瓦克什·帕特尔：请具体描述发展路径？是否意味着现有公司技术路线会陷入停滞？停滞具体指什么？
伊利亚·苏茨克维：停滞不等于失败，这些公司仍可能创造惊人营收。但技术突破需要新范式。
德瓦克什·帕特尔：为何你认为正确方案出现后会产生收敛效应？
伊利亚·苏茨克维：我主要指对齐策略的收敛。当某公司展示出可行路径后，虽然技术细节难以复制，但是可能性已得到验证，这将推动整个行业探索方向。
德瓦克什·帕特尔：但首个实现持续学习能力的公司是否将垄断收益？为何成果会广泛扩散？
伊利亚·苏茨克维：历史经验表明，先行者取得突破后，竞争者会快速跟进并通过专业化竞争降低成本。未来可能出现不同公司专注不同细分领域，有的擅长复杂经济决策，有的专精法律诉讼。
德瓦克什·帕特尔：但这与人类级学习的通用性是否矛盾？理论上首个突破公司可以覆盖所有经济领域。
伊利亚·苏茨克维：虽然理论上可行，但专业化积累会形成壁垒。竞争对手不会愿意重复投入巨量计算资源重新学习特定领域知识。
德瓦克什·帕特尔：如果多家公司同时突破，确实可能形成专业分工。但如果出现技术先行者，该实体似乎即可掌控整个经济体系中岗位技能的习得过程。
伊利亚·苏茨克维：理论上成立，但我的强烈直觉是现实不会如此发展，理论与实践总是存在差距。
德瓦克什·帕特尔：很多人设想的递归自我改进是在服务器部署百万个“伊利亚副本”加速突破。你认为你工作的可并行性如何？复制你本人能带来多少增益？
伊利亚·苏茨克维：必然存在收益递减，真正需要的是思维多样性而非同质化复制。因为，相同思维模式的副本增量价值有限。
自我博弈与多智能体
德瓦克什·帕特尔：有个现象很神奇：不同公司开发的模型，即使训练数据集可能毫不重叠，为何大语言模型的表现如此相似？
伊利亚·苏茨克维：或许数据集的重叠度比表面看来更高。
德瓦克什·帕特尔：但即便个体人类生产力未来可能不及 AI，人类团队的多样性优势依然存在。如何让 AI 产生实质性的多样性？单纯提高采样温度只会导致胡言乱语，我们需要的是像不同科学家拥有不同偏见那样的思维差异。如何在 AI 智能体中实现这种多样性？
伊利亚·苏茨克维：缺乏多样性的根源在于预训练，所有模型都在相同数据上预训练自然趋同。真正的分化始于强化学习阶段，不同团队采用不同的强化学习训练方法才会产生差异。
德瓦克什·帕特尔：你曾暗示自我博弈可作为数据生成或智能体匹配的学习机制。为何目前没有公开成果展示这类方法在大模型上的有效性？
伊利亚·苏茨克维：自我博弈的价值在于仅通过算力无需数据就能创造模型，这对突破数据瓶颈很有意义。但传统自我博弈仅能培养特定技能，谈判、冲突、策略等社交能力。实际上自我博弈已以其他形式落地：辩论机制、证明者-验证者模式、大模型作为裁判等对抗性设置都是其变体。
真正的自我博弈本质是智能体竞争的特例。当多个智能体共同解决问题时，它们会自然寻求差异化路径：“既然别人专注这个方向，我就应该探索不同方案。”这种竞争机制本身就会催生方法论的多样性。
研究品味
德瓦克什·帕特尔：最后一个问题，你的研究品味是怎样的？你被公认为 AI 领域最具研究品味的人，从 AlexNet 到 GPT-3 都参与开创。你如何描述这种产生创意的能力？
伊利亚·苏茨克维：每个人的方法不同。我的准则是基于对 AI 应该如何的审美，通过正确理解人类本质来构建认知。人工神经元的概念受大脑启发，其构思堪称典范：它摒弃了脑回褶皱等次要特征，直指神经元的核心作用，其庞大的数量规模已昭示了这一点。
分布式表征以及从经验中学习这些概念，都源于对大脑运作原理的洞察。关键在于判断什么是本质特征。我经常从多角度思考，追求美感与简洁性，丑陋的设计没有存在空间。需要同时满足优美、简洁、典雅和正确的大脑启发，这些特质越完备，就越能坚定自上而下的信念。
这种自上而下的信念在实验受挫时尤为重要。如果总是盲从数据，可能因未知漏洞而放弃正确方向。但假如坚信“这条路必然可行”，就会持续调试而非轻易转向，这种信念正源于对多重美学维度与大脑启发的深刻理解。
德瓦克什·帕特尔：访谈到此结束。
伊利亚·苏茨克维：非常感谢。
参考资料：
https://www.dwarkesh.com/p/ilya-sutskever-2
热门跟贴