狂喂万亿 Token 的大模型，为何仍缺“品味”？
编译丨王启隆
出品丨AI 科技大本营（ID：rgznai100）
2017 年夏天，在谷歌大脑（Google Brain）一间平常的办公室里，八个年轻人敲完了论文《Attention Is All You Need》的最后一个字符。当时，几乎没有人意识到这篇论文会在接下来的几年里彻底引爆万亿美元的 AI 革命。用卢卡斯·凯泽（Łukasz Kaiser）自己的话说：“对我们来说，那不过是办公室里极其普通的一天（just another day in the office）。”
这八位作者相继离开谷歌，成为了硅谷历史上最传奇的“Transformer 八子”。
将近十年后的今天，已经身为 OpenAI 资深科学家的卢卡斯每天用 Cursor 来协助研究，好玩的是，他让 AI 做的第一件事，居然是花了两天时间，去完美复现他十五年前因为丢了源码而再也无法运行的学术论文。
这个亲手参与设计了全球最大“统计机器”的人，在桌前坦言：“我们其实根本还没有参透 ‘学习’ 本身的真正奥秘。”
在卢卡斯眼里，今天的行业陷入了一种奇怪的盲目狂热。大模型像是一个极度低效的学习者，它必须吞噬掉整个互联网万亿级的语料，穷尽所有错误的表象规律，才极其被动地去“理解”一个底层的概念。这不仅与人类的学习方式背道而驰，也正在让当前的 Scaling Law 撞上效率的冰山。
去年，当卢卡斯在与 CSDN 高级副总裁李建忠对谈时，他曾泼下冷水，指出“”。一年过去，当大模型的预训练大步跨越明显放缓，行业全面转向 Agent 落地和工程化探索时，时间正精准地印证着他的“冷思考”。
以下为这场对话的要点速览：
大语言模型确实能学会一个概念，但前提是必须穷尽所有的其他可能。它是在泛化，但它用的是一种我们无法完全参透的、“外星人”式的独特思维在泛化。
模型目前还无法敏锐地觉察到自己是否正在一条死胡同里越跑越远。
随着越来越多的人开始将这些系统融入日常工作，我们将积累海量的、长达数周乃至数月的真实人类工作流数据。一旦有人把强化学习应用到这些复杂的工作流中，或许会带给我们意想不到的惊喜。
AI 行业每隔一段时间就会经历一次技术海啸；你必须时刻把筹码压在那个代表【明天】的趋势上，而不是一味贪恋【今天】的繁华。
当你离开了主力实验室的庇护，一看到采购显卡所需的天文数字和稀缺性，可能也会面临不小的骨感现实。
在 OpenAI 的核心力量被 ChatGPT 这一现象级产品的繁华光芒所牵制时，Anthropic 做出了一次极明智的战略选择：将所有重兵死死压在“代码”这一个战场上，用绝对的专注在巨头的盲区里筑起坚实的护城河。
我们直觉上认为它应该更聪明
主持人：我想，没有比“泛化”更好的开场话题了。这可以说是当前全行业共同关注的焦点。去年 11 月，我听您提到过一个核心问题：单靠推理是否足以实现泛化，还是说我们必须寻找全新的路径。那已经是半年前的事了，在日新月异的 AI 行业里，这简直相当于过了好几年。在这段时间里，您对这个问题的看法有了怎样的变化？
Lukasz：如果看一看现在的 Transformer 结合了推理和智能体（Agent），并赋予它们访问系统外壳（Shell）和各种工具的能力，它们所展现出的能力确实惊人。与两年前相比，更不用说在 Transformer 诞生之前，我们所取得的进展简直不可思议。如果以前有人告诉我，只需拿一个“预测下一个 Token”的简单模型，给它加上思维链、强化学习和工具，就能发挥出如此威力，我是绝对不会相信的。就拿我个人来说，我每天都会花好几个小时和 Cursor 交流，它的表现非常出色。你和它讨论工作中遇到的难题，它不仅能心领神会，还能直接帮你落地实现。这真的太神奇了。
然而，硬币的另一面是，我们总觉得它和人类还是不太一样，距离我们心中期待的那种极限似乎还差了一口气。我们直觉上认为它应该更聪明，应当能凭借更少的数据实现泛化，完成跨度更大的思维跃升，并以极少的信息获取新的概念。
我最近做过一个类比：有人开玩笑说，美国人总是在穷尽了所有错误选项之后，才会做正确的事。大语言模型也是如此。它们确实能学会一个概念，但前提是必须穷尽所有的其他可能。你需要喂给它上万亿个 Token，让它把所有表象的规律都摸索一遍。只有当这些表象规律再也无法解释新事物时，它才会极其被动地去理解底层逻辑。但这绝非人类的学习方式。我们只需要极少的数据就能掌握一个概念，有时甚至能凭空虚构出一些概念——尽管不一定完美，但我们做到了。因此，我们总觉得背后一定还隐藏着某种其他机制，能实现高得多的泛化效率，并拥有一种更本质、更具长期性的理解能力。
不过，这目前还只是一种直觉。每当我们试图去精准捕捉这种缺失的机制时，它似乎又烟消云散了——或者更准确地说，是 Transformer 很快又追了上来。在这段时间里，两条路线都在成长。Transformer 变得越来越强大，但寻找替代方案的声音也变得愈发坚定。
如今，不少实验室正在探寻“后 Transformer 时代”（post-Transformer）的新架构，并且已经取得了一些耐人寻味的研究成果。行业里确实正在发生一些有趣的变化。至于最后谁能胜出？我目前也无从知晓。我认为双方都有非常坚实的立论依据，而这个博弈的过程将极其引人入胜。
CSDN 6 月宠粉福利
200 小时 GP U 算力免费领
瑞幸咖啡/肯德基早餐/麦当劳套餐/下午茶等能量套餐任选其一
入群还可每月定期抽取旗舰显卡、AI PC 等极客神装
领取地址：https://s.csdn.cn/4nPsOp
主持人：这对我们的听众来说一定非常有吸引力。您在最近的 NeurIPS 演讲中也隐喻过这种“空气中的异动”——似乎正有什么事情发生，悄然推动着一些新兴实验室（Neolabs）和研究人员自立门户，去探索那些有别于主流大厂主导架构的替代方案。这种若隐若现的感觉究竟源自何处？是来自于某些早期的实验突破，还是仅仅出自研究者的本能直觉？您能为听众们把它描述得更具象一些吗？
Lukasz：我认为很大程度上是直觉，而且我们必须保持清醒，因为这种氛围很多时候是在旧金山的各种派对和闲聊中发酵出来的。它在某种程度上可能会自我强化。但我相信，这其中也包含着一些极其本质的东西。其实杨立昆（Yann LeCun）早在多年前就阐述过类似的观点。
我们的模型虽然被称为“神经网络”，旨在模仿人类的大脑，但其实它们并没有真正做到这一点。哪怕存在某些相似性，两者也有着本质的区别。如果你观察人类是如何学习、如何行事，就会发现我们能用少得多的数据，做出远比现有模型更复杂的事情。作为某种“学习机器”，人类似乎拥有某种底层的核心能力，而这恰恰是当前模型所缺失的。因此，从根本上说，这里一定存在某些尚未被发掘的科学规律，而不仅仅是一时的情绪氛围。
当然，反方的论点也很明确：这些模型在训练中动辄消耗数万亿个 Token，而人类一辈子也接触不到这么多数据，所以我们其实根本没有针对“小数据训练”去优化这些模型。如果你拥有等量的算力，但面临数据限制，你完全可以通过微调 Transformer 展现出比现在好得多的性能。这时有人会质疑：为什么要多此一举？我们手头有的是数据，而且这已经成了一门庞大的产业。但即便我们尝试用和人类等量的数据去训练——话说回来，人类还要接收海量的视觉输入，在真实世界中移动并采取行动，这种数据的维度和纯文本截然不同，所以两者很难简单地进行对比，这也是为什么目前很难给出一个盖棺定论的科学结论。
但这种直觉始终萦绕：我们在机器学习领域，仍有极具价值的未知领地尚未开发。令人振奋的一点在于，一旦我们找到了这块缺失的拼图，现有的技术可能会迎来更上一层楼的质变。当然，也可能并不会；或许在海量数据的冲刷下，这种差距根本无足轻重。谁知道呢？但作为一名研究人员，这无疑令我着迷，我相信许多同行也有同感。
Transformer 的魅力毋庸置疑，其推理能力甚至能解决前沿的数学研究问题。你最近一定听说了 。由于我早年也做过数学研究，这对我来说简直太神奇了。我从未想过在这么短的时间内，计算机竟然能像一个真正的学者一样，和我在如此高的水平上探讨数学。但它确实做到了，这简直不可思议。
然而，作为一名机器学习研究人员，我转念一想：我们其实并没有真正参透“学习”本身的奥秘。模型确实在学习，这毋庸置疑，但它需要如此庞大的数据和算力支撑，总让人觉得距离终极真理还差了最后一步。这仅仅是一种直觉，或者说一时的氛围吗？它在某种程度上更像是一种现实，但一切还有待时间来验证。
主持人：探寻这一谜题背后的研究价值确实不言而喻。但也有人会持相反看法：即便模型和人类不一样又如何？既然我们拥有海量的数据，且这套方法行之有效，这就足够了。当然，有些领域确实面临着数据匮乏的困境，比如新药研发，在这些地方，如何利用有限的数据进行高效学习至关重要。但现实世界中的许多核心挑战，其实并没有那么严重的数据瓶颈。
有时我觉得这两派人是在各说各话。主流实验室的人可能会对杨立昆的观点嗤之以鼻，这也很正常。毕竟考虑到目前涌入 AI 领域的巨额资金，那些不受数据限制的问题确实在以惊人的速度被逐一攻克。
Lukasz：但很快，所有剩下的瓶颈都将演变成数据受限的问题，或者说这种趋势已经显现了。特别是要想在物理世界中交出满意的答复，你就必须在某种程度上解决这个问题。因为物理世界不像虚拟的文本或互联网世界那样可以无限扩展数据，一旦你在某种特定的机器人硬件上进行训练，数据扩展的效率就会大打折扣。物理世界是一个巨大的挑战。当然，人们目前正在尝试利用模拟数据和第一人称视角的视频数据，这些都是成本更低的替代方案。
我是 Waymo 的忠实粉丝。每次有人问我“说好的自动驾驶汽车在哪儿呢？” 我总是开玩笑说，我每天都在坐啊，它们不就在这儿吗？但他们最近却取消了高速公路驾驶，原因仅仅是无法应对某些施工区域。感觉他们被这种施工路段的问题困扰了许多年。我相信他们在模拟系统中跑了数百万英里，在真实路况下也积累了相当多的里程，但系统依然无法将“城市施工区”的经验顺利泛化到“高速公路施工区”。这让人觉得不合常理。
我不知道具体的症结出在哪里，但任何一个拿到驾照的青少年，甚至任何一个普通人，都不会面临这样的困惑。我们人类有很多缺点，但绝不会出现“能在城市施工路段开车，到了高速公路施工路段就抓瞎”的情况。施工区就是施工区，道理是一样的。
主持人：您认为这其中的一部分挑战，可以通过对 Transformer 的内部改进来解决吗？在接下来的几年里，您希望能看到什么，从而能对这个问题有一个更清晰的答案？
Lukasz：机器学习研究最让人兴奋的地方，就在于它的面向非常宽广。你永远无法提前预知到底需要调整架构、数据、损失函数，还是优化过程。每种思路都有其合理的立论依据，而且到头来，你可能需要在各个维度上都做一些调整。Transformer 确实伟大，但它的伟大也离不开“预测下一个词”的损失函数；你也可以让它配合强化学习（RL），但前提是必须引入思维链（Chain of Thought）。这些技术拼图只有在严丝合缝地拼接在一起时，才能展现出威力。
如果未来出现颠覆性的新路径，也许每个环节都需要重新推敲。但同样也有可能，Transformer 的某些核心组件会延续下去。例如，注意力机制（Attention）大概率还会保留，只不过需要其他新机制的协同。
我的机器学习生涯是从循环神经网络（RNN）开始的，所以“循环”（Recurrence）这一结构在我心中始终占据着特殊的位置。我非常喜欢它的逻辑美感。从某种意义上说，推理能力的崛起让循环机制重新回到了舞台中央，因为大模型每生成一个新 Token，其实都是在重复调用同一套权重。但在实际应用中，这种伴随稀疏损失的强化学习却能承载如此多的计算并最终奏效。这真的很神奇。
每当我们尝试以其他方式引入循环机制时，似乎总差了那么临门一脚。但这就引出了一个老问题：我们究竟付出了多大的努力去尝试它？不知道你或听众们是否了解，有一些诸如 TRM 和 HRM 的循环模型。它们虽然体量极小，但在数独（Sudoku）乃至 ARC-AGI 这种极具挑战性的基准测试中，却展现出了惊人的实力。虽然它们目前还处于玩具测试的阶段，但表现确实亮眼。我认为，现在许多处于前沿的“后 Transformer 架构”，其核心思路就是试图将这种循环机制与大语言模型进行融合。这客观上非常有趣。
纯粹的 Transformer 架构在应对这类逻辑难题时表现并不尽如人意，但只要注入一些循环机制、做一些架构上的微调，或者稍微改变一下损失函数，它的表现就能大幅飙升。即便在极小的尺度上，你也能实现非常惊人的突破。这种思路能否最终泛化到语言层面，并带给我们梦寐以求的能力？这非常值得期待。幸运的是，目前正有几家实验室在这条路上深耕。
除此之外，今年我们迎来了智能体（Agent）的爆发。对我而言，这恐怕是我从事机器学习研究二十年来，日常工作方式所经历的最大一次变革。
CSDN 6 月宠粉福利
200 小时 GP U 算力免费领
瑞幸咖啡/肯德基早餐/麦当劳套餐/下午茶等能量套餐任选其一
入群还可每月定期抽取旗舰显卡、AI PC 等极客神装
领取地址：https://s.csdn.cn/4nPsOp
这相当于把一周的工作缩短到了一天
主持人：不知道您有没有尝试去量化过，您认为 AI 让您的工作效率提升了多少？
Lukasz：这个我还真的能给出相对准确的量化指标。我最近在一台私人电脑上尝试复现一些我一直很感兴趣的老论文，甚至包括几篇我自己写的、但源码已经丢失的论文。我以前曾尝试手动复现过其中至少一篇，深知单单让代码跑通就需要大约三周的时间。但在 Cursor 的帮助下，我只用了两天就完成了。
这相当于把一周的工作缩短到了一天——整整 5 到 10 倍的效率跃升。也许我当年如果更拼一些能更快，但这种改变无疑彻底重塑了你的研究节奏，让你能够毫无顾虑地去尝试新想法。我现在甚至可以同时开启三个并行的实验并让它们自主运行，而以前手写代码时，我一次只能专注做一件事。它不仅极大地提高了速度，还带来了多线程并行的能力。
在做一些非生产环境的私人项目时，我基本上已经不再一行行去看代码了。曾有朋友问我，这会不会让我思维的敏锐度有所退化。我仔细思考过这个问题，答案恰恰相反。虽然我不用再去紧盯每一个类名或每一个细微的函数，但我深知智能体随时可能偏离轨道。比如有一次跑评估（Eval）时，它在运行中遇到了一些辅助损失，居然自作主张地又塞进了一个完全不挨边且错得离谱的辅助损失。
因此，你的大脑必须对系统到底在运行什么保持全盘的、绝对的掌控。它的损失函数是什么？它的底层架构是什么？你必须心中有数。你只是不需要去操心类名叫什么，或者某个函数的具体拼写细节。能够让智能体去精准实现你脑海中的构想，这种信任感令人惊叹。大多数时候当我们去复核时，会发现它完成得严丝合缝。
因为你的大脑必须高度集中于机器学习逻辑本身——损失函数如何设计、批次大小（Batch Size）如何调整，我反而觉得现在对研究项目的底层掌控力，比以前亲力亲为时还要高。过去在实现一个点子时，在真正跑通代码之前，我不得不把精力耗费在无数琐碎的调试细节上，随后还要跳回宏观视角，在这个过程中常常会遗漏一些精妙的设计。
而现在，你完全沉浸在心流（Flow）之中。你只需要从机器学习的本质出发去思考应该发生什么，把指令传达给智能体，验证它的输出，一切就自然而然地运转起来。这不仅仅是节约了时间，更让研究本身变成了一种极大的享受。我想，这可能是最近科研人员中流行的一种轻度狂热吧——我们根本停不下来。
主持人：OpenAI 曾公开表示，他们的目标是在今年 11 月之前让 AI 达到研究员助理（实习生）的水平。作为一名在日常科研中重度使用 Cursor 的学者，您觉得我们距离这个目标有多近？您如何看待这个里程碑？
Lukasz：它的表现确实非常接近一名实习生了，但你依然必须紧盯它的产出。就像我刚才提到的，它可能会自作主张地加上一些你根本没有要求的损失函数，纯粹是因为在它的逻辑里这听起来挺合理的。我不知道真实的实习生会不会这么干，也许在他们非常有创造力的时候会吧。
我有时也会尝试让它自主运行一夜，给它设定一个宏观目标，比如“改进模型以降低困惑度（Perplexity）”。但这从来行不通。它只会开始做一些无关痛痒、毫无研究价值的小修小补。所以，它目前肯定还没达到独立研究员的高度。
主持人：要在这个方向上实现突破，未来的可行路径是什么？
Lukasz：这又绕回了我们最开始的讨论。其实早在 Transformer 诞生之前，我就长期致力于机器学习中的“长上下文”和“记忆机制”研究。后来我们把长上下文带入了 Transformer 时代，实现了百万级别的 Token 长度，这在注意力机制的框架下已经是一个极其惊人的规模了。
然而在当前的智能体时代，我发现像 grep 甚至 ripgrep 这样的工具才是长上下文的真正解法。我们只需要把海量的内容写入文件，赋予智能体使用 grep 检索的能力，让它去建立索引文件并像一个小型图书馆那样去运作。
作为一名研究人员，如果五年前有人告诉我这是解决长上下文的方法，我一定会嗤之以鼻，觉得这不过是一个投机取巧的辅助手段。但在机器学习领域，很多伟大的发明在最初看起来都像是一种权宜之计，比如 Dropout 机制。我们不应该以出身去评判技术，只要它切实有效，我们就应该大方接纳。而这种方法的效果确实惊人。
你只需要加入少量的强化学习（RL），比如压缩（Compaction）机制。如果说有什么原因让我坚定地选择 Cursor 而非 Claude 的网页版，那就是 Cursor 出色的上下文压缩能力。
你可以让一个对话长久延续下去，因为它非常擅长提炼核心信息。为什么它能做得这么好？我想这并没有多么高深莫测的秘密，无非是开发团队设计了精妙的提示词，并在其上套用了一些强化学习手段。如果几年前你对我说，长上下文的终极方案只是用一点强化学习让它学会用工具、在文件里翻找东西、然后把内容提炼得足够精简以维持上下文，我一定会说这只是在贴膏药，根本没有触及科学深度。但我们不以表面是否优雅来评价一个解法，我们只看疗效，而它确实极为管用。
所以，关于它能否真正进化为一名独立的研究员：有人持悲观态度，认为这是不可能的，除非我们研发出某种全新的“后 Transformer”架构，让它能理解更庞大的宏观概念并拥有长期的目标导向。这确实是一个合理的立论。从目前来看，现有的路线似乎就能够解决不少问题。
但另一些人则认为，当你和 Cursor 连续对话一个月之后，你完全可以引导它去复盘这些对话，梳理出一些元模式（Meta-patterns），并将它们归档到文件里，进而去思考如何加以利用。或许，如果我们收集成千上万人的类似交互数据，并在其上进行强化学习训练，AI 就会开始表现得像一个真正的学者。在某种程度上，人类学者也是这样学习的：我们观察前辈的研究，反复做实验，总结出一套最行之有效的方法论。
主持人：为什么现在这种方法行不通呢？我相信肯定已经有人在这方面做过尝试了。
Lukasz：我认为大家还没有在这个方向上倾注足够多的心血。有些人写了一些提示词，确实起到了一定效果，但也仅限于此。在我看来，真正的“Cursor 时代”大约是从去年圣诞节开始的。虽然在那之前 Cursor 就存在，我们也使用过，Claude 也同样存在，但在圣诞节期间，每个人都真切地感受到了某种蜕变。
这似乎不仅仅是模型的升级，还涉及到整个Harness和一系列后训练（Post-training）的精细打磨。这满打满算也才过了半年，如果你走出旧金山的 AI 行业圈子，你会发现还有大把的人完全没有领略到这种改变，他们甚至会觉得我们这些重度依赖它的人有点狂热过度。
这套系统开始真正发挥威力，也只是最近的事。我们甚至无法完全从理论上解释这一飞跃。这并非一次宏大的预训练参数大跃进所带来的结果，即便这期间确实诞生了更强大的基座模型。想当年，我们从 RNN 跨越到 Transformer 时，大家可以非常轻易地将这种蜕变归功于底层架构的彻底颠覆。而如今，虽然推理能力的重要性毋庸置疑，但去年圣诞节前后的那种蜕变依然有些让人捉摸不透。框架升级了、后训练优化了，新的预训练模型也适时登场，多重因素交织在一起带来了这次惊人的跨越，但你很难将其简单地归结为某一个单一的推手。
这其中充满了各种交叉影响，因为我们无时无刻不在对系统的各个环节进行优化。但正因为它的效果如此惊人且至关重要，在激烈的市场竞争面前，大家都在争分夺秒地进行商业化推广，努力让它普及到各个应用场景。这也导致大家还没有足够充裕的时间在“元层面”（Meta-level）上进行深度的理论解构。虽然一些探索已经拉开序幕，但在元层面上做研究，意味着你需要花一周的时间去捕捉某种模式，然后再尝试将其落地，这需要数周的时间来进行系统迭代。
在现有的强化学习机制下，每一次方案迭代都需要进行大规模运行测试（Rollout）。如果一个测试周期长达数周，那么单次训练的时间就会被拉长到几个月，这在工程实践中是完全不切实际的。
这也正好印证了一个观点：人类的学习与研究方式，或许能带给机器学习深刻的启示。人类可以花费数年时间去钻研一项研究，而其间尝试的次数其实极少。有些数学家会花上二十年去攻克一个难题，这成了他们一生中最璀璨的代表作。他们并没有两百个长达二十年的研究周期去反复学习和试错，但他们依然做到了。这其中的奥秘究竟是什么？这绝对是一个极其迷人、且与当前 AI 发展高度相关的课题。我们目前尚未解开这个谜题。不过，随着越来越多的人开始将这些系统融入日常工作，我们将积累海量的、长达数周乃至数月的真实人类工作流数据。一旦有人把强化学习应用到这些复杂的工作流中，或许会带给我们意想不到的惊喜。
主持人：这是一个非常深刻的切入点。过去我们在扩展预训练规模，或是研发初代推理模型时，优化路径是极其明确且符合常理的——我们很清楚该在哪个维度上去堆积算力。别是去年圣诞节 Cursor 和 Claude 的突飞猛进，其背后的力量却显得有些神秘。如果无法精准定位这一变革的真正源头，就很难看清接下来应该朝哪个方向发力，才能持续提升系统的核心能力。
Lukasz：确实如此，这确实有点让人摸不着头脑。我不知道具体的诀窍，并不代表行业里真的无一人知晓。或许有些同行对真正的突破口抱有极强的信心，但我认为至少在目前，这绝非一个显而易见的共识。技术实力其实已经默默积淀了很久，但那次蜕变之后，许多过去看似天方夜谭的设想在一夜之间化为了现实，这显然是强化学习领域的某次巧妙的规模扩展（Scaling）所带来的红利。
品味是很难用具象语言去定义和拆解的
主持人：目前大家非常关注的一个问题是：我们已经在代码和数学这类高度“可验证”的领域目睹了翻天覆地的变化。但围绕强化学习，有两个挥之不去的核心疑问：第一，它在那些“不可验证”的主观领域究竟能走多远？第二，我们能否在不依赖海量专有数据的前提下，在不同的全新领域中实现高效的泛化？在您看来，那些属于“不可验证领域”的核心难题该如何去攻克？在代码和数学之外，您觉得下一个迎来突破的领域会是什么？
Lukasz：其实在那些“不可验证”的领域，我们已经取得了不错的进展。以法律领域的 Harvey 或是一些医学垂直应用为例，这些任务虽然没有绝对硬性的验证标准，但其中依然包含着大量可供交叉比对的可验证环节。这些方面的成果相当喜人。此外，像 GPQA 这样的基准测试在某种程度上也在评估这类综合能力。行业里有着极强的内在动力去这些领域开疆拓土。
事实上，直接给它们贴上“不可验证”的标签或许并不完全客观。它们当然不像代码或纯数学那样规则鲜明，但我认为人们其实夸大了数学的所谓“易验证性”。
代码在编程比赛的语境下的确是极易验证的。但一旦你涉及到复杂的系统前端交互，它同样变得难以用非黑即白的标准去界定。在数学领域，真正的学术论证过程很少是绝对纯净或容易自动核验的。你当然可以使用 Lean 这样的形式化工具，但大语言模型产出的大多数数学推导并没有经过严格的形式化沉淀，因此也谈不上绝对可验证。这是一个由易到难的光谱，可验证性是逐渐递减的。
我曾有个私人兴趣项目——尝试把英语诗歌翻译成波兰语，这听起来绝对是一门主观性极强的艺术。但当你让这些大模型来担任审校者时，你会发现它们其实能捕捉到非常精妙的细节。它们能细致地检查押韵、节奏、甚至是文化背景的契合度。事实证明，如果我们参考人类过去的评审机制，主观艺术同样能在某种程度上被量化和验证。
不过，这个诗歌翻译项目也向我揭示了另一个道理：你完全可以把所有的客观标准（押韵、字面、格律）都验证得无懈可击，但整首诗读起来依然毫无灵魂，缺乏“品味”。因为品味是很难用具象语言去定义和拆解的。如果它能轻易被言说，那它就已经被公式化验证了。然而无法言说并不代表我们感知不到，当你去阅读它时，你大脑中的某种直觉会固执地提醒你，这里面依然缺少了一些灵气。
在某种程度上，这正是由于当前的强化学习范式，让我们主动跳进了自己挖好的陷阱。它的运作逻辑非常简单：只要有一个裁判能告诉你什么是好，什么是坏，模型就能针对性地不断迭代、变得更强。这就是大模型现在的成长机制。每当我抱怨“我觉得这行字翻译得毫无品味”时，总会有人对我说“那你教教它什么是好品味”，而模型在大量的纠偏后，最终也确实能把这个具体的短板补上。就像图像生成一样，你很难给“美丑”下定义，但你完全可以通过让成千上万的人在训练过程中不断去点击更美观的图，从而让系统生成的画作整体审美水准显著提升。
因此，可验证的边界是非常模糊且富有弹性的。你可以通过收集人类的喜好，来获取虽然稀疏但极为宝贵的数据信号。为什么有些文字我会觉得缺乏审美？这显然源自我的生活阅历、知识积淀以及我对世界的感知方式。而模型为什么写不出这种灵性？这里有两种可能：第一是它经历的深度体验还不够，第二则是它处理这些体验的逻辑机制存在偏差。我认为这两个原因兼而有之。但即便在现有的底层处理逻辑下，只要你给它喂入更丰富的真实人类体验——比如收集上千人的主观反馈——它的品味就会大上台阶。
任何漏洞都可以通过不断地打补丁来补救。但如果我们可以不需要这样辛苦地去补漏洞，那该有多好。你补好一个漏洞，它就不再是阻碍，而原本隐藏在暗处的下一个漏风处就会暴露成新的瓶颈。我们似乎陷入了这种无休止的循环。如果我们能拥有一种像人类大脑一样的核心学习机制，从一开始就不需要我们去费尽心思地修补一个个规则死角，那该有多完美。
主持人：这意味着，在现有的底层架构下，任何人们聚焦的特定行业问题，其实最终都能被攻克？只是正像您所说的，这可能需要投入多得多的、经过精心筛选的专有数据，整个过程也远远没有未来那种更为优雅的学习机制来得自然。在您看来，是否真的存在某类问题或领域，是当前的强化学习方法根本无法逾越的鸿沟？
Lukasz：目前来看似乎并没有不可逾越的绝对障碍，但我们必须把商业和经济成本考虑在内。在现有的技术路径下，想要让模型在某个特定领域展现出极其惊人的实力，你必须先拥有一款体量极大、价格极昂贵的顶级闭源基座模型。而且，它往往是一座闭源的象牙塔，你根本无法触及其底层的核心权重。
虽然 OpenAI 提供了一些我很喜欢的强化学习微调 API，其他几家大厂也在跟进，但这种非完全掌控的模式依然存在局限。即便是通过 API 进行微调，由于你需要投入极其高昂的数据清洗和算力成本，整个过程依然极具挑战。这往往需要依托于一家资源雄厚的公司、长期的合同以及海量的专业资源去铺垫。如果这个问题本身有着极其重大的商业价值，那这条路当然值得走；但难道我们不更期待这样一幅画面：你只需跟模型聊聊天，它就能凭一己之力把事情解决得井井有条？
主持人：目前的基座模型是否展现出了通用的底层能力跃升？我们不妨想象这样一个图景：我们先从写代码开始，接着攻克数学，再把这套机制应用到法律和医疗，一个接一个地单点突破——哪怕暂时不追求跨领域的通用泛化。理想情况下，我们是否能期待在经过了一系列不同领域的强化学习探索之后，就像预训练阶段那样，大模型在强化学习的维度上也能够自发涌现出跨领域的通用泛化能力？
Lukasz：确实如此，这种自发泛化的迹象已经显现了。比如原本并不在标准强化学习管道中的法律领域，当你和 Harvey 等垂直应用的开发者交谈时，他们会发现某种理解力要么会自发涌现，要么只需要在顶层施加极其微弱的引导，系统就能瞬间开窍并融会贯通。通用泛化确实存在，但它的边界似乎依然比我们预期的要狭窄一些。有些时候，它甚至无法在数学的两个子领域之间完成顺畅的迁移。
比如在国际奥林匹克数学竞赛（IMO）中，几何题在很长一段时间里都是模型无法逾越的天堑。它明明可以极其轻松地解出其他方向的极难题目，但在几何面前，大家总会叹息：果然它没有空间想象力。然而，当它接触到了更多的几何题目后，它便开始能从容应对了——它并没有接触到任何物理或空间维度的全新数据，无非是做了更多的几何推导练习。
模型的泛化曲线呈现出一种奇特的“锯齿状”。它可能在这个维度上迈出了一大步，但在另一个在我们看来近在咫尺、仅仅是因为没有完美契合它内部思维链表达的地方，却会彻底卡壳。它是在泛化，但它用的是一种我们无法完全参透的、“外星人”式的独特思维在泛化，这和人类的泛化常理存在着某种错位。可能随着训练数据的持续堆积，它能够覆盖的盲区会越来越少。但我也非常理解为什么许多决策者在面对这样的系统时依然心存戒备，不敢轻易委以重任——因为你永远无法提前预知它在什么地方隐藏着致命的盲区，必须时刻提防它的出错。
作为一名机器学习学者，在使用这些系统的过程中，我必须随时保持高度的机警和审慎，因为任何一丝疏忽都可能被它带偏。从学术研究的角度来看，这种高难度的磨练确实能让我们保持敏锐，但从技术实用性的角度来说，这无疑是一项极大的挑战，因为我们无不期待着它能更加圆润温和，而不是像现在这样，浑身上下依然布满了锋利的棱角。
硬件架构跟不上科研思路的瓶颈正在迅速消融
主持人：您刚才提到了受益于模型能力迭代的应用型公司。目前行业里有一个非常重大的抉择：作为一家应用型公司，是应该选择与顶尖的实验室建立深度合作，将自身的评测体系和行业洞察共享给他们，还是应该小心守护自己的专属数据，并在其基础上自建模型，避免将核心资产流失给大厂？我非常好奇，您怎么看待当下依附于核心底座模型之上的应用层生态空间？
Lukasz：你的预训练底座模型体量越大、性能越强，那些所谓的“锋利棱角”就会被磨砺得越平滑。总体而言，这会让你的应用开发之路变得顺遂得多。无论是做强化学习还是在大模型上做微调，强大的基座都会让后续工作事半功倍。这一定律的持久生命力确实令人叹服。
还记得一两年前，行业里盛行一种声音，宣称“大模型已死，小模型（SLM）才是未来”。我们今天确实见证了一批极其优秀的小模型，比如参数量仅有几B的 Gemma 系列。当年在 GPT-3 的时代，大家都笃信在 100B 参数以下根本无法实现靠谱的零样本学习（Zero-shot），但如今一个 3B 的模型就已经能展现出惊人的业务能力。这当然令人振奋，但如果你需要去攻克极其错综复杂的底层难题，并希望模型能极其轻巧地融入你的专属数据和海量上下文，那么没有任何东西能替代真正庞大的超级模型。当然，它们的训练和推理成本极高，部署门槛也让许多人望而却步。
主持人：对于非前沿领域的大众而言，一个不太容易直观感受到的事实是：新一代硬件设备究竟为算法带来了多大的释放空间。比如随着英伟达 Blackwell 芯片的推出，模型能力也应声上了一个台阶。我们很难分清，这究竟是因为强大的新硬件赋予了我们过去无法奢求的计算可能，还是仅仅在时间线上的一种偶合。您认为，底座架构是否会随着硬件计算性能的每一次跃升，而顺理成章地持续变强？
Lukasz：硬件性能的升级，无非体现在每秒浮点运算次数（FLOPs）和内存访问带宽这两个维度上。你必须拥有足够快的内存传输效率，才能让海量的算力不被闲置。这是一个极其直接的硬性性能指标。
我最近在自己的私人电脑上装了一张 5090 显卡。它的实力真的非常惊人。单张 5090 就可以提供大约 200 Teraflops 的算力（在某些特定的混合精度下甚至能达到 400，但部分被禁用了）。要知道，我们当年撰写 Transformer 论文时，所使用的 GPU 单卡算力仅有 9 Teraflops，整台机器装了 8 张卡，算上整机的运行开销，整台服务器的绝对算力大约也就 70 到 80 Teraflops。
而现在，我书桌下那台普通的小型塔式电脑里，单单一张显卡就相当于当年五台高性能服务器的算力总和。这意味着你完全可以在自己的书房或厨房里，用单张显卡跑完当年 Transformer 论文里的所有实验。而这仅仅用了不到十年的时间。这不能不说是科技史上的奇迹。如今我们都在 BF16 精度下跑运算，但其实可以采用更低的精度，特别是在引入混合专家模型（MoE）之后，这能让你在推理阶段塞进更多的信息。
我们运行这些模型的硬件门槛极大地降低了，这也随之拓宽了学术研究的广度。你可以依靠海量极速的显卡去训练超级模型。无论是英伟达的 GPU 还是 Google 的 TPU，都维持着极其迅猛的迭代步伐，且在并行化方面越做越好。
但我认为，更让人振奋的地方在于这极大地释放了科研人员的创造力。我记得我刚加入 Google 的那会儿，科学界还在热烈地探讨模拟整个人类大脑究竟需要耗费多少 FLOPs。几十年来的各种测算，最终都指向了 1 到 100 Petaflops 之间。当时，我们都觉得这至少需要数十年的硬件演进才能触及。而如今，你只需要购买单张 GPU 或者在云端租用几台机器，就能轻而易举地摸到这个门槛。从理论上说，你现在甚至可以只花几百或上千美元（而不是曾经令人望而却步的数百万美元），在短短一天内跑完相当于人类大脑一整年所处理的数据规模。
如果你脑海中诞生了一个关于人脑学习机制的新火花，你完全可以在短短几天内跑完并模拟人脑数年的学习历程。在我看来，这种赋能比单纯堆砌一个庞大模型更具颠覆性。它能帮助你扫清落地的一切障碍。我过去在研究 RNN 时常常觉得手脚被束缚，因为它是高度串行化的，在 PyTorch 里跑得极其缓慢。虽然你完全可以通过手写 CUDA 内核（CUDA Kernel）来解决加速问题，但手写 CUDA 内核的门槛高得惊人。而如今，你可以让智能体替你编写 CUDA 内核，让它和相对缓慢的单元测试进行交叉纠错，这让曾经的科研天堑瞬间变成了通途。虽然它们现在的内核编写技术还不算完美，但已经完全展现出了可行性。要不了多久，更先进的模型就能做到：你只需要下达一条让它“最大化压榨硬件性能”的指令，它就能为你奉上完美的底层代码。
那种“硬件架构跟不上科研思路”的瓶颈正在迅速消融。尽管硬件架构依然是并行的，但由于有智能体在底层为你源源不断地手写专属的底层内核，你能够尝试的边界已经不可同日而语。
主持人：行业内也有这样一种论调：在缺乏顶尖实验室那种超级算力底座的前提下，个人或普通机构几乎无法开展有深度、有现实意义的学术研究。你当然可以去做一些基础性的探索，但真理往往最终要在超级规模的算力池中接受检验，而普通人很难拥有这样的平台。但今天听到您对学术界、民间极客和单卡创业者依然报以如此乐观的期待，确实让人倍感鼓舞。 您觉得在未来的演进中，这种大众化科研的火种真的能延续下去吗？
Lukasz：这取决于我当天的心情。在比较乐观的日子里，我深信这一点。科学史无数次向我们证明，真正优美的思想往往诞生于纯粹的研究之中，未来的探索之路没有理由中断。但与此同时，我们手中现有的这套主流技术又确实展现出了强大的生命力，如果我们就此搁置、不去继续挖掘它的潜力，那也无疑是极大的失策。幸好，目前行业的实验室生态足够多元。
在转型加入实验室之前，我也曾深耕于学术界。在象牙塔中搞科研最让人陶醉的地方，就在于你可以毫无拘束地放飞自我，让思想天马行空。你确实无法在规模上和大厂硬碰硬，但即便在相对较小的尺度上——如今这个“小尺度”也早已不可同日而语——你依然能搞出非常前沿且不落窠臼的研究。你应该去尝试那些完全跳脱出当前主流框架的、极具灵性与美感的点子。这才是做科研最本真的乐趣所在。
当然，并非所有的灵感都能结出硕果；有些方法在小规模下表现惊艳，一旦扩大参数规模就迅速崩溃。但如果你手头拥有一台主流的 8 卡服务器，你所处的研究起点就已经远远超越了五年前。五年前，大家通常只能在 MNIST 这类玩具数据集上做些微调；而现在，哪怕是在单一的物理节点上，你开展的也不再是小修小补的工作了。
我个人私下里就经常使用安德烈（Andrej Karpathy）的 nanoGPT。这是一个 GPT-2 级别的模型，你只需要花上几个小时，在一台单卡机器上就能让它跑起来。虽说现在的硬件设备确实有些昂贵，但随着新一代 GPU 的交替，老一代的卡也终将普及开来。你能独立尝试的东西其实非常宏大，即使并非所有方法都能在超级算力下奏效，但在这个上下求索的过程中，那种智力激荡的快感是无与伦比的。
主持人：在定局之前，我还想向您请教另一个前沿方向——多模态模型。您在之前的播客中曾提及，我们在多模态领域还没有取得真正颠覆性的进展。您目前依然持有这一观点吗？您如何看待当下多模态领域的发展格局？
Lukasz：大家显然正在取得突破。或许，这其中的解法正指向类似于联合嵌入预测架构（JEPA）的方向。目前我们在 Transformer 甚至扩散模型中所采取的多模态学习路径，其底层逻辑最终都要落脚到去极其低效地预测每一个像素上。
但如果你转过头来看看人类，我们的大脑每时每刻都在吸收并吞吐海量的信息。我们的神经元响应速度相对而言其实非常慢——往往需要数百毫秒的反应时间——但我们的感官却是全天候、全方位、无死角地接收着外界的数据洪流。我们成功地从这一浩若烟海的数据流中学习，却并不需要像大模型一样去自回归地预测每一个像素。人类的交互学习机制是高度并行的，并且在一个极其庞大的广度上展开。我个人觉得，现有的模型机制还没有真正触及这一核心的精髓。这也许需要我们在基础架构的研究上寻求新的突破。
行业里也正在涌现出一些崭新的思路，例如多流 Transformer 架构（Multi-stream Transformers）。标准的 Transformer 是对前文的 Token 进行注意力计算。而你可以设计多个并行的信息流去同步运转，这虽然在架构上只是一个相对直接的小改进，却蕴藏着极其巨大的威力。
当我在 Cursor 里工作时，我可能会一不留神忘掉某件事，口头对它说出来，然后我不得不等待它在终端跑完一条 Bash 命令——整个过程需要三分钟。它必须等待我的输入去校准方向，这种半自动化的状态很难称得上是高度实时的双向互动。我们为了提升体验而引入了各种临时的拼贴手段，但在理想的世界中，万物应该是无时无刻不在协同运转的。人类的视觉、听觉和表达是双向一体的，而我们的模型也应该具备同样的实时吞吐特质。随着各大主力实验室开始往这个维度上聚焦，这一愿景大概率会化为现实。
但目前给人的感觉是，我们虽然在做“多模态”，却缺乏真正能在底层支持“并行吸收”的革命性架构升级。在现有的运行机制下，Transformer 根本无法做到每毫秒轻松吞吐一张高分辨率图像，因为在输入端，它不得不先将画面撕碎成一个个离散的小方块（Patches），然后再极为低效地把它们串行拼接起来。这总让人觉得别扭；我们不应该把图像切割成这些细小的补丁。感官信息应当像瀑布一样毫无阻碍地流入并被瞬间整体消化。我认为在这方面，我们还没有实现真正触及本质的底层突破，不过，很高兴看到大批同行已经在这个方向上潜心攻坚了。
你必须时刻把筹码压在代表明天的趋势上
主持人：我非常想和您聊聊您在 OpenAI 的那段岁月以及您的心路历程，因为那几年确实风云变幻，公司也屡屡成为镁光灯下的焦点。在您任职期间，有哪些艰难而关键的抉择，最终重塑并奠定了这家公司的基因？
Lukasz：我没有参与公司最初期的那些决策，但在我任职期间，全公司曾面临一个重大的抉择：是否要彻底转型、全力押注“推理”（Reasoning）。当时，公司管理层以及我们全体研发人员展现出了极大的魄力，决定不惜一切代价走这条路，把“推理”提升到与“预训练”同等重要的战略高度，致力于打造出真正具备推理内核的新一代模型，并将其推向市场。
在研发初期，这些专注于逻辑推理的模型在日常对话中显得有些冷冰冰的，很难赋予它们生动的人性特征；它们的反应速度也十分缓慢，甚至在今天依然存在这样的瓶颈。当时很多人开始动摇：我们真的非走这条路不可吗？用户会不会其实更喜欢普通、流畅的对话模型？但 OpenAI 极其擅长在这个关键节点做出顶层决断，义无反顾地在这条布满荆棘的路上狂飙，并在这个过程中摸索出一套高效的管理机制。
那时，我们旗下并存着两条完全不同的模型产品线，想要把它们合并成一个统一的整体是一项极其艰巨的工程。为了完成这一融合，我们耗费了漫长的时间，因为所有的技术底座都在急速演进。这是一个极难落子的决策，但如果我们当时没有孤注一掷地向前推进，我们今天所享有的诸多强大能力或许就根本无法诞生。哪怕是今天的一些头部大厂，依然在强化学习的精细对齐质量上面临极大的赶超压力，这也正好印证了“不留退路的专注”所能带来的绝对领先优势。
此后，OpenAI 以及行业的其他几家顶尖实验室都迎来了体量上的指数级增长，Anthropic 也是如此。由于我曾在 Google 工作了很长一段时间，我深知对于一家庞大的巨头而言，想要做出如此大开大合的赌注是极其困难的，因为他们手头有太多不可失去的资产，也有着层层繁琐的既定汇报流程。我由衷希望 OpenAI 以及其他新兴实验室能将这种特立独行的魄力延续下去。现有的技术手段固然极其优秀且依然能帮我们攻城略地，但假若未来某一天，真的闪现出属于“后 Transformer 时代”的科学微光，这些超级实验室是否有勇气断臂求生、果断拥抱未来，还是会变得日益保守、畏葸不前？
当初我们在攻坚“推理”时，仅仅看到了微弱的早期曙光，并没有海量完备的数据去论证，大家纯粹是抱着一种坚若磐石的信念在奋力一搏。如今，虽然我们还没看到具有压倒性优势的下一代通用架构，但一旦它显露端倪，我们是需要一个全新的实验室去重新点燃这团火，还是可以期待现有的主力玩家继续去承担这种未知的风险？至少，我认为 OpenAI 依然流淌着这种敢于做出冒险决策的基因。
主持人：这正是为什么目前行业里涌现出许多被称为“新兴实验室”（Neolabs）的新生力量。就像杰里·托雷克（Jerry Tworek）选择自立门户时所说，跳脱出传统大厂的利益羁绊，反而能让他们更加纯粹、更加坚定地押注一个他们所坚信的正确方向。
Lukasz：这确实有其合理性。不过当你离开了主力实验室的庇护，一看到采购显卡所需的天文数字和稀缺性，可能也会面临不小的骨感现实。当然，显卡算力并不能代表科研的全部，一个由小而美的小团队与大而全的超级实验室共同构建的多元生态，对整个行业而言是非常健康的。
身处旧金山这个 AI 的暴风眼，你会被一种极其激烈的竞争与变革氛围所包裹，因为目前现有的技术红利远远还没有被榨干。我们依然有无数精妙的算法有待落地，数据工程有待升级，更大参数量的模型有待训练，层出不穷的新构想在不断涌现。它们虽然在当下还不成熟，但各方势力正携带着海量的资金和智慧在不遗余力地向前推进。
然而，一旦你走出旧金山，你会发现外界许多人对待 AI 的态度仿佛是它在去年就已经撞上了天花板、此后将永远停步不前了。这无疑是一个极大的误判。对我个人而言，现在手头的这批代码智能体简直就是一次科技启示录。我愿意直接将它们称为通用人工智能（AGI）的雏形——当然，每个人对 AGI 都可以拥有自己独特的定义。我们甚至可能像告别图灵测试一样，在不远的将来逐渐淡忘 AGI 这个名词。现在已经没有多少学者去严肃地辩论“AI 是否通过了图灵测试”了，因为技术早已轻松跨越了那道终点线。我们日常写代码所依赖的这些系统，毫无疑问已经展现出了卓越的智力，这本身就是一次划时代的伟大跃迁。
主持人：目前的 AI 代码生成领域的竞争极其惨烈。您认为，究竟什么才是决定这些代码产品成败的关键，它们又该如何打出差异化优势？您如何展望像 Cursor 和 Claude 这样的工具在未来的前沿边界？我认为这个代码市场，足够容纳多个顶级玩家并存。
Lukasz：更核心的命题在于这些工具如何顺畅地跨越到其他工作领域。代码对我们这些技术人来说确实至关重要，但同样的一套底层逻辑，其实完全可以赋能千行百业。每当我向圈外的朋友极力推荐 Cursor 时，它一上来就需要你关联一个 GitHub 仓库，这瞬间就劝退了大批零基础的普通用户。虽然它的上手门槛正在被不断磨平，但由于它被死死地锚定在“代码开发”这个垂直类目里，大家根本意识不到它其实也能成为他们身边的财务审计利器。相比于只需要打几个字的 ChatGPT，Cursor 确实需要一定的适应期，而在使用 Claude 的深度开发界面时尤其如此。
最关键的博弈点在于：我们该如何把这种极致的效率带给其他的平凡行业？Anthropic 显然正在让 Claude 承载这一愿景，努力为这些极其坚固的底层硬核能力，穿上一件更为温和亲民的外衣。
主持人：这种跨界实力是绝对存在的。作为一名机器学习的从业者，我经常看到模型能轻而易举地处理极其繁复的 Excel 数据和各种办公杂务。但坦率地说，想要真正完美地驾驭并引导它们，依然需要一定的专业技巧。虽然这是一项可以通过学习掌握的本领，但大多数职场人每天都处于极度忙碌的状态中，可能很难抽出大把的闲暇去潜心钻研，所以我们必须要把产品的交互门槛削减到极致。另外，出于数据安全和系统稳定性的底层考量，你也不能让它们在毫无监管的状态下彻底脱缰。信任的建立需要一个漫长的沉淀。
问题在于，我们该如何说服大众去投入最初的时间成本，来构建这种宝贵的信任？ 回看过去，您认为为什么 Anthropic 反而能捷足先登，在代码这个核心方向上率先斩获重大的成功？
Lukasz：Anthropic 当时做了一个极为明智的战略选择——将所有重兵死死地压在“代码”这一个战场上。而在那个时期，OpenAI 的核心力量正被 ChatGPT 这一现象级产品的光芒所牵制。
普通对话聊天固然拥有无限想象力，但 Anthropic 做出这一决策的核心考量，在于试图寻找一个他们能够建立绝对优势、筑起坚实护城河的特定维度。这纯粹是一个关乎战略抉择的顶层智慧。AI 行业每隔一段时间就会经历一次技术海啸；你必须时刻把筹码压在那个代表“明天”的趋势上，而不是一味贪恋“今天”的繁华。ChatGPT 在 2025 年时让人惊叹连连，但到了 2026 年，大众的阈值已经彻底被拉高，而到了 2027 年，我们必将目睹又一次颠覆性的洗牌。
风向转换的速度超乎所有人的想象。一旦你在一个被大家所忽视的小切口上做出了极其坚决的饱和攻击，你就能换来极其丰厚的技术回报。并不是说 OpenAI 曾经忽视了代码——我们也一直在深耕这个方向，这也是为什么我们在后续能极其迅速地完成赶超，但它在当时确实并非全公司的绝对核心主线。当一个相对精简的初创团队在极短时间内迎来用户体量的火山喷发时，如何做好断舍离、维持绝对的专注，是避免整个工程架构崩溃的唯一法则。
主持人：您刚才提到了一个非常经典的博弈：一方面需要倾尽全力把当前的红利榨干到极致，另一方面又要时刻维持开放的视角，以便在新的未知领域出现微光时，能迅速腾出手来重金押注。OpenAI 最近经历了一段众所周知的资源收拢期，我们可以看到他们倾注了极大心血在代码和生产力工具的交付上，而对诸如 Sora 这类相对探索性的前沿方向进行了主动的战略微调与降温。在您看来，该如何去精妙地平衡“把当下的业务打磨透彻”与“呵护那些未来可能燎原的小火苗”之间的内在拉扯？
Lukasz：这完全取决于一个团队的底层基因、组织体量、资金充沛度以及战略眼光。例如 Google，他们就极力维持着一个多线并进、百花齐放的庞大科研体系。外界也常常以此来苛责 Google，认为他们虽然发明了无数颠覆性的技术（比如 Transformer 本身），却总是无法以最敏锐的姿态将其商业变现。但这种极其雄厚的学术根基也带给他们一个巨大的不对称优势：一旦外界在某个方向上突破了瓶颈，Google 就能凭着手头现成且无比强悍的研究团队，在极其短暂的时间内抹平差距并完成赶超。
主持人：您觉得他们真的已经彻底追上来了吗？目前外界依然充斥着大量认为他们慢了半拍的讨论。
Lukasz：在常规聊天对话的维度上，我认为他们已经毫无疑问地齐头并进甚至超越了。他们唯一的短板可能在于……不知道你有没有亲测过最新一代的 Gemini。我在 Google I/O 大会后亲自体验了它，震惊地发现我甚至很难分清我究竟是在使用 Cursor 还是在面对 Gemini 本身。当时在推特上也有大把充满调侃与赞叹的相关讨论。这确实是一件大事。
与此同时，我最近也尝试用新发布的 Gemini 3.5 Flash 去跑了我的一些日常代码项目，但它的表现略逊一筹，似乎还没有真正跨过我们去年圣诞节体验到的那道能力天堑。对于我个人的高阶工作而言，它确实还有点力不从心，但我相信它也即将迎来质变。
当你选择走广撒网、多线布局的研究路线时，你无形中建立了一个极佳的防护网，确保自己在未来的竞争中绝不会彻底掉队。但代价是，你很难在某个新兴风口上斩获那种“首发夺魁”的绝对成就，就像 Anthropic 在代码生成领域所创造的成绩。能够有这样一批小而美、敢死队一般的实验室冲锋在前，把一个个未知的能力孤岛变成坚实的技术坦途，这太让人热血澎湃了，科学的发展本就该如此。
OpenAI 曾经也拥有极其狂热且纯粹的“冒险下注”文化，但如今它早已成长为一艘巨轮。当你的模型承载着亿万级用户的日常生产力，或者就像 Google 搜索需要为数十亿人的查询保驾护航时，系统的任何一次颠覆与失重都关系重大。我们当然希望速度越快越好，但在狂飙中如果把整条路都拆毁，其所要吞噬的代价是无法估计的。因此，让这些头部大厂在向前飞奔的同时、保持对底层基建的一份敬畏与平稳，或许是对整个生态最好的安排。
勇敢地去检验你脑海中的奇思妙想
主持人：许多人都在思索开源与闭源大模型之间的差距。我们似乎能感受到两股完全相反的底层力量在激烈拉扯：一方面，模型蒸馏（Distillation）的门槛似乎正变得越来越低，大批开发者正在利用闭源模型的强悍输出去反哺并锤炼开源模型；而另一方面，那些最顶尖、体量最庞大的超级模型，其运行开销已高昂到连巨头都无法直接面向大众提供服务的程度，这逼得他们不得不在内部对大模型进行多重蒸馏。
在您的直觉中，未来几年开源与闭源之间的这条技术鸿沟，究竟是会被抹平，还是会越来越像一道天堑？
Lukasz：这很难一概论。在当前阶段，模型体量依然在很大程度上决定了实力的上限。你确实可以通过蒸馏让模型瘦身，但蒸馏版在真正的极端任务中，很少能展现出和完整版底座同等的实力。例如，我总能感受到那些标榜轻快省钱的 Flash 版本与传统的 Pro 或者是 Sonnet 版本之间，依然存在着肉眼可见的实力断层——它们往往是在对局限妥协后做出的蒸馏产物，高阶玩家往往还是要耐心等待那个毫无保留的最高配版本。哪怕是在同一款模型的家族中，我已经想不起上一次我不得不依赖“Mini”系列是什么时候了。它们虽然便宜好用，但在我的日常开发中，它们迟早会犯下一个极其低级的错误，逼着我花大把时间去排查和调试，最终我总会重新换回那个最庞大、最昂贵的旗舰版本。
你确实可以通过学习去提炼并汲取闭源模型中的智慧，尽管各大闭源实验室本能上极力抵制这种直接的蒸馏行为，但他们通常也不会选择赶尽杀绝。如果开源模型在未来一溃千里、被远远甩下，那对整个行业而言将是一场灾难。但我认为这种最坏的情况大概率不会发生，因为目前有足够多实力雄厚的商业集团和极客组织在不遗余力地支持开源生态。我也非常理解世界各国的顾虑：如果你让一个国家的市政服务、核心医院的行政系统去高度依附于大洋彼岸某一家商业公司的闭源接口，一旦对方突然宕机或者限制访问，后果是不堪设想的。这就催生了对“主权模型”（Sovereign Models）的刚性诉求。
即使这些主权模型在绝对实力上慢了半个身位，但面对日常那些常规的行政事务，他们也并不需要去动用最高的计算能力。因此，维系开源生态繁茂的底层动力是长期存在的；与此同时，闭源实验室为了确保用户心甘情愿地为最顶尖的“黄金特权”付费，也必将不遗余力地疯狂在最前沿开路。这两股力量互相牵制、螺旋上升的奇妙动态，在未来很长一段时间里都将是行业的主旋律。当然，预测 AI 的未来向来是一件高风险的事情。
主持人：确实是极具远见的洞察。在过去的一年里，您对 AI 领域的哪一件事彻底改变了原本的看法？
Lukasz：我以前真的没有想到，我们竟然能在这么短的时间内拥有如此强悍、媲美人类助理的代码生成实力。这彻底颠覆了我先前的偏见。过去，我几乎很少在日常工作中去重度依赖 AI 助手。当时常有人问我怎么用 ChatGPT，我回答说无非是隔几天向它提个简单的问题罢了。
我从未奢望过自己会去天天对着电脑对话，而现在，它已经成了我形影不离的工作伙伴。我更没想过自己会彻底告别传统的代码编辑器，而现在我几乎不亲手敲代码了，取而代之的是，我更像是一个端坐其后的指挥官，命令助手去实施各种代码微调。这对我个人的科研范式来说是一场天翻地覆的迁徙。
主持人：在过去几年深度参与这些大模型的研发之后，您对安全以及所谓的“人类存在性风险”（Existential Risk）的担忧，是在逐年攀升还是有所降低？
Lukasz：我的核心立场其实一直相当平稳。我始终认为，我们既不需要整天生活在杞人忧天的恐慌中，但也绝对没有资格盲目乐观。结合目前的编程开发水平来看，我们真正应该把目光投向的，是那些已经近在咫尺的、极其具体的现实安全隐患——例如系统可能会被不法分子用来发起黑客攻击，或者对关键基础设施造成瘫痪性破坏。
我至今依然认为，这才是亟待我们共同攻坚的真正主阵地。这并不意味着我们可以将“存在性风险”抛在脑后；相反，有大批专门的学者去论证这一课题，并为科技树的发展拉起严密的警戒红线，是一件极有裨益的事。在任何极端的境遇下，我们都必须牢牢捍卫随时切断数据中心电源、人工终止其运转的核心控制权。哪怕未来的模型能力还会迎来更惊人的质变，我个人至今也从未感受到来自它们的、任何针对我个体的实质性威胁。
主持人：关于实验室层面的重磅动态，最近有消息透露 Andrej Karpathy 正在与 Anthropic 展开紧密合作来推进多项重大的 AI 前沿计划。您怎么看待这个备受瞩目的联合？
Lukasz：我也处于这种无法自拔的“共同狂热”之中。现在的开发者助手能让你在转瞬之间完成海量的科研设想，并帮助你把系统底层运行效率压榨到极致，这本身就蕴藏着极高的学术研究价值。但从另一个角度来说，当我们的野心投向“后 Transformer”的深水区时，那个思想的荒野是无比浩瀚的，而且其中绝大多数看似精妙的路径最终都会被证明是死胡同——而这也恰恰是科研最朴实无华的本质。想要在无数条死路中精准踩中那条通往未来的真理细线，你需要拥有极其妖孽的洞察力以及必不可少的绝佳运气。
有时候我们觉得颠覆性的突破似乎已触手及近，但科学大厦的落成往往需要数年乃至数十年的寂寞积累。即使有强悍的 AI 助手从旁辅佐，即使它们在不远的将来真的拥有了等同于独立研究员的惊人战力，想要找到一个真正底座级的科学突破依然是一场极其艰难的征途。想当年，整个世界无数智慧的头脑在暗夜中摸索了数十年，才最终在机缘巧合下共同催生了 Transformer 的诞生；而时至今日，我们对人类大脑中精妙至极的学习逻辑、以及如何真正架起生物脑与硅基神经网络之间的跨界桥梁，依然知之甚少。
因此，虽然我乐见其成，并确信我们现有的主流技术会被打磨得更加无懈可击，但想要取得真正意义上的理论断代式突破，就必须去征服并蹚过那片深不见底的思潮泥潭。即便拥有 AI 带来的高效检索，也绝不存在什么能抄近路的灵丹妙药。因此，从宏观维度来看，我目前对这一方向依然保持着理性的淡然，并不会因此感到杞人忧天。
主持人：在当年那篇奠定大局的 Transformer 论文的共同作者中，几乎绝大多数人都选择了走上创业这条路、成立了自己的明星公司。您有曾考虑过也去创立属于您自己的商业帝国吗？
Lukasz：确实常有人向我抛出这个疑问。但我必须说，我对自己一直以来所选择的道路感到无比欣慰。无论是在 Google 还是在 OpenAI 的岁月，都让我收获了极其丰厚且独特的技术沉淀，能亲历这些伟大的浪潮是我的莫大荣幸。我骨子里依然是一个极其迷恋硬核底层技术的纯粹极客。大把的创始人在最初起步时，都乐观地以为自己能留出充足的时间去亲自耕耘技术，但商海博弈的种种繁杂琐碎，最终无可避免地会剥夺走他们所有的心智。话虽如此，我依然对他们所创立并正在改变世界的那些公司致以由衷的敬意。
主持人：这真的是一场让人大呼过瘾、深受启发的高端对话。您有什么特别想向我们的读者倾情推荐的内容，或者有什么想留给大家的寄语吗？
Lukasz：非常感谢。我想再次重申我刚才提及的那个核心观点：当一块极其强悍的 GPU 赫然矗立在你的书桌之下，当一系列代码智能体能全天候不知疲倦地协助你去榨干其最后一丝运算极限时，你便置身于人类历史上一个罕见的奇妙机遇期。虽然那些超级实验室正在用移山填海的资源疯狂卷向大模型的扩展，但与此同时，去另辟蹊径探索那些特立独行的替代方案，也正散发着极其摄人心魄的独特魅力。对于任何一个有志于机器学习的研究人员来说，当下绝对是一个能让人血液沸腾的黄金时代，我由衷地鼓励每一个人：勇敢地去检验你脑海中的奇思妙想，并不带偏见地相互学习。
我深深期盼整个学术界能去发表更多不落俗套、极具探索精神的孤勇之作。坦率地说，现在每次打开各大顶会，满眼都是一些把已有的预训练模型拿过来、套上一些不痛不痒的强化学习小花招就拼凑而成的跟风论文，这确实让人感到有些索然无味。这种修修补补的工作固然有其现实的过渡价值，但你真的不一定非要亦步趋地去盲从那套看似不可撼动的主流范式。你应该勇敢地去探索那些前所未有的全新概念，哪怕它们在最初显得那样微不足道，哪怕它们在一开始就摔得头破血流。
几乎没有人再去提及我在发表《Attention Is All You Need》的前一年所撰写的那篇论文——我在其中提出了一个被称为“活动内存（Active Memory）”的替代方向。站在后来的角度看，那确实不是一条完全行得通的方向。但科学的真谛就在于：你必须有勇气去蹚过无数条行不通的死路，才能在荒原的尽头与真理狭路相逢。
这种敏阅的纠错与重组能力，也恰恰是当前大模型在挣扎的短板，而这也正是杰里·托雷克目前正在全力攻坚的核心阵地。模型目前还无法敏锐地觉察到自己是否正在一条死胡同里越跑越远，更无法灵巧地抽身并跃迁到正确的轨道之上。而在这种天马行空的“横向发散思维”上，人类的大脑依然拥有着绝对统驭级的优势。我们应当牢牢地捍卫并发挥这一底蕴，不畏险阻地去开展那些天马行空的探索，并坦然拥抱失败。如今，在智能体随时为你写代码、跑实验、搭架构的时代，试错的现实成本已经被削减到了可以忽略不计的地步。我真切地期望每一位前沿的探索者，都能充分利用好这个时代赠予我们的厚礼，去把目光投向那些尚未在地图上标明的未知荒野。
热门跟贴