近日，强化学习领域的奠基人之一 Rich Sutton 与他的联合创始人、昔日在阿尔伯塔大学的学生 Khurram Javed，共同接受了红杉资本合伙人 Sonya Huang 与 Alfred Lin 的访谈。对话从《苦涩的教训》切入，围绕大语言模型的真实局限、合成数据的迷思、持续学习、阿尔伯塔计划，以及两人共同创立的新公司 Oak Lab 的雄心等方向展开。
访谈中，Rich Sutton 给出了一系列判断。他将大语言模型同时视为《苦涩的教训》的正面与反面例子：它凭借可扩展的计算取得了巨大成功，却因过度依赖人类知识，最终会被有限的互联网信息量所束缚。
他直言，当前基础模型实验室押注的合成数据生成是一条歧路，合成数据本身就是错的，很可能成为下一个惨痛的教训，因为世界是无限复杂的“大世界”，任何人为编写的程序生成的都只是一个微缩的、注定不完整的世界，永远无法替代真实经验。
他还指出，当前大语言模型助手在与用户交互时权重从未发生改变，所谓的“记忆”和“上下文学习”并不等于真正的权重学习，因此从严格意义上说它们并非持续学习者，甚至反问“你们才是奇怪的人，居然觉得用不再学习的东西能打造出博士水平的专业能力”。他还判断，长期来看大语言模型可能会面临“生存危机”，因为语言能力可能只占智能的20%到25%，把语言流畅性等同于通用智能是一种误解。
此外，他提出没有任何动物是通过监督学习掌握技能的，学校教育只是人类学习中很小的一部分，甚至连如何调动肌肉发音这样最基本的能力都不存在监督信号。
01
持续学习只是学习的本名
几十年前，您决定将职业生涯奉献给强化学习，特别是深度强化学习，当时这一领域还处于起步阶段，而您把阿尔伯塔大学建设成了该领域的重镇。是什么让您有如此坚定的信念去这么做？
在过去的二三十年里，您是如何挑选这些学生的？
Rich Sutton：还能做什么呢？我们试图弄清楚心智的奥秘，而学习是心智的核心部分，拥有目标也是心智的核心部分，更是智能的核心部分。所以我只是加倍坚持我一直以来的想法。
Sonya Huang：当时人们觉得您疯了吗？
Rich Sutton：那时候正处于寒冬，那是一个 AI 寒冬。
Sonya Huang：那是哪一年？
Rich Sutton：是在 2003 年。对我来说，保持坚定一直很容易，在这个问题上我还能讲得更深入一些。外界常认为我的观点激进，但我认为自己的思考方式很寻常。如果你回顾一下哪怕只是过去十年里人们对心智的看法，你会发现这样的共识，即学习很重要，必须有一个目标，感知也很重要。我们是底层的生物，在高速生成动作并感知数据，但又必须在更高的层次上思考。回想在所有这些 AI 狂热出现之前，根本不需要刻意去说持续学习，因为所有的学习本来就都是持续的。它不是一个特殊的阶段，我们总是在行动中学习。这才是正常的思维方式。我不奇怪，是这个领域太奇怪了，非要给它起名叫持续学习。它明明就只是学习而已。我不奇怪，是别人太奇怪了。
（关于挑选学生）Rich Sutton：我不觉得自己很会选学生，有时运气好，有时运气差。我现在正看着 Khurram，我觉得有时候你最终会遇到非常优秀的学生。当年是 Dave Silver 选了我。
Alfred Lin：那 Khurram，你是怎么加入的？
Khurram Javed：我的硕士学位不是跟着 Rich 读的，当时本打算进入工业界。后来我们在一个项目上展开了合作，那次合作也是自然而然发生的。我在做一些工作，当时 Rich 正在开会，有人提到我正在做那个项目，于是我就被拉了进去。我们开始合作且进展非常顺利，我对那次合作感到非常满意，Rich 也觉得很不错。六个月后我们取得了一些进展，顺理成章地就把那项工作转化为了一份论文提案。在这个过程中，我从未主动申请过，也从未问过能否让他做我的博士生导师。我们只是在一起工作，觉得这可以成为一篇很棒的论文，之后我才申请了攻读博士学位。生活就是以这样意想不到的方式发展的。
02
为何在 2019 年写下《苦涩的教训》
让我们把时间快进到 2019 年。您写下《苦涩的教训》，这篇文章如今已成为现代经典。2019 年是一个有趣的时间点，因为 ImageNet 出现在 2009 年，AlphaGo 出现在 2015 年，而那时大语言模型的扩展范式还没有真正兴起，深度学习却已经充分证明了自身的价值。是什么促使您在 2019 年进行反思并写下这篇文章？
Rich Sutton：这其实是酝酿已久的想法。正如《苦涩的教训》中所表达的那样，这是你可以观察很长时间甚至几十年的现象。这肯定在很大程度上归因于我曾亲历的符号 AI 浪潮。核心观点是，不要因为试图注入人类知识而分心，只需关注问题本身需要什么，以及如何通过计算来扩展。我至少在一年前就写过几个版本，并且做过相关的演讲。所以这并不是对当时特定时刻的回应，而是对我长期经验的回应，是对不同的人试图用不同的思维方式来构建 AI 的观察与反思。
03
《苦涩的教训》的精髓、误读，与大语言模型的位置
《苦涩的教训》的精髓是什么？这句话如今如此流行，很可能已经被各种扭曲和误用，偏离了您的初衷。那么它的精髓到底是什么？您认为人们在试图理解它时，通常在哪里走入了误区？
大语言模型与您的文章《苦涩的教训》是一致还是矛盾的？
Rich Sutton：最近我发了一条帖子，试图用一句话来概括《苦涩的教训》。大概是这样的，不要被人类知识所干扰，就像传统 AI 曾经多次经历的那样。相反，应专注于那些能随着计算力扩展的学习方法，比如搜索和学习。这要求我们专注于算法及其改进。这并不是说你不需要精巧的算法。你需要精巧的算法，但更需要能够随着计算力扩展的精巧算法，而不是仅仅随着数据量扩展的算法。
（关于大语言模型）Rich Sutton：我思考过这个问题，结论是它既是《苦涩的教训》的一个正面例子，也是一个反面例子。首先，大语言模型通过计算实现了巨大的扩展，你可以直接吸收整个互联网的数据并进行如此大规模的扩展。这是一种仅仅通过可扩展的方法来获得能力更强的 AI 的方式。但在此之后，随着你继续深入，它最终会受到信息量的限制。互联网是有限的，很难再获得更多的样本。而世界是广阔的，远比我们在互联网上存储的所有内容都要大得多。所以最终看来，当我们过度依赖人类知识并最终被其束缚时，大语言模型恰好是印证这一教训的完美例证。
04
合成数据是一个巨大的错误
现在基础模型实验室致力于做的大量工作似乎就是合成数据生成，以此来突破依赖现有人类互联网数据的瓶颈。作为这种 LLM 扩展范式的一部分，合成数据的生成是否是一种利用计算力的通用方法？
Rich Sutton：不，那只是一个巨大的错误。
Sonya Huang：为什么？
Rich Sutton：这也许会是下一个惨痛的教训。这个观点在阿尔伯塔大学已经流传了五到十年了。我们称之为大世界视角或大世界假说。Khurram 最终把它写成了一篇论文。大世界的意思是，世界是无限大的。有无数的东西需要去学习，你可以让人工去生成这些合成数据集，但总会有更多的东西需要学习。正因为如此，如果你只能从经验中学习，如果你能把人类从循环中剔除，那么你就会拥有无所不能的 AI，因为世界很大，我们希望它们完成许多任务，而 AI Agent 能够通过从自身的经验中学习来完成任何事情。
Khurram Javed：回到合成数据的问题上，谁来决定什么是好的合成数据，什么是坏的合成数据？因为我完全可以编写一个程序，输出大量对 AI 有害的合成数据。目前我会说是人类在做决定，这正是瓶颈所在。你可以让人类来决定如何生成这些数据集，但这种方法要想实现规模化扩展，你需要懂得鉴别数据集好坏的人类专家。所以它仍然受制于人类瓶颈。
Sonya Huang：难道不是我的损失曲线决定了我使用这个数据集比使用那个数据集改进了多少吗？
Khurram Javed：但是如果 OpenAI、Anthropic 或是所有大型新兴实验室的工程师都去度假了，谁来生成合成数据？这就是问题所在。它并非来源于 AI Agent 的真实经验，也不是 AI Agent 自己生成的。必须有人类来决定究竟生成什么样的合成数据才是对的，这就需要人类的专业知识。举个例子，如果你想让 AI 从物理学的角度完成一些极具挑战性的任务，比如造一架能像蝙蝠一样靠回声定位飞行的无人机，那适合这个任务的合成数据究竟是什么？我想你需要聘请领域专家去弄清楚什么是正确的数据并将其生成出来，然后你才可能从中学习。但前提是，必须先有这样的领域专家存在。所以在这一点上，我们依然被人类的专业知识所限制。
Sonya Huang：但是你可以创造出无限多的合成世界，而现有的世界是有限的。
Khurram Javed：我们回到回声定位这个例子上。这就是我的需求，我想要一架能够通过回声定位来自我定位和移动的无人机。那是我的目标。一个机器人正在生成它自己的经验，所以它完全可以从自己的经验中学习。不管你生成多少合成数据，不管你生成的合成数据是否包含了 50 个不同宇宙的场景，如果没有人类首先弄清楚其中的原理，它就无法让你完成这项任务。
Rich Sutton：首先必须要说，合成数据本身就是错的。它不会是正确的，它只是一个合成的世界，而不是真实世界。而这至关重要。世界是无比复杂的，如果你写个小程序，因为生成合成数据的终究只会是个小程序，它生成的只会是一个微小世界。
举个例子，对我来说现在最重要的是你此刻脑子里在想什么。而你却说，为什么我不去找一些合成数据呢？告诉我别人脑子里在想什么。我们根本不可能拥有关于他人心智的合成数据。但他人的心智对我们却很重要。我今天和你们探讨了投资，所以我很关心你们的想法。我又怎么可能获取关于这种事情的合成数据呢？实际上，你不可能获取关于任何真实事物的合成数据。你无法获取关于无人机如何在物理世界中与其环境互动的合成数据，也无法获取关于这个机器人电机摩擦和磨损的合成数据。世界是无限复杂的，任何对它的模拟都只是一种微观的缩影。
大世界假说的核心内容，简单来说就是世界远比你的心智、比任何 AI Agent 都要复杂得多。这是显而易见的，因为世界包含了许多其他的 AI Agent。由于世界极度复杂，你不可能实现所谓的绝对最优或完美。你注定是不完美的，必须使用近似方法，而且这些近似通常非常粗糙。正因为如此，这也是为什么我们必须持续学习的终极原因。我们必须持续学习，因为我们会遇到这个浩瀚世界的某个特定部分，必须学习一种专门针对我们所处的那部分世界的近似模型，而不是针对我们未涉足的其他所有部分。
Sonya Huang：我想再在这个问题上较个真。我的理解是，最新一批自动驾驶汽车公司中，有许多主要是在模拟环境中进行训练的，然后它们必须做某种后期训练，以确保能在现实世界中运行，这一直是一套非常有效的流程。
Khurram Javed：我认为这里需要问的一个重要问题是，有多少工程师参与了构建那个模拟环境？我们准备好断定唯一值得解决的问题就是那些我们可以雇佣一大群工程师先做一个模拟系统的问题吗？我确信他们不得不进行多次迭代，在构建了模拟环境并在其中进行学习后，他们会意识到存在着无法接受的仿真与现实之间的差异，然后他们再去修复它。所以，始终存在着人类在这个循环中修复模拟环境。他们从真实世界中获取反馈，然后人类再来修复模拟。为什么我们不能干脆把人类移除，让 AI Agent 自己来做这件事呢？当它真正再次驾驶时，肯定会发生一些意想不到的情况，这时候才是它们需要从自身经验中学习的时刻。
Sonya Huang：所以您的意思是，相比于人类精心挑选和创建的数据，未来会有海量的数据直接来源于经验本身。
Khurram Javed：我认为从模拟器中学习显然极具价值，而且切实可行。AI Agent 可以从自身的经验中学习出一个模型。当 AI Agent 自己去学习这个模型时，效果要好得多，因为一旦模型出错，它能通过持续学习来修复自身。如果是人类在构建模拟器，只有当人类发现异常时，模型才会得到更新。因此规划很重要。AI Agent 应该从模拟器中学习，但前提是这些模拟器必须是它们自己构建的。
05
AlphaGo、人类先验，以及先验与学习的正确关系
我想探讨您文章《苦涩的教训》中的另一部分，关于摒弃人类知识。文中写道，为了在短期内取得成效，研究人员试图利用该领域的人类先验知识，但从长远来看，唯一真正起决定性作用的是对算力的充分利用。您以前的学生 Dave 参与开发的 AlphaGo 和 AlphaZero，在我看来就是成功摒弃人类先验知识并取得巨大胜利的典范。这个结果让您感到惊讶吗？原因是什么？
Rich Sutton：这一结果当然让我非常开心，也让我感到自己的坚持被证明是对的。事情原本可能向两种截然不同的方向发展。并不是说先验知识毫无用处。先验知识本身没有任何问题。我在《苦涩的教训》一开头就讲明了这一点。我认为先验知识和后天学习得到的知识之间，没有理由非要产生冲突。完全可以先注入一些先验知识，然后再让 AI 开始学习。原则上讲，这二者毫无对立的理由。事实上，它们都关乎知识。生命的本质就是获取知识和拥有知识。不知怎的，先天禀赋和后天学习竟成了死对头。但实际上，先验学习只是已经拥有的基础，然后在此基础上学到更多，这两者是协同作用的。它们本该是朋友。但是正如我在《苦涩的教训》开头所说，在实际操作中，它们却变成了敌人。在实践中，那些对现有的人类知识情有独钟的人总是希望人类知识能胜出，因此他们倾向于贬低或排斥学习。
现在我敢肯定，你们对我的印象是一个只顾着拥抱学习并极力主张抛弃先验知识的人。但我其实是一个对心智感兴趣的人。心智的运作方式是先拥有先验知识，然后去获取更多。当获取了更多知识后，随着学习不断深入，这些新知识又会化作下一步学习的先验知识，二者相辅相成。我之所以最终表现得像个满脑子只有学习的人，主要是因为全世界其他人都在鼓噪只需注入足够的知识，不需要去学习。现在的大语言模型理念就是要把所有知识全塞进 AI 里，然后模型在运行的时候就彻底不再学习了。它在和人类对话互动，但它的权重却永远不会改变。所以我绝不是那个奇怪的人。你们才是奇怪的人，居然觉得这种做法行得通，声称可以用那些根本不再学习的东西，打造出博士水平的经验和专业能力。所以我绝不是奇怪的那一个。
Alfred Lin：所以您的建议是，让算法运行得更久一点，在给它输入数据或先验数据之前，让它持续不断地学习。
Rich Sutton：应在整个过程中一点点地滴入先验数据，即先验知识。
Alfred Lin：所以两者都很重要。
Rich Sutton：但从长远来看，必须获取新知识，并建立起获取新知识的结构。这才是长远发展的关键。在践行这一点的过程中，当然会利用到一些之前掌握的知识。如果展望未来，当拥有了智能机器人时，它会如何运作？是让它们全部从头学起，还是直接复制它们，要求它们在现有基础上继续学习？要知道它们是数字化的，复制起来易如反掌。因此不必耗费亿万资金让它们通过互联网重新训练，只需复制这些 AI Agent，让它们顺着当前节点继续学习即可。所以在某种意义上，以往的先验知识自然会被忽略，因为只需从上一代机器人那里直接复制就行了。
那您能不能向我们描述一下，您心目中能够从经验中学习的机器或计算机到底是什么样子？
Rich Sutton：它可以长得像个机器人，但也完全可能仅仅存活在互联网上。例如，可以通过互联网进行数据包路由，并以一种对经验敏感且能随时间推移不断优化的方式去运作。或者它可以通过交互，成为手机或电脑上与人互动的用户界面，并且越做越好。就像一个智能助手，必须随着时间的推移不断进化，必须要越来越懂你。
06
大语言模型助手真的在学习吗
您的意思是，目前流行的大语言模型助手的范式并非体验式学习者，也不是持续学习者？如果是这样，最根本的差距在哪？
Rich Sutton：你在开玩笑吗？
Sonya Huang：它们显然有记忆，会学习并记住关于我的信息，它们也在进行一些上下文学习。
Rich Sutton：但它们的权重从来没有改变过。
Sonya Huang：那么改变小部分权重就足够了，还是必须所有权重都发生改变？
Rich Sutton：回想一下构建大语言模型时投入的所有结构化工作和新概念的生成。那一切才是权重学习。你会希望 AI 能够持续进行这种学习，不希望它是一锤子买卖。
Alfred Lin：换种说法是否可以理解为，我们在发布模型之前做了太多的预训练和后训练，在这之后它们就不再学习了。唯一且最大的分歧在于，不再让它们继续学习了。
Khurram Javed：我们不让它们继续学习了。可以做无穷无尽的预训练，那没关系，后训练也没问题。但当我在使用模型时，它就停止学习了。你可以输入更多的上下文，通过提供更多的上下文来改变模型的状态。它已经学会了如果状态改变且包含新信息，就会利用这些新信息进行下一次预测。但是，这个模型本身并没有在学习。
Sonya Huang：Cursor 的 Tab 自动补全模型确实会根据情况更新，它的权重改变了。
Khurram Javed：它的权重确实改变了。Cursor 的 Tab 和 Composer 功能都是持续更新的例子。它们是持续学习的例子，但其实还可以做得好得多。据我了解，目前的做法是大量用户在使用 Tab，开发方收集来自成千上万用户的批量数据，然后基于这些数据对策略进行一次性的统一更新。这种方法行得通，但想象一下，假如我想教这个模型一些极其具体的东西，我不想为了决定教模型什么而与十万名其他用户产生冲突。我只想教我的模型一些特定的东西，而且只在我的模型版本上实现。我根本不在乎模型从其他人那里获取的共享知识。所以这种做法其实效率非常低。
Sonya Huang：目前的情况似乎是，模型权重中学习到了所有人共有的通用基础技能，而个性化则是以上下文的形式实现。对于学习应该如何运作，难道这不是正确的心智模型吗？难道所有的上下文都必须存在于权重本身之中吗？
Khurram Javed：上下文也可以存在于状态中，二者皆可。但依然需要能够更新权重。我举个例子，一些极具启发性的研究案例来自于人类的身体残障。当人类经历了一些改变心智或传感器的事件时，能看到他们的适应过程。比如我们拥有本体感觉，内在传感器会提示身体姿势，我们依赖它来行走。在部分病例中，患者完全丧失了这种能力，导致根本无法行走，因为这实实在在是他们行走策略的根基，深植于大脑中。但是经过两三年的训练，他们能通过看着自己的双脚利用视觉反馈重新学会走路。大脑的可塑性极强，能够学习海量事物。一个正确了 20 年的习惯，当它不再适用时，大脑可以去更新它并彻底抛弃旧模式。我认为这种能力对于 AI 极其有用，正是我们所渴求的。
07
为什么没有动物通过监督学习来学习
从人类婴儿或动物的学习方式中，能汲取什么？您从中获得了多少灵感？
您认为在现今的 AI 中，最缺乏的、最应当从生物学习方式中寻求灵感的地方在哪里？
Rich Sutton：我们从中汲取了非常多的灵感。并不强制要求 AI 必须像自然系统婴儿、人类或动物一样运作。这只是灵感的源泉，我们不受限于动物的学习方式。
（关于最缺乏之处）Rich Sutton：我现在只是在发表个人见解，但这些都是显而易见的观点。很明显没有任何动物是通过监督学习来学习的。因为并没有谁向我们提供肌肉到底该如何发力的范例，而肌肉发力就是我们的输出。
Sonya Huang：但是学校里的教育都是监督学习。
Rich Sutton：绝对不是。即便算是，学校教育也只是我们所学内容的一小部分。我们要学着观察，学着走路，学着理解世界运作的规律。而且就算在学校里，也没有人教我们到底该如何控制肌肉发力。
Sonya Huang：我在学校里获取的知识技能确实是通过监督学习得来的。
Rich Sutton：我并非否认向他人学习、接收知识传递的重要性。这极为重要，语言也极其关键。但是我们忽略了什么？其实根本不存在绝对的监督学习，没有谁给我们设定好既定的肌肉发力目标。比如问题是法国的首都是什么，我们知道答案是巴黎。但并没有人教我到底该如何调动肌肉去发出巴黎这个音。你给出巴黎的答案，我听着你的发音，然后自行调动肌肉运动，最终发出巴黎这个结果。这根本不是字面意义上的监督学习。真相就是如此。拿学校教育做例子是不合适的。松鼠不上学，动物也不是那么学习的。学校是一个特殊产物，几百年前连人类自己都没有。它并非智能本质的构成要素，如果将它奉为学习的主要范例会误导方向，毕竟作为动物我们并非如此运作。
Sonya Huang：问题在于，松鼠确实非常擅长在树上跳跃，但它无法证明数学定理。如果我想学如何证明数学定理，就得去学校。
Rich Sutton：它们也没有 DVD 和 iPod，它们能做到我们做不到的事。说到数学定理，它们也不会下棋。这仿佛是个悖论，那些我们视为真正展现高级智能的事务，对计算机而言反而轻而易举，相比之下那些困难的日常常规行为，比如移动身体、有目的地注视等，反而极具挑战。我认为监督学习是个好方法。但我喜欢关注那些显而易见的事实，没人能通过提供范例来教我们该怎么控制肌肉收缩，因为他们根本做不到，我们只能靠自己摸索。
Khurram Javed：而且他们提供的答案往往是错的。如果完全照搬 Rich 发音时的嘴唇、舌头和声带运作方式，我敢肯定发出的声音截然不同。所以在某种意义上，没有任何人知道我的身体发出正确声音的确切方法，只有我自己知道。
Sonya Huang：在我看来，许多最原始的感觉运动能力，尤其是与在物理世界中运动相关的能力，确实本质上必须通过经验去学习。但我认为似乎还存在更高层次的抽象，让我们更接近使人类之所以伟大的特质，而这些绝大部分并不存在于底层的感觉运动学习中。您的世界模型理念，是否涵盖了从底层感觉运动一直向上的完整过程？
Rich Sutton：这正是我们的野心，绝对涵盖。松鼠其实也能完成一些高度抽象的事情。
Sonya Huang：松鼠能做的最酷的事是什么？
Rich Sutton：不管在路上设置什么障碍，它总是能钻进喂鸟器。它总能找到新的跳跃和攀爬方式，克服万难。
Alfred Lin：它们计算轨迹的能力极其出色。动物极其善于理解物理世界，并且不需要像我们在考虑把火箭发射到太空时那样进行繁杂的心智计算。在缓冲坠落时，它们能在实时状态下以正确的姿势做出反应，从而防止受伤。
Rich Sutton：说法很对。我认为这只是一个程度的问题。我倾向于认为动物与人类非常接近。过度强调我们做法的不同、强调人类与动物的差异是一种傲慢。看到共性会更好，这只存在程度上的差别。当然，社会与文化赋予了人类巨大的优势，语言更是给了我们极大的加持。
08
AI 必须能学习世界模型并利用其规划与想象
我想就这一点深入追问，并支持前面的观点。我相信动物和儿童能从经验中学习，做出令人惊叹的事情。但让人类成为独一无二人类的，是前往外太空、建造火箭的能力。这些绝不可能是百分百从经验中学习来的。在发射火箭之前，必须脱离直观的经验进行高度的抽象思考，因为根本不知道它会不会成功，必须要去想象。那么，该如何教机器去想象以前从未存在过的事物？
Rich Sutton：在这一点上我们绝对赞同。AI 必须要能进行规划，必须要能想象。
Khurram Javed：您觉得一千年前的人类，在还没做出如今讨论的绝大多数成就之前，他们和现在同样聪明吗？如果让那个时代的人接触到如今的新文化，他们能获得同样的技能并做出有用的事吗？即便在过去的一万年里，我也不认为人类大脑进化了多少，因为从根本上讲，它是同一台机器。
Alfred Lin：根本上是同一台机器，但积累了一万年的知识。通过在学校经历监督学习能学到这一万年的知识积累，并且通过这种方式获取知识的速度，远比单纯通过经验摸索快得多。
Khurram Javed：您说得完全正确。我们希望 AI 能从经验中学习，而它们经验的一部分，正是接触并学习我们的文化，这毫无问题。但来看看那些做出改变范式成就的人。大家爱举爱因斯坦的例子，其实这样的例子比比皆是。学习同样如此，要关注 AI 自我学习事物的能力，而非死板编程。当范式转变发生时，通常是因为一个人积累了庞大的现有知识，然后基于自身的经验建立起新的抽象概念，并利用这些概念进行规划，进而发现新知。这种提出新抽象概念、学习世界模型并利用它们进行规划的技能，在现有的 AI 中完全缺失。可以在人类知识的最前沿去探讨这个问题，同样也能在底层的感觉运动流层面上加以研究。
Rich Sutton：所以在这个原则上并没有分歧。必须形成抽象，以便在更高层次上进行推理。只是探讨的话题有点靠近我之前强调过绝对不要去做的争论，即争辩先验知识重要还是获取新知识重要。你们刚才的意思就是这样，AI 仍然需要学习事物，但你们同时也在说可以从人类文化和先验知识中直接获取，这二者绝不应该互相冲突。
Alfred Lin：围绕范式转换最核心的问题是，我们该如何创造出一台知道在何时转换范式的机器？
Khurram Javed：我认为要通过机器自身的经验来实现。它不能依赖人类提供的知识，既然我们假设人类习惯用某种固定范式来看待事物，而我们又想寻找截然不同的视角，那么机器就只能通过自身经验去探索更好的出路。也许它的泛化能力更强，能做出更精准的预测，也许它在其他方面具备优势，但这一切都必须源于自身经验。目前在我们领域中尚未解决的巨大挑战，或者说尚不具备的能力，就是先学习一个模型，然后再利用该模型进行规划。我们可以解决数学问题，也能开发出 AlphaGo，那是因为在棋类游戏中我们已经知晓模型，明白规则是如何运作的。在数学中，我们也清楚运算符的规则。我们知道 Lean 能够将我们从当前的知识证明状态推导至下一个状态。但是，如果必须让机器自己去学习并推导这些模型，实话说，在我们领域还没有先学习模型然后再用其进行规划的先例，至少在使用自主发现的抽象概念方面还是一片空白。因此有人会说，我只打算训练一个预测下一秒或下一毫秒会发生什么的模型。但这并非我们模型的运作方式。我们的模型更加抽象，有着本质的区别。
09
阿尔伯塔计划及其 12 个步骤
您在 2022 年提出了一份针对 AI 研究极其具体的 12 步计划，也就是阿尔伯塔计划。能给我们详细讲讲吗？
Rich Sutton：提出阿尔伯塔计划，是因为我们当时虽然有了宏观构想，但必须将其拆解成可执行的具体模块。这 12 个步骤就是为了将这些模块具象化。其中第二步，即非常关键的早期步骤，持续深度学习，我们认为它几乎是最核心的一步，因为它是解锁后续所有步骤的关键。如果能实现持续深度学习，就能不断更新世界模型。接下来则是如何正确提取抽象的问题，该计划后半部分的步骤全是围绕这一核心展开的。而且这不仅仅是获取抽象，我的意思并不是要找到一个绝对正确的抽象，因为没有人能定义什么是绝对的正确，这取决于你所处的环境。你的 AI Agent 必须为它所处的任何世界学习最适用的抽象。所以这两点就是事情的关键所在，你必须找到合适的抽象，然后必须具备持续深度学习的能力。
Khurram Javed：我觉得业内很多人都意识到我们需要模型，并需要利用它们进行规划。但抽象化决定了模型应该以什么条件为前提。模型到底该预测什么？你要采取什么行动，随后会发生什么，更重要的是这些预测的依据从何而来？我非常喜欢用顶尖运动员来打比方。如果你问顶尖运动员是如何完成某些动作的，他们会用一些非常小众且奇怪的术语来描述极为具体的动作。他们会说自己做了某个动作，并给它起个名字。有时如果是独自训练，甚至连名字都不起。那么他们是如何提炼出这些抽象概念的呢？从某种意义上说，这正是目前行业缺失的关键环节，而阿尔伯塔计划的后半部分正回答了这个问题。
我们能谈谈持续深度学习这部分吗？目前阻碍它的究竟是算法瓶颈，还是仅仅在实际部署、基础设施及数据隐私方面的难题？因为如果只想基于用户交互做简单的权重更新，今天就可以实现。在您看来，要实现持续深度学习，我们最缺的是什么？
Khurram Javed：这绝对是算法上的瓶颈。你确实可以采用简单粗暴的更新方法，但这会引发各种问题。比如你取一个样本，然后用这个样本来更新整个模型，你就会发现模型中原有知识都受到了负面影响。目前业内绕开这个问题的办法，正是 Cursor 正在做的事情，他们不依赖单一用例，而是使用来自海量用户的大批量数据。所以在具备这种条件的场景下，你确实可以进行持续学习。但大多数场景并不具备这种条件，它们面对的往往只有单一数据流。此时如果强行使用简单的更新方法，就会以极具破坏性的方式摧毁先前的知识。
Sonya Huang：也就是灾难性遗忘。
Khurram Javed：完全正确。只要找到正确的算法，这个问题完全是可以解决的。
Sonya Huang：解决的对策是什么？
Rich Sutton：首先你需要进行步长优化，这意味着神经网络中的每个权重都必须拥有独立的步长。有些权重更新得快，有些更新得慢，你必须通过元学习来确定每个权重的步长。网络中绝大多数权重的步长会非常微小，这样当利用新用例进行训练时，原有的知识就不会遭到破坏，更新只会发生在最恰当的节点。其次，你必须在特征空间中使用某种形式的生成与测试方法。也就是说，你可以在不完全依赖梯度的情况下生成新的特征或单元。因为梯度下降是一个极其缓慢的过程，只有当你明确某个方向有利时，你才会朝该方向优化。这种方式总是很慢，无法让你构建日益复杂的系统，也无法实现持续学习。你需要一种机制，能主动抛出一批新单元并在此基础上迭代。
为了让大家更容易理解，我可以举个具体的例子。几年前我们在《自然》杂志上发表过一种叫做持续反向传播的算法。它在机制上与传统的反向传播完全相同，区别在于它还会不断注入带有随机初始化权重的新单元。传统的反向传播只有在训练伊始才拥有随机权重，随着训练的推进，这种源于随机性的多样性就被消耗殆尽了。而持续反向传播会不断注入少量的随机性，进行小范围的生成与测试。生成完毕后，反向传播操作本身就充当了测试者。如果能将这两者完美结合，我认为就能打造出拥有压倒性优势的新一代持续深度学习算法。这也是我们希望在未来几年里实现的目标。
Sonya Huang：您认为这些算法能应用于当前的现状吗？也就是目前人们试图扩大大语言模型的规模，并致力于让其在不产生灾难性遗忘的情况下进行持续学习。
Khurram Javed：当然可以。但我认为不能直接拿一个现成的模型，然后试图用这些新算法来更新它。因为这些算法的本质是通过元学习来掌握如何学习。你必须从头开始训练，比如去训练一个新的基础模型，并且在一开始就采用这些新算法。这些新算法不仅在学习具体的知识，同时也在学习未来如何掌握新事物。它们在同步进行两项工作。到了那一步，我相信就能在不引发灾难性遗忘的情况下学习新知识了。
Alfred Lin：试图同步完成这两项工作，这就是你们公司目前在做的最激进的事情吗？
Khurram Javed：关于最激进的事情，这又回到了那句话，我没疯，是这个世界疯了。不过这可能也算不上完全激进。在 2016 年到 2018 年期间，业内确实有不少人对这些理念进行了深入探索。只是当时他们将其局限于非常有限的场景中。他们会设定一个固定的问题分布，然后在特定条件下应用这些算法，而我们要做的是让它从单一的连续经验流中完成学习。因此我们的方法适用性更广。虽然很多人探索过这个方向，但在通用场景下，也就是算法可以应用到任何领域的设定下，还没有人真正做到这一点。
10
新公司Oak 的最大雄心：打造自我维护的心智
那么你们的新公司正在尝试做的、且其他公司没有涉足的最激进的事情究竟是什么？最宏伟的目标是什么？
Rich Sutton：别忘了我不觉得我有悖常理，所以我不想定义什么才是最宏伟的。但在我看来，最具雄心的一点是我们试图构建涵盖全谱系的知识系统，既懂微观细节，又明宏观大道。比如思考如何乘飞机从一个城市前往另一个城市，这就好比你提到的太空飞行，只是航空旅行更贴近常识，因为我们大多数人都坐过飞机。我们在生活的方方面面都在运用抽象思维，甚至连松鼠也具备抽象能力。要想掌握从小到大的全谱系知识并以统一的范式去处理它们，让模型实现自我维护，这才是重中之重。一直以来的核心问题在于，当你拥有一个基于知识的系统时，靠什么来确保其中的知识永远正确呢？就拿大语言模型来说，人们在训练后进行了大量人工微调来确保其正确性，随后就将模型参数冻结。这就是它保持正确的方式。但事实上，人类的心智是在不断变化和修正的，然而某种内在机制却能让我们保持组织性和连贯性，使认知重新趋于稳定，而不是彻底陷入混乱。这正是我们最大的雄心，打造一个具备自我一致性、能够不断自我训练并维持连贯性的心智。
Sonya Huang：我非常喜欢这个想法。不过我想问，这是一个如此宏大的愿景，把所有这些能力统一到一个单一的心智中，真的极具野心。
Rich Sutton：这是触手可及的。
Sonya Huang：我也觉得触手可及。毕竟现在已经是 2026 年了，我们的计算机算力也如此强大。
Rich Sutton：到底是因为它太宏伟而显得遥不可及，还是我们已经看到了实现这些步骤的端倪？我认为我们既有愿景，也看到了端倪。这并非天方夜谭。
Sonya Huang：您的愿景涉及到在一个 20 瓦特的功耗下运行万亿参数的模型。这听起来的确非常有野心。
Khurram Javed：确实有野心。某种程度上，用现有的技术来说这甚至是不可能的。以现有的内存技术，仅仅是将一万亿个参数存储在内存中，所消耗的能量可能就不止 20 瓦特了。但我们看重的是未来的发展趋势，计算技术在不断进步，算力成本在持续下降，能效比也在不断提高。那么 5 到 10 年后我们会发展到什么程度？我认为如果在 5 到 10 年内能研发出正确的算法，我们完全有可能迈入这个愿景成为现实的世界。
Rich Sutton：从时间跨度上看，5 到 10 年代表着摩尔定律两个数量级的跃升。这是标准的算力迭代速度。如果性能每 18 个月翻一番，10 年就足以带来两个数量级的提升。所以要让 Khurram 的预想成立，前提是今天能用 2000 瓦特来实现它。如果现在能用 2000 瓦特做成这件事，10 年后就能用 20 瓦特来实现。
Sonya Huang：您觉得现在能用 2000 瓦特实现吗？毕竟许多研究实验室能够调用的算力和能耗远超于此。
Khurram Javed：我认为只要算法正确，我们现在的能效比甚至还能更高。
Sonya Huang：既然能做到更高效，那为什么大家没这么做呢？总不至于是人们就喜欢烧钱吧。
Rich Sutton：有时候看起来他们确实像是故意的。我觉得他们仿佛想通过消耗巨大的能源来彰显自己是真正的硬汉。
Khurram Javed：至少在观察各大研究团队时，我甚至没看到有任何人相信这种高效是可行的。如果打心底不相信它，自然就不会投入精力去攻克相关的技术难题。
那么，到底是因为这不可行，还是因为整个系统中存在太多的浪费？有没有可能是某些人明明知道该怎么高效运作，但在同一个实验室里，却有十倍于此的人在做其他事情，导致绝大多数人其实都在做无用功？
Khurram Javed：我的看法是，我们整个行业都陷入了局部最小值。如果我们想向这类新算法演进，情况在好转之前必然会经历阵痛，这几乎是不可避免的。当我们开始探索这些新方向时，不可能在第一天就获得最先进的性能表现，因为这是截然不同的范式。虽然这条探索之路能够引领我们在更高能效下取得媲美当前的性能，但那些大型实验室已经被现有的产品线深度绑定，他们不可能去走一条暂时让性能退步的道路。因为在目前的范式下，只要继续扩大规模，他们就能保持增长。而面对新范式，他们必须押注，并且要解决那些极其困难的技术问题。关于这些问题我们思考了很多年，也认识一些同样思考了多年的同行。当我与他们交流时，大家在逻辑上都觉得这是行得通的，但你必须做好为了这些挑战沉淀数年的准备。
假如关于 Oak 以及这家公司的一切进展都很顺利，您希望建立一家怎样的公司？
假使一切顺利，您构想的是否是打造出一个能够包揽万象的单一心智，它既能学会在树枝间荡秋千，又能制造宇宙飞船，还能搞定我们今天讨论的所有事情？它是利用一套统一权重就能搞定一切的单一心智吗，还是说有其他形式？
你们现在正在招聘，希望能寻找什么样的人才？
Rich Sutton：如果一切顺利，我们会成功构建出这套架构，实现真正的持续学习，进而形成抽象思维并具备规划和推理能力，达到类似真正智能的境界。至于到那时具体会发生什么，现在很难确切想象，但我认为人类的存在感或许会被削弱。
Sonya Huang：我完全不同意这个观点。
Rich Sutton：我们其实也不这么认为。我觉得世界对人类而言只会变得更加激动人心、更充满趣味。但我想强调的是，到那时大语言模型的处境可能就危险了。当这一天真正来临，它们恐怕会面临生存危机。它们确实拥有过一段美好的时光，取得了巨大的成功。在此我要澄清一下，大语言模型是一项令人惊叹的科学突破，是神经网络在语言处理能力上的巨大飞跃。这完全超出了预料。语言领域过去一直是符号派坚守的阵地，而大模型的出现彻底颠覆了人们的认知。毫无疑问这是一项重大突破。但让我感到无奈的是，为何我们不能仅仅庆祝在这个特定的 AI 子问题上取得了重大进展，并好好享受其成果呢？相反，它非要被包装成人工智能的全部。真正的智能，绝不仅仅局限于流畅且强大的语言能力。智能的内涵远不止于此，语言能力可能只占其中 20% 或四分之一。我们还有更广阔的天地要去探索。
（关于单一心智）Rich Sutton：是基于一套统一的设计，但会衍生出多个心智。
Khurram Javed：确实如此，它是一套能够适应不同环境的底层设计。而这个心智的不同版本，会因为经历的环境各异而学到不同的知识。这有点呼应了大世界假说，即世界上有无穷无尽的事物需要学习。因此单个系统是不可能穷尽所有知识的。Rich 刚才也提到过，即使你有世界上最大规模的两个系统，显而易见它们也无法对彼此进行建模，因为它们具备同等的复杂性。单一系统永远无法达到全知全能的境界。未来的常态必定是多个系统通过各自的经验不断进行学习。
（关于招聘）Khurram Javed：我们正在招聘。至于初创团队的核心成员，我们心里基本已经有了明确的人选。他们都是对这些理念有过长期且深入思考的人。在团队扩张上我们会采取稍微不同的策略，因为这是一种全新的范式。迅速扩张团队对我们来说毫无意义，因为从某种程度上说，我们招进来的每一个人，都必须能够和我们看到同样的愿景，而这并不是每个人都能做到的。所以我们会从一个小规模团队起步，慢慢扩张到几个人或十几个人，然后稳扎稳打。
Rich Sutton：我们需要团队保持高度的一致性。只有理念高度契合，我们在共事和推动研发进展时，才能发挥出极高的生产力。
| 文章来源：数字开物
• END •
【专栏】精品再读
热门跟贴