观点分享丨图灵奖得主Richard Sutton：AI离人类共识越近，离未知越远|richard|sutton|图灵奖

转自 AI科技评论

古代航海时代，人们相信，只要地图画得足够完整，世界终将没有未知之地。

后来人们发现，地图永远追不上世界。每发现一块新的大陆，地图就要重画一次；每诞生一种新的知识，人类对世界的认知就要更新一次。

今天的大语言模型，正在试图成为这样一张“世界地图”。它收纳了互联网、书籍、论文，以及几乎所有已经被记录的人类知识，看起来无所不知。

2026年，在上海举办的世界人工智能大会（WAIC）上，特意身着一袭中式传统纹样衬衫的Richard Sutton缓缓走上讲台。他提出了一个相反的问题：如果AI拥有的，只是已经画在地图上的世界，那么地图之外呢？

Sutton有资格提出这个问题。

作为强化学习领域的奠基人、2024年图灵奖得主，2019年，他写下了一篇只有一页半的短文《The Bitter Lesson》（《苦涩的教训》）。文章指出，过去70年AI领域几乎每一次真正的飞跃，都不是因为研究者把人类知识编码得更精巧，而是因为某种更“笨拙”的东西——大规模计算——最终碾压了一切手艺。从国际象棋、语音识别到计算机视觉，无一例外。

这篇文章后来在Twitter（现X）上被广泛传播，也成为AI领域影响最广、被引用最多的经典文章之一。今天，一个几乎无人反对的共识是：大语言模型，正是“苦涩的教训”最新的一次胜利——它依靠海量算力和数据，而非人工设计的规则，走到了今天。

但站在WAIC的讲台上，Sutton给出的答案却是：是，也不是。

大语言模型确实继承了“苦涩的教训”，找到了持续扩展计算规模的方法，这是它“对”的一面。但它最大的超能力——来自人类知识，也可能成为它最大的边界。

因为它存储的是人类已经达成共识的知识，而不是尚未被发现的真理。

如果历史再次重演，终有一天，一种能够自主创造知识、不再依赖人类数据的方法，或许会像当年的大规模计算一样，取代今天的大语言模型。

地图可以画得越来越完整，却永远无法提前画出下一块大陆。

这场演讲的价值，不仅仅在于预言大模型的终结，还在于提出了一个更根本的问题：当AI的全部力量都建立在人类已知的知识之上时，那些尚未被发现的知识，又将从哪里诞生？

以下内容基于Richard Sutton在WAIC大会发表的主旨演讲，AI科技评论根据原英文演讲内容进行了不改原意的翻译编辑。

▎The Bitter Lesson of AI Research

主讲人：Richard Sutton，2024年图灵奖得主，阿尔伯塔大学计算机科学

“苦涩的教训”：

AI反复验证了70年的规律

非常感谢，很高兴有机会和大家分享一些关于《The Bitter Lesson》的思考——它关乎AI研究最重要的发展方向。先简单说说它的来历。

这篇文章最早源于2018年的一次内部会议。当时我提出这些观点后，在场不少研究者并不认同。2019年，它正式发表，并迅速在Twitter（现X）上传播，后来几乎成了AI领域的一篇“经典短文”。

整篇文章只有一页半，我一直建议大家亲自读一读。不过，由于它最后一段本身就是全文的总结，所以我今天这张幻灯片直接引用了原文。所谓“苦涩的教训”，其实源于一个反复出现的历史规律。

长期以来，AI研究者总希望把人类知识直接编码进智能体（agent）。这种做法短期内往往十分有效，也符合研究者的直觉，因此总是很受欢迎。但从长期来看，它终究会遇到瓶颈，甚至阻碍进一步的发展。

真正带来突破的，最终总是另一条路径：依靠搜索（search）和学习（learning）不断扩展计算规模。

这，就是“苦涩的教训” ，为什么说它“苦涩”？

因为研究者投入大量心血设计的方法，起初确实有效，也令人充满成就感，但最终往往都会被另一种更加依赖计算、更具扩展性的方案所取代。

过去70年，这样的事情一次又一次发生。它发生在国际象棋上，也发生在计算机视觉和自然语言处理上。

甚至早在大语言模型出现之前，语言处理的发展轨迹就已经体现了这一规律。最早的方法建立在语言学规则之上，后来逐渐被语音统计模型、隐马尔可夫模型（Hidden Markov Models）等方法取代；再后来，又进一步被依靠机器学习、大规模计算和互联网海量数据训练出来的模型全面超越。

当然，我必须强调一点。 “苦涩的教训”并不是一条科学定律，它只是一个历史规律。历史并不一定会重复。

但另一方面，在过去70年的AI研究中，它已经重复出现了太多次。因此，我们至少应该保持警觉：这一次，它会不会再次发生？

这也是我今天想和大家讨论的问题：对于今天的大语言模型，以及我们所说的基础模型（Foundation Models）而言，“苦涩的教训”是否依然成立？

大语言模型：“是，也不是”

刚才的问题是：“苦涩的教训”是否同样适用于今天的基础模型？

为了回答这个问题，几周前我在X（原Twitter）上用26个词做了一个概括。

大意是：不要像过去那样，把注意力放在人类已有知识上；而应该专注于那些能够扩展（scale）的方式——专注于创造知识的方法，而不是利用已有知识的方法。只有依靠搜索和学习，AI才能真正实现持续扩展。

那么，这个观点适用于今天的大语言模型吗？适用于基础模型吗？我的答案是：是，也不是。

“是”的原因很简单。大语言模型确实找到了一种能够扩展计算规模的方法。它充分利用了今天的大规模计算资源，以及互联网产生的海量数据。

从这个意义上说，大语言模型之所以能够取得今天的成功，本身就是“苦涩的教训”的一次胜利。它真正吸取了过去70年的经验，选择了一条能够不断扩展的道路。

这也是为什么，很多人认为，大语言模型正是“苦涩的教训”最成功的体现。

但另一方面，答案也是“不是”。因为基础模型和大语言模型的能力，归根结底建立在人类知识之上。

人类知识，就是它们最大的超能力（superpower）。它们之所以如此强大，是因为吸收了互联网上几乎所有已经记录下来的人类知识，以及海量的人类数据。然而，也正因为如此，它们很可能受到同一种限制。

今天，我倾向于说——很可能（likely）。从长远来看，它们最终也可能会被另一种方法取代。原因并不是计算规模，而是它们完全依赖于已有的人类知识，而不是试图创造新的知识。如果过去70年的历史规律再次出现，那么未来真正推动AI下一次跃迁的，很可能不是更大的基础模型，而是一种能够自主创造知识的新方法。

因此，我认为，我们至少应该对这一点保持警觉。

基础模型的本质：

它不是科学家，而是人类共识的容器

讨论基础模型的未来之前，我们必须先回答一个更基础的问题：基础模型（Foundation Model）到底是什么？

今天，“基础模型”已经成了AI领域最流行的词之一。大家似乎都知道它是什么，但实际上，它更像一个流行概念（buzzword）。

如果我们想讨论它的未来，就不能只是引用斯坦福的定义，或者沿用别人给出的解释。我们必须先弄清楚，它到底是什么。因为，对这个问题的回答，将决定我们对未来的判断。

我的看法是：基础模型，本质上是“人类已达成共识知识的容器”（containers of all agreed human knowledge）。

它们不是创造新知识的科学家。它们真正的目标，是成为一个能够容纳所有已达成共识的人类知识的容器。

请注意，我这里说的是：

已达成共识的人类知识（agreed human knowledge）

而不是：

所有知识（all knowledge）。

这是两件完全不同的事情。如果基础模型希望容纳所有知识，那是不可能实现的。因为世界始终在变化，新的知识不断诞生，没有任何系统能够提前拥有尚未出现的知识。基础模型真正能够做到的，是尽可能准确地容纳已经被人类验证、记录，并形成共识的知识。

而把它当作“所有知识”的容器，则是一种不切实际的幻想。

大世界视角：

为什么世界永远大于任何一个心智

如果说基础模型只是人类已达成共识知识的容器，那么接下来，一个更根本的问题就出现了：为什么它不可能成为“所有知识”的容器？答案来自我所说的“大世界视角”（Big World Perspective）。

这个观点其实很简单。世界永远比任何一个心智都更大，也更复杂。很多人理解智能时，脑海里的画面大概是这样的：有一个世界，也有一个心智，两者大致相当。只要心智足够强大，就能够理解整个世界。但我认为，这个画面从一开始就是错的。

真正的情况更像是另一幅图景：世界远远大于任何一个心智。而且，这种差距不是一点点，而是数量级上的差距。

原因很简单：任何一个心智，都只是世界的一部分；而世界不仅包含自然，还包含无数其他心智。既然如此，没有任何一个心智能够完整理解整个世界。

这一点，其实每天都在发生。比如，我刚刚来到这里，面对在座的各位。我当然会试着建立一个关于你们的“模型”。因为我希望把我的想法传递给你们，所以你们在想什么、理解到了什么，对我来说都很重要。

但显然，我不可能真正知道你们每个人此刻脑海里在想什么。这并不是因为我能力不够。而是因为世界本身，就比任何一个心智更加复杂。这只是那个基本事实的一个具体例子。通用，不意味着无所不知这一点，也决定了我们应该如何理解“通用AI”。

任何一个真正具有通用性的基础模型，都必须接受一个事实：

它只能停留在表层（superficial），而不可能拥有关于世界完整而深刻的知识。这听上去像是一种妥协。但在我看来，这反而是一件非常美好的事情。因为它提醒我们保持谦逊，我们不会再幻想，有哪个系统能够真正理解世界的一切。

与此同时，它也意味着另一件同样重要的事情：没有任何人、任何AI，能够理解一切。因此，我们不必担心未来会出现某种全知全能的超级心智——一种比你更了解你自己、比你更了解你的朋友的存在。这种担忧，本身就是建立在一个错误的前提之上。

超级智能当然可能存在，但它同样受到这个基本事实的约束。世界永远比任何一个心智更大。这一点，对超级智能也同样成立。它不会因为更聪明，就摆脱这种限制。

因此，从本质上说，我们和未来可能出现的超级智能，并没有质的区别。它们会像我们一样，在自己的生命过程中不断学习，也会像我们一样，只能逐渐成为自己所经历、所接触那一部分世界的专家。

没有任何一个心智，可以成为整个世界的专家。

未来的AI：完整心智、

专用工具与“超级百科全书”

如果接受"大世界视角"，那么我们也必须放弃另一种幻想：不存在一种能够理解一切的AI。

这意味着，未来不会只有一种AI。恰恰相反，它会演化出不同的形态，承担不同的角色。其中一种，也是我自己最感兴趣的一种，是真正完整的AI心智。

我希望它能够像人一样体验世界、学习、思考、创造、发明，甚至——如果你愿意这样理解——拥有意识（consciousness）。它们会像我们一样，在自己的生命过程中不断学习，不断成长，也会在自己所经历的那部分世界中逐渐形成专长。

但它们不会是基础模型。它们也不会无所不知。它们只是另一种完整的心智。与此同时，还会有另一类AI。

它们并不需要拥有完整的心智，而是专门服务于某个具体任务。例如自动驾驶汽车。它们有明确的目标，也有清晰的应用边界，只需要把自己的工作做好，而不必理解整个世界。

而基础模型，则处于这两者之间。它不是一个人的AI，而是一种可以被无数人共同使用的AI。它真正承担的角色，是成为当前人类已达成共识知识的准确存储。这里，我想特别强调“准确（accurate）”这个词。因为今天的大语言模型仍然会产生幻觉（hallucination），仍然会犯错。很多时候，我们甚至期待它回答那些训练数据之外的问题。