智猩猩AI整理
编辑：六六
在斯坦福HAI的一场对谈中，斯坦福大学教授、World Labs联合创始人李飞飞与Google前首席科学家、Discovery Loop联合创始人Jeff Dean，围绕AI自我改进与自主科学发现展开讨论。
从Jeff新创立的Discovery Loop，到RSI，再到自主科学发现、数学推理与形式化验证，两人探讨了一个核心问题：AI能否从执行既定任务，进一步走向自主探索、持续改进，并参与新知识的发现？
Jeff在对谈中对自我改进与递归自我改进之间作出区分：自我改进，是让系统围绕一个可衡量的目标不断尝试、优化；而递归自我改进，则意味着改进过程本身也能得到改进——系统不仅寻找更好的模型，还能改进负责寻找和提出改进方案的底层机制。
从模型优化转向自主科学发现，Jeff认为AI并不只能够执行实验，也有机会根据实验数据提出解释，发展新的理论；自动化研究还有可能打破不同学科之间的边界。
两人还谈到了数学推理与Lean形式化验证。AI已经能够解决一些复杂的数学问题，但Jeff提醒，得到一个经过机器验证的证明，并不意味着人类真正理解了其中的数学思想。他强调：一个问题已被证明或证伪当然有价值，但理解如何发展出优雅技巧并用它得到结果同样重要。
谈及AI技术发展的关键节点，Jeff回顾了Transformer、蒸馏和MoE等技术，也分享了两个出乎预料的变化：MoE并没有像他此前设想的那样发展出更加奇异、有机的架构；而代码能力的重要性则远超预期，逐渐成为释放模型潜力的关键。
在对谈最后，两人将话题延伸到AI的社会影响和年轻一代的选择。Jeff认为，AI作为一种强大的通用技术，几乎会影响所有领域。真正需要思考的是，如何放大AI带来的积极收益、降低潜在风险，并让技术、监管、政策和社会共同参与这一过程。对于学生，他建议理解新技术，并尝试将技术与自己真正热爱的事情结合起来。李飞飞则以一句话总结了她对AI时代人类价值的看法：在AI时代，人类的热情依然具有超越时间的价值。
以下是对谈回顾：
01
Discovery Loop：
探索AI自我改进
李飞飞：再次恭喜你。过去几年宏观技术进展有目共睹，但我还是很好奇：有没有某个时刻，技术发展进入了一种新的阶段，让你、Quoc、Sanjay和Oriol觉得：“我们必须做点不一样的事，而且这件事不能在Google内部完成”？为什么要做Discovery Loop呢？
Jeff：我们一直很兴奋地看到，自动化系统能越来越自动化地帮助人们开发软件。Quoc十年前就做过大量神经架构搜索研究，可视为递归式自我改进系统的早期形式。
当时可以对系统说：“帮我找出适合计算机视觉或语言任务的优秀模型架构。”所以我们很早就知道这类方法可行，只是那时要用粗糙的Python代码定义搜索空间；今天则可以用自然语言告诉“强模型+智能体”系统：“探索可能有助于解读MRI影像的模型架构”，它就能自主开展。
我认为这是对计算机系统和AI系统能力认知的深刻转变。如果这些系统能可靠运行，就会释放大量可能性。尤其在科学与工程领域，我们认为这些领域非常适合发挥这类技术优势，也有望让技术为世界带来积极影响。
李飞飞：所以真正让你们下定决心的，是自我改进这个方向。
Jeff：有人可能会说，我们有点“循环上头”（loopy），但确实如此。我们一直很享受从小项目做起：五个人一起做，再陆续加入第六、第七、第十个人，这个过程很美妙。大公司也能这样做，但我们希望以公益公司的形式推进，这也是我们价值观的体现。当然，迈出更大一步，寻找办公场所、处理创办公司的各种事务，也很有趣。
李飞飞：我也有类似经历。创办World Labs的契机，同样来自我们对某个技术时刻的判断。与Discovery Loop不同，我们看到的是计算机视觉与生成式模型的汇合点：我们第一次能创造超越文字的生成式模型，这就是创办World Labs的时刻。
02
什么是自我改进？
什么是递归自我改进？
李飞飞：接下来聊聊自我改进和递归自我改进，深入讨论一些技术问题。我们是同一代接受机器学习教育的人，我刚才在想，这个概念换过多少名字：我读研究生时叫增量学习，后来又有持续学习、元学习、终身学习。你刚提到神经架构搜索，现在又叫自我改进和递归自我改进。能否给现场观众，尤其技术领域观众，一个更严格的定义：什么是自我改进，什么是递归自我改进？希望借此区分虚构与事实。
Jeff：可以回到刚才提到的那些循环。这些循环可以应用于很多不同类型的问题。
我理解的自我改进系统是：为系统设定一个目标，通常是某个可衡量的指标，例如机器学习模型的准确率，然后让系统尝试不同的模型架构，以提升这一指标。例如，我们可以给系统提供一批MRI数据及其对应的诊断结果，并告诉它：“我想开发一个能够帮助解读MRI影像的模型。”这就是一个自我改进系统：系统能够自动开发模型，记录不同尝试方案的准确率，并通过持续实验不断提升模型表现。但这个过程并没有改进底层系统本身，也就是负责提出下一步尝试方案的系统。
而递归自我改进，指的是让自我改进过程反过来改进负责提出改进方案的底层系统本身。
李飞飞：我认为这个概念很容易让人混淆，尤其是在硅谷，很多人都在非常随意地使用这个词。作为一名科学家，这让我很困扰。因此我希望借助这个舞台，把RSI的定义讲清楚。
03
RSI的物理极限
李飞飞：接下来聊聊RSI的物理极限。现在RSI被炒作得像一个没有尽头、能无限加速的系统。这里面有多少炒作？虚构与事实的边界在哪？
Jeff：可以先回顾过去10到15年人类如何提升模型能力：研究人员和工程师聚在一起大规模实验，判断哪些想法可行，再把有效方法融入下一代模型，这本身就是正常的研究与工程过程。
引入自动化确实能加快进展，自动化系统可以立即查看结果、决定下一步，甚至从整个大项目角度做全局决策，而不是像每个研究人员那样做局部判断。这样的全局决策可能好得多。
但仔细看创建基础模型并不断提升能力所需的条件，会发现大量实际训练和实验必须真正运行完成，不可能无限快地发生。这里涉及真实物理过程：运行计算、查看结果、计算机执行任务、保存数据，还需要另一个模型读取实验结果并决定下一步。所以，有人认为这个循环可以无限快运转，我觉得并不合理。
脚踏实地很重要。能自动尝试改进的系统肯定会提高改进速度，但不会让整个过程无限加速。
李飞飞：这一点非常重要。我一直在想：人类是自我改进系统，还是递归自我改进系统？
我认为人类肯定是自我改进系统。比如我做饭很差，学做煎蛋卷，第一次全烧糊；第二次吸取教训会好一些；试十次，也许能做出自己愿意吃、但孩子不愿吃的煎蛋卷。这就是自我改进。
递归自我改进则涉及大脑：学做煎蛋卷时，大脑的神经连接要先发生一定变化，让我成为更会做煎蛋卷的系统；若谈硬件改进，甚至可设想长出第六根手指。然后我再继续做煎蛋卷，让大脑进一步改进。如果这个循环成立，人类就是递归自我改进系统。这个类比成立吗？
Jeff：我认为人类同时具备这两种特征。人的一生会学做煎蛋卷、解微积分，这是自我改进；我们也在学习如何学习。正因“学会如何学习”，人类既能自我改进，又能递归自我改进——理解哪种知识呈现方式最利于自己吸收，就能更快学会更多。
李飞飞：而且递归自我改进也可能是一种进化算法。我觉得在RSI被高度炒作的当下，能够公开讨论这些问题是一次难得的机会。
Jeff：是的。现在有很多炒作，认为它会无限加速，甚至变得非常可怕。但如果把它看作一个务实运行的工程系统，就没有那么可怕，也更容易理解。
04
Discovery Loop聚焦三大方向
李飞飞：世界上有很多能够造福社会的科学问题。在你愿意透露的范围内，目前最让你感兴趣的是哪一个？
Jeff：长期以来，我一直对AI在医疗健康领域的应用非常感兴趣。医疗健康极其重要，也与我们的公益公司使命高度一致。我认为未来一定会在这个方向开展研究，但不是现在，而是之后的某个阶段。
目前，我们主要专注于能在纯数字环境中完成整个实验循环的科学与工程问题，因为这类问题最容易通过自动化加速整个循环。如果涉及真实物理过程，要加快整个循环就困难得多。当然，很多重要学科都依赖物理过程，我们也有一些混合方法可以帮助这些领域提速。
因此，我们首先关注数字化的科学与工程领域，具体聚焦三个方向：机器学习研究、机器学习工程和硬件设计。这三个方向都是我们拥有专业知识的领域，同时也极其重要，因为它们能为其他领域的发展提供支持。
例如，如果有一个能自动解决机器学习工程任务的系统，就可以把它应用于医疗、材料科学或其他领域的各种问题，并告诉它：“我想要一个针对这一特定任务、表现非常出色的专用模型。”按照我们刚才讨论的定义，这属于自我改进，但不一定是递归自我改进。这就是公司当前的定位：现阶段聚焦这三个领域，但我们的目标远不止于此。
05
AI会让科学研究更偏向实验主义吗？
李飞飞：我本科是物理学专业。物理学通常区分实验物理学家和理论物理学家。我一直在想你展示的那个循环。你说“提出实验”，但物理学通常说“提出假设”，然后进入实验和评估。因此我想：如今强大的AI智能体和自我改进循环，无论是否递归，在哲学层面是否更偏向实验主义的科学路径？回顾牛顿、爱因斯坦等伟大理论家，他们并不怎么亲自做实验，会阅读实验结果，但不是靠大量实验开展研究。你认为这条技术路径是否正在向实验主义倾斜？
Jeff：我不认为这一定会发生，但可能确实存在一定倾向。我认为这类系统同样能开展伟大的理论研究。你可以要求系统：“能否提出一个能解释所有这些数据的理论？”然后让它不断迭代，寻找能解释实验数据的最简理论。很多理论物理学家本来就是观察实验进展，再提出理论解释已观察到但尚未理解的现象。因此这条路径完全可能。
而且，把理论物理、实验物理和化学视为彼此割裂的学科并不合理。想象一个系统已在一百个科学领域解决了一百万个问题、开展了上亿次实验，它很可能积累大量洞见，既来自各种实验结果，也来自对相关领域哪些方法有效、哪些无效的理解。这些洞见不会像人类学术界按院系划分那样受严格学科边界限制。我喜欢AI的一点就在于，它是一个“跨机构”的存在，能让不同领域的人开始共同交流。
06
从机器验证到数学之美，
AI正在改变数学研究
李飞飞：接下来必须聊聊数学。看到最近这些事情，我的心情很复杂：先是Navier-Stokes问题，接着是720篇论文，昨天OpenAI又发布了更多AI解数学题的成果。并不是我不喜欢这些发现，而是这些百年、千年的数学难题代表着人类智慧的巅峰。数学家看到的不只是技术解答，还有数学之美；如今却有一台完全不同的机器来处理这些问题。
我和Terence也讨论过很多次。他最近发表“Math 2.0”演讲，认为AI能帮助解决某一类数学问题，但另一类仍超出AI能力范围，尤其是那些没有解答、也就没有相应训练数据的问题。你如何看待最近几周数学界的巨大变化？
Jeff：显然，如今的模型，以及能以高度并行方式调用这些模型的智能体系统已经能解决数学中非常困难的未解问题，这揭示了当前技术的能力边界。
但人们之所以不满甚至不适，是因为这些证明往往表现为五百页的Lean形式化代码。它们经过机器验证，却没有人真正理解通向结果的优雅、简洁路径。
我认为，知道一个问题已被证明或证伪当然有价值，但理解如何发展出优雅技巧并用它得到结果同样重要。这正是人类数学家与问题不断较量时发生的事，也往往能催生解决其他问题的新数学工具。优雅解法常带来巧妙技巧，这些技巧可进一步用于其他问题；但在冗长的机器生成证明中，人们未必看得到这种清晰、优雅的技巧。
当然，知道某个问题可解本身就有价值。很多领域中，知道某件事可能实现，人就会更努力，也会意识到自己能做到，只是可能需要另一种方式，或找到更优雅的解法。所以，同时有这么多问题被解决，确实让人感受复杂，但这已成现实。接下来，人们需要思考如何利用这种能力，开展更多、更深入的数学研究。
07
Transformer、蒸馏与MoE，
以及两个出乎预料的变化
李飞飞：接下来聊聊你的职业生涯。我们有太多内容可谈，过去近十年，哪些技术时刻对你个人最重要？以及我还想追问：哪些事你预测对了，哪些预测错了？
Jeff：首先是Transformer。它是一种效率高得多的模型架构。核心洞见在于保存此前经历过的所有状态，并通过注意力机制处理这些信息，而不是像过去那样用一个较小的状态向量不断更新并丢弃历史信息。这非常出色，也带来大量后续进展。借助Transformer，模型能以远少于早期LSTM类模型的计算量学到更多信息。
其次是蒸馏。这是Oriol、我和Geoff Hinton合作的工作。这篇论文2016年曾被NeurIPS拒稿，理由是“不太可能产生什么影响”，但后来成绩还不错。我认为蒸馏是让强大模型实现高效推理的关键技术之一：先训练一个规模庞大、结构复杂且成本高昂的模型，再让它当教师，指导更轻量的学生模型。这种说法在大学里尤其合适。
另外MoE架构也被证明是成功的。不过有一点与我当年预期不同，我原本认为MoE会开启一批更“奇异”的模型架构。MoE的结构是：模型分支到一组专家，再汇聚回来，然后再次分支、再次汇聚，同时学习每个专家擅长什么。这种方式非常有用，能赋予模型巨大容量，同时让每个token或任务只激活其中很小一部分参数。但它仍然非常规整：大多数MoE模型中，所有专家规模相同，而且很快重新汇聚。我原本以为会看到更狂野、奇异、具有有机性的神经网络架构繁荣，比如网络中存在多条神经活动“柱”，只在一些不常见但规模较大的交叉连接处汇合，从而连接相距很远的部分。但这种情况至今还没发生。
李飞飞：我们在神经架构搜索中也考虑过这种架构，但最终没有实现。
Jeff：是的。神经架构搜索生成的模型确实比人工设计的更有机。人工设计的模型通常是一层层堆叠，偶尔每隔几层加一个跳跃连接；而架构搜索生成的模型可能出现各种奇特连接，比如把这一层连到上面第17层，再加入其他复杂结构。
李飞飞：所以，这是你认为自己预测错的一件事？
Jeff：我预测错的事情很多，这只是比较突出的一件，我原本认为MoE的演进会更多朝这个方向发展。
另外代码能力的重要性也超出我的预期。我没有预见到，编码能力会成为真正释放这些模型潜力、让它们解决各种问题的关键“解锁器”。
李飞飞：这一点我完全同意。我们其实都隐约意识到它的重要性，但没预测到它会产生如此深远的影响。
Jeff：是的。在Gemini项目中，代码能力也是我们关注的重点之一，但当时还不是最受关注的方向。
08
如何放大AI的积极收益，
降低负面影响？
李飞飞：接下来必须深入聊一个问题。你是否预见到了AI对社会的各种影响？你对此有什么感受？这些影响包括就业、心理焦虑，以及当前围绕人类灭绝、对齐等问题的近乎极端的讨论。首先，哪件事最让你担忧？
Jeff：AI是一项极其强大且通用的技术，正在影响社会几乎所有方面，包括数学、编码、图像生成、自动驾驶等。这与以往的技术革命不同：过去的技术革命影响范围相对较窄，可能只有五到十个领域受到深刻影响；这一次世界上大量领域都在同时受到影响。因此，这项技术既带来兴奋，也引发忧虑和恐惧。
我也是《Shaping AI's Impact on Billions of People》这篇论文的合著者之一，也是我唯一一篇拥有独立网站的论文，因为我们有一位非常出色的合作者专门建立了shapingai.com。论文考察了七个不同领域，包括就业与经济、AI for Science、虚假信息、媒体等。我们邀请了大量领域专家，了解AI已经如何影响这些领域，以及未来可能带来哪些变化。这是一次非常有价值的经历。
我最担心的问题，其实可以归结为一点：如何尽可能获得AI在所有这些领域带来的积极收益，同时把它可能造成的各种负面影响降到最低。
我认为，这不只是一个技术问题，还涉及监管、政策制定者以及每一位公民。我们需要共同弄清楚如何驾驭这项新技术，确保它能够很好地服务所有人，同时避免以我们担忧的方式伤害人类。例如，当人们的工作受到AI影响时，我们需要为他们提供良好的适应途径，让他们能够跟上世界的新需求，获得收入并过上体面的生活。这是一个涉及多方面的问题，需要世界上很多人共同应对。
09
在AI时代，人类的热情
依然具有超越时间的价值
李飞飞：最后一个问题。现在我们坐在大学校园里，坦白来讲这一代大学生普遍感到焦虑。即使是斯坦福的学生，也在为就业和经济前景担忧。
作为一名职业生涯非常成功的AI先驱，也作为一个比公众更早看到未来的人，你有什么话想送给现场这些既焦虑又怀抱希望的学生？
Jeff：我完全理解这种焦虑，因为世界正在快速变化。而当你规划自己的未来时，要为一个快速变化的世界做准备，本身就是一件非常困难的事情。
我的普遍建议是：理解正在出现或即将出现的新技术，并确保自己懂得如何将最有热情的事情与这些技术结合起来。
你可能想成为一名医生，可能想从事文学写作，也可能希望更高效地编写软件。这些事情都可以借助AI得到辅助和赋能。
但人类的核心作用依然存在：由人来决定我们希望共同做什么。
因此，你应该弄清楚自己真正想做的事情，然后尽力做到最好。这也意味着，要善于利用如今触手可及的各种工具。
李飞飞：所以在AI时代，人类的热情依然具有超越时间的价值。谢谢Jeff。
Jeff：谢谢。
关注+星标，获取AI前沿进展与开源一线动态
热门跟贴