今年8月，在即将开启斯坦福大学任教生涯的第一天，谷歌前首席科学家Jeff Dean接受了AI、安全与可信计算领域顶尖学者、麦克阿瑟天才奖得主、美国艺术与科学院院士Dawn Song的炉边对谈邀请。彼时Dawn Song本人也刚刚完成从伯克利大学到Meta的职业转身，两人的对话由此展开，本次在亚裔美国先锋奖章研讨会的对谈涵盖专家混合架构（MoE）的诞生初衷、TensorFlow的设计理念与遗憾、Gemini的多模态战略选择、几十年工程生涯中沉淀下来的判断方法论、AI Agent引发的网络安全新型风险，以及递归自我提升与Jeff Dean新创立的公益公司Discovery Loop的愿景。
Jeff Dean谈及MoE架构诞生初衷时表示：设计MoE的核心直觉并非单纯追求规模，而是希望模型既有极大容量去记忆海量信息，又能像人类大脑一样，只激活与当前任务真正相关的那一小部分区域，从而在容量与效率之间找到平衡，而这一设计在提出之初就展现出训练计算与模型质量比例约10倍的提升，这也是团队判断其会成为重要范式的关键信号。
在谈及新创立的公益公司Discovery Loop时，Jeff Dean表示，让一个模型同时具备二十个不同科学与工程领域的博士级专业知识，这是任何单个人类都无法做到的，从而使其能够自动拆解复杂问题、编排多AI Agent系统协同求解，并将实验迭代周期从过去的一天或一周压缩至一分钟或一小时，最终实现机器学习乃至更广泛科学与工程领域的自动化实验闭环。他也坦言，作为一家公益性企业，团队甚至可能做出不符合公司财务利益、但更有利于向世界广泛传播科学发现成果的决策。
对话中双方也达成了许多共识，AI技术的迅猛发展一方面会为医疗、教育等领域带来巨大红利，赋能人们解决单凭一己之力无法解决的问题；另一方面网络安全、地缘政治与就业替代等风险也在同步放大，社会需要同时依靠技术手段与非技术手段来应对，才能在享受AI能力红利的同时有效缓解潜在风险。
本场对谈结束在现场提问环节有观众表示，按第一性原理推演，数据是巨大的护城河、分布式系统需要极端资本支出，这些结构性因素理应让大公司在AI竞争中稳操胜券，但现实中大量顶尖AI人才和前沿研究却持续向初创公司倾斜。
对此Jeff Dean给出的解释是，云计算的崛起和各大云平台上部署的海量机器学习算力，让少数人筹集一笔资金就能直接调用这些资源而无需从零搭建基础设施，这使得心怀愿景的小团队能够甩开大型组织中不可避免的种种干扰，以更敏捷专注的方式与巨头竞争。这也正是他本人选择离开工作27年的谷歌、与三位老搭档Sanjay Ghemawat、Oriol Vinyals、Quoc Le共同创立Discovery Loop的原因。
01
MOE架构的诞生直觉：像大脑一样，只激活真正需要的部分
在ICLR 2017期间，Jeff Dean曾向Dawn Song介绍过一篇论文，题为《极其庞大的神经网络：稀疏门控的专家混合层》，这正是如今几乎所有前沿AI模型都在采用的MoE架构的起点。当时是否预见到这项工作会变得如此具有影响力？
Jeff Dean：我觉得MoE工作的直觉主要在于，你希望拥有容量极大的模型来记忆海量信息，但同时又希望通过只调用模型中最有用的部分来保持计算的高效。你可以采用模块化的架构，在其中设置许多不同类型的专家，并学习让哪些专家去处理擅长的任务。当你处理特定的请求或特定的Token时，你可以只激活模型中对该Token有意义的部分。就像人类真实的大脑一样，大脑的不同区域擅长不同的事情。比如有一个区域负责思考莎士比亚十四行诗，而另一个区域则在你开车时遇到垃圾车倒车时被激活，这两个区域不会同时处于活跃状态。因此这种既能拥有超大容量，又能精准找到合适的模型块去激活以节省算力的设计非常合理。我们当时对此非常兴奋。而且我们预感到这将是一项重大突破，因为与当时人们主要使用的稠密模型相比，我们可以看到训练计算与模型质量的比例实现了约10倍的提升。当你看到一个能带来10倍提升的想法时，你就会意识到这相当关键，它很可能会成为一个重要的理念。
02
深度学习范式统一了此前分立的技术领域
回顾AI发展的整个轨迹，最让Jeff Dean惊讶的是什么，目前这个领域还有什么是被低估或忽略的？
Jeff Dean：显然人们对AI的兴趣正在日益增长。我们在谷歌大概是从2011年或2012年左右开始真正致力于扩大深度学习模型的规模。那时我们开始看到，训练比以往大50倍的神经网络会带来惊人的效果，比如在图像分类错误率上实现了惊人的下降。而在语音识别方面的提升，仅仅通过扩大一个相对简单的深度声学语音模型的规模，其降低错误率的效果就等同于过去20年语音研究的总和。我们很早就察觉到了这种趋势，并知道它将对计算机视觉、语言处理或语音识别等各种极具挑战性的计算机科学领域产生重要影响。
我认为深度学习范式的一个伟大之处在于，它真正统一了这些以前各自分立且依赖特定技术的领域。通过对极其原始的数据形式进行学习，我们实现了这种范式的转变。突然之间你能够以通用的学习视角，用全新的方式去审视问题，这非常有帮助。在过去的15年里，世界各地越来越多学科的人们真正意识到，这是一种极具建模能力的强大方法，能够进行预测，并在医学、科学、消费产品以及聊天机器人等各个领域中进行重要的分类。目前在计算硬件等方面的投资规模相当庞大。我认为这表明人们对这项技术充满信心，相信它有能力比现在更深刻地改变世界。这既有趣又令人兴奋，大概就是对正在发生的事情的总结。
03
TensorFlow的设计初衷与两点公开反思
TensorFlow真正帮助全世界数以百万计的研究人员和开发者接触到了现代深度学习。在设计TensorFlow时最重要的原则是什么？如果现在重新设计会做出哪些不同的选择？从TensorFlow中吸取的经验可以如何指导下一代AI Agent系统的框架开发？
Jeff Dean：在这之前我们在谷歌内部构建了一个未开源的系统名为DistBelief。它提供了一种表达各种神经网络计算的方法，并能将这些计算映射到诸如CPU、GPU等不同的硬件平台上，同时以一种对用户无缝透明的方式分配计算任务。因此你可以说，我想用100台电脑和1600个核心来训练这个模型，或者我想使用500个GPU。底层的框架会自动处理好这一切。我们希望为机器学习开发者带来这种抽象能力，让他们不必拘泥于计算如何精确映射到硬件上，因为这是一种非常优雅的抽象。你只需要构思出绝妙的机器学习模型，不用管底层的实现细节，只要它跑得快就行。这是我们希望在TensorFlow中实现的目标之一。
此外我们希望对提供的计算抽象进行泛化，使其成为各种面向机器学习操作的计算图组合，比如矩阵乘法和向量操作等。我认为我们在这一步走对了，并且我们希望将其开源，让全世界有机器学习需求的人都能利用这个通用框架来表达他们的想法。当一篇研究论文附带了其中思想的具体代码实现时，远比所有人试图根据往往遗漏大量细节的粗略文字描述去重新实现论文要好得多。这就是TensorFlow背后的理念。同时我们也看到了AI的大量应用场景，我们认为拥有这样一个框架对大家都会非常有帮助。
说到我们做错的地方，首先我们没有提供类似PyTorch和JAX等框架中一直很受欢迎的动态图机制，虽然后来它也被添加到了TensorFlow中。如果在初期就具备，这能进一步改进抽象层。另一个失误是在开源发布时，我们创建了一个名为contrib的子目录。我们允许大量外部人员贡献各种不同的辅助库和实现方式。我认为这给社区带来了很大的困扰。我们本应该保持核心的TensorFlow发布版本不包含那个目录。因为最终导致的结果是，完成同一件事有10种不同的方法，这取决于你使用了contrib目录下的哪个子目录或子库。如果能让它们作为构建在核心TensorFlow之上的独立库会更好。这在TensorFlow用户社区中引起了一些混乱，大家不知道到底该用哪一个组件。从过去的事情中吸取教训总是好的。如果我们今天重新设计就不会再这么做了。但我认为它确实帮助了世界各地的许多人入门机器学习，并开始将机器学习应用于他们关心的重要问题上，这是件好事。
如果你想在大规模上进行任何操作，就必须在底层构建一个分布式系统。如果你能避免亲自去做这件事并拥有一个通用的抽象层，那总归是一件好事。
04
Gemini的成功策略：从一开始就押注多模态
回顾Gemini的开发过程，最让Jeff Dean惊讶的是什么，从构建Gemini中学到了哪些经验？
Jeff Dean：Gemini实际上是原DeepMind、谷歌大脑以及谷歌研究院其他部门早期几个研究项目的集大成者。当时我们意识到大家的研发方向正在趋同，比如都在尝试扩大模型训练的规模。我们都有各自平行的独立团队在研究如何让语言模型具备多模态能力从而理解图像等信息。于是我写了一份一页纸的备忘录，指出这太资源浪费了，我们应该合作整合我们的顶尖人才、想法和计算资源，从零开始训练一个具备多模态能力的统一模型，把谷歌内部多个研究部门最优秀的人才汇聚在一起。我认为这是一个非常好的决定。
我的同事Oriol Vinyals和我共同创立了这个项目，并担任联合技术负责人。在此之前我和Oriol在谷歌大脑有过合作，后来他因为个人原因搬到了伦敦并加入了DeepMind，但我们一直保持着联系，这让我们看到了重新促成紧密合作的机会，而且这也确实取得了极大的成功。我认为从一开始就注重让模型具备多模态能力的决定是非常正确的。你希望用于处理所有任务的模型能够理解文本、语言、代码、图像、视频和音频以及其他模态。比如我们在训练数据中加入了一些激光雷达数据，这样它至少能认识到激光雷达数据是什么，因为这对于Gemini模型的进一步训练是一个很重要的用例。这一点至关重要，也是我们在最初为所有Gemini模型制定的成功策略。
我们希望让模型精通许多领域，但在使模型具备顶尖编程能力方面，我们初期的关注度可能稍有滞后。我们意识到了这个问题并努力追赶，现在我们正在推进很好的相关工作。通过专注于提升代码能力，最终打造出的系统不仅编程能力强，还能出色地进行逻辑推理，并能处理需要将复杂问题分解成多个子模块的其他任务。提升编程能力往往也能带动非编程能力的提升。
我们还致力于研究生成模型。让模型不仅具备将图像作为输入的能力，还能将其作为输出生成图像，此外还包括生成视频、生成音频等各种输入和输出形式。
05
判断技术价值的方法论：泛读十篇论文胜过精读一篇
在整个职业生涯中，你如何区分哪些技术是真正的基础性技术，而哪些只是一时的潮流？有哪些工程原则是历久弥新的？随着AI从单一模型向越来越自主的AI Agent系统转变，未来几年甚至几十年我们将需要哪些新的方向和新的抽象层？
Jeff Dean：运气可能是一部分原因，但我一直在努力做的一件事是持续关注社区正在探索的不同趋势或研究课题。我经常告诉学生泛读十篇论文比精读一篇更好，因为这能让你在探索潜在可能性时掌握十个维度的参考点。甚至可以泛读一百篇摘要，因为你需要做的是将那些尚未产生交集的重要想法联系起来。有时当你思考一个难题时，如果脑海中已经有一些初步具备可行性的思路，这能帮你构建出一个完整的解决方案。这样一来它就不再是七个无法解决的难题，你可以审视它并发现其中五点目前有一些相关的初步研究看起来很重要且可能有助于解决部分问题。剩下两点虽然毫无头绪，但如果努力钻研大概率也能解决。这种需要在大概五年这样的合理长期限内去攻克的问题就是最理想的研究目标。
我认为五个尚未完全解决但初见端倪的领域加上两个需要绞尽脑汁去构想新技术的新领域，对我来说是一个非常值得挑战的风险水平。你不会想选择那种需要耗费二十年且毫无头绪几乎不可能完成的难题，同时你也不应选择那些只需两年且路径极其明确的问题，因为这无益于推动该领域实现突破性进展。这更像是实用的工程任务。有时对现有技术进行增量改进确实非常重要，但你更应该寻找那些可能在当下或不久的将来能够带来颠覆性方法的创新事物。
另外我常用的一个工程工具包就是进行粗略估算，比如思考如果我想实现这个目标，处理这么多数据需要多长时间，如果需要通过这种网络传输所有数据会怎样，这具备可行性吗，还是说需要耗费一百年。十秒钟和一百年显然有天壤之别。能够在大脑中推演潜在的解决方案或问题并基于第一性原理的工程经验法则来理解解决方案的轮廓，这是一项非常有用的技能，也是你可以在脑海中自行练习的能力。比如你可以想我会怎么解决这个问题，我会用到这类东西，如果这样做就会是这种方法，如果那样做就是另一种方法，而第一种方法显然比第二种更好，因为经验法则告诉我这会带来十倍的性能提升。我认为这是一项优秀的通用工程技能，主要源于反复练习以及观察他人解决此类问题的方法。所以我并没有什么神奇的答案，我也做过很多以失败告终的事情，这也是一个很好的建议，多去尝试那些可能行不通的事情，其中总有一些会成功的。
06
AI Agent自主攻陷Hugging Face基础设施的四天半
正如你所知，你的团队在网络安全领域的前沿AI方面做了大量工作，开发了CyberSecEval和ExploitGen等评估基准，目前已被前沿实验室采用并应用于系统卡中，能否谈谈这些工具展示出的前沿AI网络安全能力，以及近期业界围绕AI治理、开放生态、放缓前沿发展等公开信背后反映出的关切，你对这一领域有何看法？
Jeff Dean：这些工具展示了前沿AI在网络安全能力上的迅猛提升。在座的许多人可能都听说过OpenAI和Hugging Face等机构最近发生的事件。在那个案例中OpenAI的AI Agent试图解决我们基准测试ExploitGen中的任务，该AI Agent判断Hugging Face上可能存在有助于其完成任务的数据，因此该AI Agent自主决定利用多个漏洞发起了一条极其复杂的攻击链，整个过程持续了四天半。通过突破和利用漏洞，该AI Agent成功跳出隔离环境并通过某些第三方平台建立了跳板，最终成功攻陷了Hugging Face的基础设施。
幸运的是在这个案例中AI Agent仅仅试图获取与CyberSecEval ExploitGen相关的数据并未造成其他危害。然而在其他事件或未来的应用中AI Agent的此类行为显然可能会引发大得多的危害和风险。
当人们构建这些模型时它们可以被用于多种不同的场景。就像许多其他类型的技术一样，我认为这些模型绝大多数的用途对世界都有着极其积极的意义。比如推动AI在医疗和教育领域的发展，赋能人们解决单凭一己之力无法解决的问题从而让大家能够成就更多，我认为这令人无比振奋。诚然它们也可以被用来寻找安全漏洞，这是一把双刃剑。你可以利用它们来修补世界上大量存在的安全漏洞，但如果你是一个恶意用户也可以利用它们发起攻击。
这些模型现在不仅能完成人类高级网络安全攻击者所能做的事情甚至可能超越他们，但我也认为它们能够发现人类高级网络防御工程师可能无法察觉的漏洞。所以在致力于防御计算机系统的人与试图攻击系统的人之间始终存在着一种动态平衡，只是现在攻防双方都拥有了更复杂的工具。我不是网络安全专家但这绝对值得引起警惕。很多时候防止模型产生你不期望的行为可能需要依赖非技术手段来解决，比如通过严厉的法律手段明确入侵计算机系统是违法行为，这在目前已经属于违法范畴了。你可以思考一下该领域需要什么样的合理监管。作为一个社会整体我们终将有能力克服模型带来的负面影响并大力推广我们所期望的模型应用。
几年前我其实和John Hennessy以及Dave Patterson等几位杰出的同事共同撰写过一篇论文。我们探讨了AI可能产生深远影响的七个不同领域，其中许多领域例如医疗和教育都呈现出积极的前景，另外一些领域则涉及地缘政治风险和计算机安全风险，这些显然并非纯粹的积极因素。此外还有诸如工作岗位替代等复杂的经济问题，斯坦福大学的许多学者也正在研究和关注这些课题。我觉得那篇论文非常有探讨价值。
07
递归自我提升与新公司
递归自我提升，即AI能够不断自我进化学习并提升自身能力，特别是在这种机制下AI的发展速度可能会进一步呈指数级增长，这也是放缓前沿发展公开信背后的核心原因之一。你对递归自我提升有什么见解，你认为实现这一目标还需要多久，这与你刚刚创立的初创公司有何关系？
Jeff Dean：利用机器学习来改进机器学习本身并不是一个新概念。我的同事同时也是我现在的联合创始人Quoc Le及其他几位研究人员通过神经网络架构搜索开启了该领域的早期探索。这是一种通过模型生成模型来自动设计机器学习模型架构的方法，随后会在多个指标上评估这些架构的表现，比如学习速度和训练的算力成本等。接着通过基于强化学习的迭代过程，这个模型生成模型可以获得反馈了解模型架构中哪些决策是合理且高效的哪些又是糟糕的。随着时间推移它会学会生成质量越来越高的模型架构，这些架构学习速度更快最终性能也更优越。我记得这是最早期的论文之一，当时的算力成本按照目录标价甚至要几百万美元。
在公司内部的实际成本远低于此。当时的方法是使用非常微小的模型来评估架构的有效性，当它发现某些架构似乎很有效时，偶尔会进行放大规模的实验以此来验证这些架构在更大尺度下是否依然成立。Quoc等人后来在进化版Transformer上做了一些研究，他们提取了Transformer架构的基础组件并运用进化算法寻找不同的组装和变异方式，最终得出的Transformer比原版Transformer效率提高了百分之三十左右。
这些思路非常关键。递归自我提升的核心在于如何让构建模型所需的所有要素都能够通过自动化的方式不断优化。通常我们需要组建团队来评估哪种数据对提升模型质量最有效，或者需要什么样的评估标准以及前面提到的模型架构设计。但实际上你可以为所有这些环节构建高效的自动化循环机制，每个机制都在致力于优化特定的方面，最终将这些解决方案整合在一起进而全面提升模型的整体质量与数据组合等各个维度。
仔细观察科学和工程领域的许多现代问题会发现它们都呈现出这样的形态，面临一个庞大的问题你需要将其拆解为若干个子问题。针对每一个子问题你需要探索出可能的解决路径，接下来实施并测试该路径然后评估其效果，随后进入迭代阶段将效果反馈输入到流程中以指导下一步实验。这就是最基础的科学方法也是工程设计的核心逻辑，通过不断迭代设计并对比各种属性来寻求最优解。
我们新成立的公益性企业Discovery Loop背后的理念和宏大视野，正是希望实现机器学习科学与工程的自动化从而加速众多不同领域的科学发现进程。显然我们将从少数几个狭窄的领域起步，因为在初期保持专注非常重要。但我们相信存在大量跨领域通用的可复用基础设施组件和核心技术。通过构建能够深入理解众多不同科学和工程领域的模型，我们可以让一个模型同时具备跨多个领域的博士级专业知识。没有哪个人能同时拥有二十个不同领域的博士学位，但赋予模型这种能力后它将能够精准识别关键子问题，并编排多AI Agent系统来协同解决这些子问题。随后它会将各个子问题的成果重新整合成解决宏观问题的综合方案并持续在这样的闭环中迭代演进。
如果能够高效运行这些迭代闭环，通过开发合适的工具快速执行和评估实验，让每一次迭代的时间从过去的一天或一周缩短至一分钟或一小时，同时能够在并行运行成千上万次实验的过程中获取反馈并利用这些反馈来决定下一批实验的方向，这将直接推动我们设计出质量更高的实验。因此同步提升实验的运行速度和质量必将孕育出令人无比惊叹的成果。还可以构建基础设施来统筹管理下一批所有待运行的实验并对它们进行综合评估，比如预测该实验可能的期望价值是多少以及在算力或其他资源方面需要付出怎样的成本。
这是一个极其令人兴奋的发展方向，这也正是我们要着手推进的事业。我和我的三位联合创始人Sanjay Ghemawat、Oriol Vinyals和Quoc Le已经共事了十四到三十年不等，这让整个过程充满乐趣。我们以两两组合的形式在众多不同的项目上进行过合作，包括MapReduce、Bigtable、Spanner和TensorFlow以及诸如模型蒸馏和混合专家架构等核心技术。作为四人团队再次携手共同创立一家致力于推动科学发现的伟大公司绝对会是一段极其有趣的旅程。作为一家公益性企业我们希望将这些科学发现带给世界上尽可能多的人。我们的目标是广泛传播这些成果，为此我们甚至可能会做出不符合公司财务利益但从更广泛的社会利益出发有助于推广这些发现的决策。
08
现场问答
您的离职消息公布后，谷歌市值一度蒸发两千亿美元，这在全球范围内都是一件轰动的大事。想请问您，您认为在初创公司里能够实现哪些在谷歌无法实现的成就？另外，凭借谷歌强大的算力和顶尖人才储备，您认为谷歌需要做些什么才能在模型能力上进一步提升竞争力？也想请教Dawn，为什么在众多邀约中最终选择了Meta？
Jeff Dean：我不会将股市的波动归结为任何单一事件，因为股市的规律总是很难预测。首先我对在谷歌度过的时光怀有极其深厚的感情。我在那里工作了二十七年，结识了无数优秀的同事。谷歌目前发展势头良好，他们对如何打造卓越的模型有着清晰的规划，未来一定会非常出色。我也很兴奋能开启这段新旅程，这绝对会非常有趣。一家高度专注的小型公司，所有人都朝着同一个明确的使命努力，往往能创造出惊人的成就。
Dawn Song：过去确实有许多顶尖的AI公司和前沿实验室联系过我，包括当时谷歌也有接触，但在当时我还没完全准备好加入大型科技公司。我一直致力于自己的创业项目，过去我已经做了四家初创公司，最近的一家被Meta收购了。在当时决定是否要加入Meta时也是一个非常艰难的选择。我们的初创公司运营状况良好，拥有众多世界五百强级别的优质客户。但我认为Meta拥有一个绝佳的平台。毫不夸张地说，Meta和谷歌无疑是全球最大的分发平台。Meta平台上拥有数十亿用户和数亿企业，结合我们一直潜心研发的旨在提供顶尖AI和安全能力的领先技术，我相信在这样一个庞大平台的加持下能产生巨大的影响力。我对这个决定感到非常满意，目前也才刚加入几周，非常期待能贡献自己的力量。
从第一性原理分析AI行业就会发现，数据是一条巨大的护城河，因此大公司必然会胜出；构建分布式系统需要庞大的资源和极端的资本支出，这同样预示着大公司将取得胜利。而您、您的联合创始人以及像Noam Shazeer这样的个人，都是顶尖工程师能在大公司中产生巨大影响力的最佳证明。所以我想问一个并非专门针对谷歌的问题：为什么大量顶尖的AI人才保留和所有的前沿研究，尽管存在支持它们发生在大公司的结构性原因，却似乎仍然在向初创公司倾斜？当传统观念认为大公司绝对会主导这个行业时，为什么似乎反而是小公司在竞争中占据了上风？
Jeff Dean：随着云计算的崛起以及各大云平台上部署的海量面向机器学习的算力资源，使得少数人筹集一笔资金后就能直接使用这些平台而无需亲自从零搭建。这赋予了那些拥有梦想、愿景或者发现了极其有趣且值得探索方向的人一种能力，让他们能在比必须部署所有基础设施的大公司更小巧敏捷的环境中去实现抱负。我们可以依赖像谷歌或其他云服务提供商这样卓越的公司来承担构建庞大基础设施的繁重任务，从而支撑起人们心中对一家公司理想状态的构想。
作为一家小公司，我们对能够高度专注地投身于科学和工程自动化领域感到无比兴奋，因为我们确信这个领域已经孕育成熟。我们也许能在谷歌内部完成这件事，但如果十个人待在帕洛阿托某个我们期望的办公室里心无旁骛地专注于这一个使命，就能斩断大型组织中不可避免的种种轻微干扰。大型组织在很多方面都非常出色，多年来在谷歌我收获了极其珍贵的友谊，也受惠于大平台所能提供的一切资源。失去这种强大后盾去独立创业确实有些让人忐忑，但同时也令人感到无比兴奋。
| 文章来源：数字开物
• END •
【专栏】精品再读
热门跟贴