太炸裂了！太猛了！Lex Fridman与 @elonmusk 和 @neuralink 团队进行一场长达 8.5 小时的对话。这是一次引人入胜、技术性超强、内容广泛的对话，这里我们只截取马斯克谈最近用10万块英伟达H100构建超级人工智能计算机的一些内容
英文原稿在这里：https://lexfridman.com/elon-musk-and-neuralink-team-transcript#chapter9_elon_s_approach_to_problem_solving
转化为pdf200多页
xAI
Lex Fridman
Elon Musk
是的，是的
Lex Fridman你在计算能力上投入很大
Elon Musk
是的。
Lex Fridman
你还说过，“要么全力以赴，要么就别玩。”
Elon Musk
是的。
Lex Fridman
那么要赢需要什么？
Elon Musk
对于AI来说，这意味着你必须拥有最强大的训练计算能力，并且训练计算能力的提升速度必须超过其他人，否则你就赢不了。你的AI会更差。
Lex Fridman
那么Grok，假设3…… 可能在明年上线？
Elon Musk
嗯，希望在今年年底。
Lex Fridman
Grok 3。
Elon Musk
如果我们运气好的话，是的。
Lex Fridman
它怎么能成为世界上最好的大语言模型，最好的AI系统？计算能力占多少比重？数据占多少比重？后训练呢？以及产品包装的作用等等？
Elon Musk
这些都很重要。这就像在说，假设这是一级方程式赛车，车和司机哪个更重要？两者都重要。如果车不快，比如说它的马力只有竞争对手的一半，那么最好的司机也会输。如果它的马力是两倍，那么即使是平庸的司机也可能赢。所以，训练计算能力就像引擎的马力。你真的要在这方面做到最好。然后是如何高效地使用这些训练计算能力，以及如何高效地进行推理，使用AI。所以，这显然涉及到人类的天赋。然后，你对数据的独特访问权限也起到了作用。
Lex Fridman
你认为推特的数据会有用吗？
Elon Musk
是的。我认为大多数领先的AI公司已经抓取了所有推特数据。不，我不认为，他们确实抓取了。所以，从现在起，有用的是它是实时的，因为这很难实时抓取。因此，Grok已经有了实时优势。我认为有了特斯拉和来自数百万辆车的实时视频，最终是数千万辆车，再加上Optimus，可能会有数亿个Optimus（擎天柱机器人），也许是数十亿，从现实世界中学到了大量东西。我认为最终最大的数据显示来源是Optimus。Optimus将会是最大的数据显示来源。
Lex Fridman
因为它能够——
Elon Musk
因为现实的规模。实际上，看人类实际积累的数据量是多么少。如果你说人类生成了多少万亿个可用的token，在不重复的前提下……剔除垃圾邮件和重复的东西，其实数量并不大。你很快就会用完。
Lex Fridman
而Optimus可以……所以特斯拉的车不得不待在路上。
Elon Musk
对。
Lex Fridman
Optimus机器人可以去任何地方。而且在路外还有更多的现实。并且可以越野。
Elon Musk
是的。Optimus机器人可以拿起杯子，看看它是否以正确的方式拿起了杯子？比如说，倒水进杯子？水是否进了杯子还是没进杯子？是否溢出水？诸如此类简单的事情。但它可以以亿倍的规模做到这些，因此可以从现实中生成有用的数据，即因果关系的东西。
Lex Fridman
你认为要实现这种类人机器人的大规模生产需要什么？
Elon Musk
和汽车一样。全球车辆的产能大约是一亿辆一年，可能更高。只是需求大约是一亿辆一年。而且，大约有20亿辆车在使用，这也合理，因为车辆的使用寿命大约是20年。所以，在稳定状态下，你可以每年生产一亿辆车，有一个大约20亿辆车的车队。现在，对于类人机器人来说，实用性要大得多。所以，我猜类人机器人的需求量大概是每年十亿台以上。
Lex Fridman
但是直到你出现并开始制造Optimus，人们认为这是一个极其困难的问题。
Elon Musk
嗯，我认为确实如此。
Lex Fridman
我是说，这仍然是一个极其困难的问题。
Elon Musk
是的。就像在公园里散步一样。实际上，Optimus现在还很难在公园里散步。我的意思是，它可以在公园里散步。公园不太困难，但它将能够在各种地形上行走。
Lex Fridman
是的。而且可以捡起物体。
Elon Musk
是的，是的。它已经可以做到这一点。
Lex Fridman
但可以是各种物体。
Elon Musk
是的，是的。
Lex Fridman
所有的异物。倒水进杯子不是一件简单的事情，因为如果你对容器一无所知，它可能是各种容器。
Elon Musk
是的，会有大量的工程投入到手上。从机电的角度来看，手大概占到Optimus工程量的一半左右。
Lex Fridman
但是人类智能的大部分都体现在我们用手做的事情上。
Elon Musk
是的。
Lex Fridman
是对世界的操作，对世界上物体的操作。对物体的智能、安全操作。
Elon Musk
是的。我的意思是，你开始真正思考你的手是如何工作的。
Lex Fridman
我一直在想。
Elon Musk
感觉控制的小人是你有巨大的手。所以，我的意思是，你的手，手部肌肉几乎全部在前臂中。所以，你的前臂有实际控制你手的肌肉。手本身有一些小肌肉，但你的手实际上就像是一个骨骼肉木偶，有线缆。所以，控制你手指的肌肉在你的前臂中，它们穿过腕管，这是一个小骨头的集合和一个狭窄的隧道，这些线缆，腱，穿过这些腱主要是移动你的手。
Lex Fridman
类似那些腱的东西必须被重新设计到Optimus中才能完成所有这些事情。
Elon Musk
是的。所以目前的Optimus，我们尝试把驱动器放在手本身。然后你会发现有这些——
Lex Fridman
巨大的手？
Elon Musk
……是的，巨大的手，看起来很奇怪。而且，它们实际上没有足够的自由度或力量。所以你意识到，“哦，好吧，这就是为什么你必须把驱动器放在前臂中。”就像人类一样，你必须通过一个狭窄的隧道运行线缆来操作手指。而且，不是所有的手指长度相同也是有原因的。从能量或进化的角度来看，所有手指长度相同并不会很贵。那么，为什么不一样长？
Lex Fridman
是的，为什么不？
Elon Musk
因为实际上不同长度会更好。如果你的手指长度不同，你的灵活性会更好。你可以做更多的事情，你的灵活性会更好。如果你的手指长度不同。我们有小指是有原因的。为什么不把小指做得更大？
Lex Fridman
是的。
Elon Musk
因为它有助于精细的运动技能。
Lex Fridman
这个小指有帮助？
Elon Musk
是的。如果你失去了小指，你的灵活性会明显下降。
Lex Fridman
所以，当你解决这个问题时，你还必须找到一种方法，使其可以大规模制造，尽可能简单。
Elon Musk
实际上会很复杂。尽可能简单，这是一条很高的标准。如果你想拥有一个可以做人的工作的类人机器人，这实际上是一个非常高的标准。所以，我们的新手臂有22个自由度，而不是11个，并且如前所述，驱动器在前臂中。所有驱动器都是从物理原理开始设计的。传感器也是从头开始设计的。我们将继续投入大量的工程精力来改进手。我所说的手是指整个前臂，从肘部到前臂，实际上就是手。这实际上是非常困难的工程。所以，一个可以做人的大多数工作的类人机器人的最简单版本实际上仍然非常复杂。它并不简单。这非常困难。
Elon Musk解决问题的方法
Lex Fridman
你能谈谈一个优秀的工程团队需要什么吗？在孟菲斯，我看到超级计算机集群，有一种强烈的驱动力去简化过程，理解过程，不断改进，不断迭代。
Elon Musk
嗯，说“简化”很容易，但做起来非常困难。我有一个非常基本的第一性原理算法，我像口头禅一样运行它，首先质疑需求，让需求变得不那么愚蠢。需求总是有一定程度上的愚蠢。所以，你要从减少需求的数量开始，不管提供这些需求的人多聪明，它们仍然是有点愚蠢的。你必须从这里开始，否则你可能会得到错误问题的完美答案。因此，尽量使问题尽可能少出错。这就是质疑需求的意思。然后，第二件事是尝试删除步骤，部分或过程步骤。这听起来很显而易见，但人们往往忘记尝试完全删除它。如果你删除了至少10％的内容却不被迫恢复，你删除得还不够。不合逻辑的是，人们通常觉得如果他们没有被迫恢复东西，他们就成功了。但实际上，他们没有，因为他们过于保守，留下了不必要的东西。只有第三件事是尝试优化或简化它。同样，当我说这些话时，它们听起来都很显而易见，但我犯这些错误的次数比我记得的还要多。这就是为什么我有这个口头禅。所以实际上，我认为聪明工程师最常见的错误是优化不应该存在的东西。
Lex Fridman
对。所以，就像你说的，你运行这个算法，基本上面对一个问题，面对超级计算机集群，看看过程，然后问，“这可以删除吗？”
Elon Musk
是的。首先尝试删除它。是的。
Lex Fridman
是的。这并不容易。
Elon Musk
不。实际上，使人们感到不安的是，至少有一些你删除的东西你会重新放回去。但回到我们的边缘系统可能会引导我们出错的地方，我们往往会记住，有时是以震惊的痛苦程度记住，我们删除了后来需要的东西。所以，人们会记住三年前他们忘记放入的某个东西，这给他们带来了麻烦。因此，他们会过度纠正，然后放入太多东西，使事情变得复杂。所以，你实际上必须说，“看，我们故意要删除超过应该删除的东西。”至少十分之一的东西，我们会重新放回去。
Lex Fridman
我见过你建议删除一些东西，你能看到痛苦。
Elon Musk
哦，是的。绝对的。
Lex Fridman
每个人都感觉到了一点痛苦。
Elon Musk
绝对的。我提前告诉他们，“是的，我们删除的一些东西会重新放回去。”人们会有点震惊，但这是有道理的，因为如果你过于保守，以至于从未需要放回任何东西，显然你有很多不需要的东西。所以，你必须过度纠正。这就是我所说的，像是对边缘本能的皮质超控。
Lex Fridman
这可能是导致我们误入歧途的许多原因之一。
Elon Musk
是的。还有第四步，即任何事情都可以加速。无论你认为它可以完成的速度，或它被完成的速度，它都可以更快。但你不应该加速，直到你尝试删除和优化它。加速不应该存在的东西是荒谬的。然后，第五件事是自动化它。我倒退了很多次，我自动化了一些东西，加速了，简化了，然后删除了它。我厌倦了这样做。所以，这就是为什么我有这个非常有效的五步流程的口头禅。它效果很好。
Lex Fridman
嗯，当你已经自动化了，删除一定非常痛苦-
Elon Musk
是的。
Lex Fridman
就像你已经-
Elon Musk
是的，非常痛苦。就像，“哇，我真的浪费了很多努力。”
Lex Fridman
是的。我的意思是，你在孟菲斯的集群上做的事情令人难以置信，只用了几周时间。
Elon Musk
嗯，是的，它还没有工作，所以我不想庆祝。事实上，我在几小时后有一个与孟菲斯团队的电话，因为我们遇到了一些电力波动问题。所以，是的，当你进行同步训练时，当你有所有这些计算机进行训练，训练在毫秒级同步，就像一个乐团。而乐团可以在亚秒级快速从大声变为无声，然后电力系统对此感到不安。如果你突然看到巨大的变化，10到20兆瓦，每秒几次，这是电力系统不期望看到的。
Lex Fridman
所以，这是你必须解决的主要问题之一，冷却，电力。然后，在软件上，随着你向上堆栈，如何进行分布式计算，所有这些。所有这些都必须工作。
Elon Musk
是的。所以今天的问题是处理极端的电力抖动。
Lex Fridman
电力抖动。
Elon Musk
是的。
Lex Fridman
听起来不错。好的。你像往常一样熬夜工作。
Elon Musk
上周。是的。
Lex Fridman
上周？
Elon Musk
是的。我们终于在上周一凌晨4:20左右开始训练，这很奇怪。
Lex Fridman
纯属巧合。
Elon Musk
是的。我的意思是，也许是4:22之类的。
Lex Fridman
是的
Elon Musk
是的。
Lex Fridman
宇宙又在开玩笑。
Elon Musk
嗯，确实。它就是喜欢这样。
Lex Fridman
我想知道你是否可以谈谈，当我在那里时，你所做的一件事是你走过每个人正在做的所有步骤，只是为了让你自己理解它，每个人都能理解它，这样他们就能理解什么时候某些东西是愚蠢的，或者某些东西是低效的之类的事情。你能谈谈这个吗？
Elon Musk
是的。所以，无论前线人员在做什么，我都会至少自己做几次。所以连接光纤电缆，诊断故障连接。这往往是大型训练集群的限制因素——电缆。有这么多电缆。对于一个一致的训练系统，你有远程直接内存访问，整个系统就像一个巨大的大脑。所以，你有任何到任何的连接。任何GPU可以与10万个GPU中的任何一个通信。那是一个疯狂的电缆布局。
Lex Fridman
看起来很酷。
Elon Musk
是的。
Lex Fridman
就像人类的大脑，但在人类可见的规模上。这是一个好大脑。
Elon Musk
是的。但我的意思是，人类的大脑也有……大脑组织的很大一部分是电缆。它们得到的是灰质，即计算部分，然后是白质，即电缆。你大脑的很大一部分就是电缆。
Lex Fridman
在超级计算机中心走来走去就像是在一个大脑内部走动，这个大脑有一天会构建一个超级超级智能系统。你认为xAI有可能是你构建AGI的吗？
Elon Musk
这是可能的。你怎么定义AGI？
Lex Fridman
我认为人类永远不会承认AGI已经被构建出来。
Elon Musk
只是不断移动目标？
Lex Fridman
是的。所以，我认为已经有超人能力的AI系统存在。
Elon Musk
哦，是的。
Lex Fridman
我认为AGI是当它比整个物种的集体智慧还要聪明。
Elon Musk
嗯，我认为，通常人们会称之为ASI，即人工超级智能。但有这些阈值，你可以说在某个时候AI比任何单个人类都聪明。然后，你有80亿人类，实际上，每个人类都通过他们的计算机进行机器增强。所以，与80亿机器增强的人类竞争，这是一个更高的门槛。这是好几个数量级的更多。但在某个时候，是的，AI会比所有人类的总和更聪明。
Lex Fridman
如果你是第一个做到这一点的人，你会感到责任吗？
Elon Musk
是的，绝对会。我想明确表示，如果不是因为我认为AI的当前路线对公众有风险，我不会这么做。假如我认为OpenAI正朝着一个很好的方向前进，DeepMind也是，我不会在这方面做任何事。
Lex Fridman
你会从很高的视角看事情。这可能是人类历史上最重要的时刻之一。当你是负责某个东西的人时，你是否会感到非常谨慎，非常小心？
Elon Musk
嗯，是的。我认为所有有责任感的人都会感到谨慎和小心。这实际上是我真正开始在AI领域进行重大工作的原因之一。这是我的一部分。其他原因是，我是开放好奇的科学和技术事物。所以，当我们构建更多的AI时，我会想，“哦，这很酷。”但这是非常危险的。我想，“哦，等等，这可能会摧毁人类。”
Lex Fridman
对。
Elon Musk
所以，我只是说，考虑到AI在过去几年的发展速度之快，如果你回顾三年到五年前，你几乎无法预测现在的情况。所以，AI的加速超出了大多数人的理解。这就是为什么我认为AI监管是至关重要的。
Lex Fridman
你怎么调和对AI监管的需要和硅谷某种程度上奉行的自由主义创新文化？你如何将这两个结合起来？
Elon Musk
是的，我也在努力。监管可能非常反创新。如果一个监管机构基本上让事情变得更糟，显然这不是一个好主意。所以，我认为我们需要有非常聪明的监管人员，具有技术背景，并且能够理解他们正在处理的是什么。他们会非常小心地思考所有可能的结果。
Lex Fridman
这些监管人员应该去哪里寻找灵感？
Elon Musk
嗯，我想他们应该首先理解实际的技术。在某种程度上，我们必须建立新的机构来处理AI。我曾尝试劝说政府机构这样做，但无济于事。所以，我想我们需要新的机构，这些机构的主要目标是确保AI的发展是安全的。
⭐星标AI寒武纪，好内容不错过⭐
用你的赞和在看告诉我～
热门跟贴