来源:市场资讯
(来源:图灵人工智能)
单击上方“图灵人工智能”,选择“星标”公众号
您想知道的人工智能干货,第一时间送达
Terence Tao
“以及这些故事告诉我们,AI 将如何革命性地改变数学”
Dwarkesh Patel
我们以 Kepler 发现行星运动定律的绝妙而出人意料的方式开始这一期节目。
人们有时会说,由于存在紧密的验证循环,AI 会在科学发现上取得尤其快速的进展。
但我们如何发现太阳系形状的故事表明,正确想法的验证循环可能长达几十年,甚至几千年。
在这段时间里,我们今天认为更好的理论,常常实际上会做出更差的预测(Copernicus 的日心圆轨道模型实际上没有 Ptolemy 的地心模型准确)。
而它之所以能在这种认识论地狱中幸存下来,靠的是某种判断力和启发式方法的混合;我们甚至还没有充分理解这些判断和启发式,以至于无法真正把它们说清楚,更不用说把它们编码进一个 RL 循环里了。
希望你喜欢!
时间戳
(00:00:00) – Kepler 是一个高温 LLM
(00:11:44) – 如果 AI slop 的海量堆积中出现了新的统一性概念,我们要如何知道?
(00:26:10) – 演绎悬置量
(00:30:31) – 被报道的 AI 发现中的选择偏差
(00:46:43) – AI 让论文更丰富、更宽广,但不更深入
(00:53:00) – 如果 AI 解决了一个问题,人类能从中获得理解吗?
(00:59:20) – 我们需要一种半形式化语言,来表达科学家真实对话的方式
(01:09:48) – Terry 如何使用自己的时间
(01:17:05) – 人类-AI 混合体将在数学中占主导地位更长时间
访谈文字稿
00:00:00 – Kepler 是一个高温 LLM
Dwarkesh Patel
今天,我和 Terence Tao 聊天,他不需要介绍。Terence,我想先请你重新讲述一下 Kepler 是如何发现行星运动定律的故事,因为我觉得这会是一个很好的切入点,用来讨论 AI 与数学。
Terence Tao
我一直对天文学有一种业余爱好。我很喜欢那些早期天文学家如何弄清宇宙本质的故事。Kepler 是在 Copernicus 的工作基础上继续前进的,而 Copernicus 本人又是在 Aristarchus 的工作基础上前进的。Copernicus 非常著名地提出了日心模型,也就是说,不是行星和太阳绕着地球转,而是太阳位于太阳系中心,其他行星绕着太阳转。
Copernicus 提出,行星的轨道是完美的圆。他的理论符合希腊人、阿拉伯人和印度人在几个世纪里整理出来的观测结果。Kepler 在学习中了解到了这些理论,然后他观察到,Copernicus 所预测的轨道大小之比,似乎具有某种几何意义。
他开始提出,如果你取地球轨道,并用一个立方体把它包起来,那么包住这个立方体的外接球,几乎完美地匹配了 Mars 的轨道,诸如此类。当时已知有六颗行星,它们之间有五个间隙,而有五种完美的柏拉图立体:立方体、四面体、二十面体、八面体和十二面体。
于是他有了这个理论,他认为它绝对美丽:你可以把这些柏拉图立体内接在行星轨道的球面之间。它似乎符合,而且在他看来,上帝对行星的设计正在匹配柏拉图立体的这种数学完美性。
他需要数据来确认这个理论。当时世界上只有一个真正高质量的数据集。Tycho Brahe,这位非常富有、古怪的丹麦天文学家,说服丹麦政府资助了一个极其昂贵的天文台。实际上,那是一整座岛,他在那里用几十年时间,对所有行星——比如 Mars 和 Jupiter——进行了观测,至少在每一个天气晴朗的夜晚都观测,而且是用肉眼。他是最后一批裸眼天文学家之一。
他掌握着所有这些数据,Kepler 可以用来确认自己的理论。Kepler 开始和 Tycho 合作,但 Tycho 对数据非常嫉妒。他一次只给 Kepler 一点点数据。Kepler 最后干脆偷走了数据。他复制了数据,并且后来不得不和 Brahe 的后人争执。
他确实拿到了数据,然后令他失望的是,他发现自己那个美丽的理论并不完全成立。数据和他的柏拉图立体理论差了大概 10% 之类。他尝试了各种修补,把圆挪来挪去,但始终不完全奏效。可是他在这个问题上工作了很多年,最终,他想出了如何用这些数据反推出行星的真实轨道。
那是一项极其聪明、天才级别的数据分析工作。然后他发现,轨道其实是椭圆,而不是圆,这对他来说很震惊。所以他推导出了行星运动的两条定律:椭圆轨道,以及等面积在等时间内扫过。
又过了十年,在收集了大量数据之后——最远的行星,比如 Saturn 和 Jupiter,是最难被他弄清楚的——他终于推导出了第三定律:一颗行星完成轨道运行所需的时间,与它到太阳距离的某个幂成正比。这就是著名的 Kepler 三大运动定律。他对它们没有解释。所有这些都是由实验驱动的,而要等到一个世纪后的 Newton,才给出一个能够同时解释这三条定律的理论。
Dwarkesh Patel
我想试着向你提出一个观点:Kepler 是一个高温 LLM。Newton 提出了一个解释,说明为什么行星运动三定律必然为真。当然,Kepler 发现行星运动定律,或者弄清不同星球相对轨道的方式,正如你所说,是一项天才之作。但在他的整个职业生涯里,他一直在尝试各种随机关系。
事实上,在他写下第三条行星运动定律的那本书里,这条定律只是《世界的和谐》中的一个旁白,而那本书讲的是所有这些不同星球如何有不同的和声。地球上之所以有这么多饥荒和苦难,是因为地球是 mi-fa-mi,那是地球的音符。那里充满了各种随机的占星术,但其中包含了立方-平方定律,告诉你周期与行星到太阳距离之间的关系。正如你详细解释的,如果你把它加到 Newton 的 F=ma 和向心加速度方程上,你就得到了平方反比定律。Newton 就是这样把它推导出来的。
但我觉得这个故事很有意思,是因为我感觉 LLM 可以做这类事情:连续二十年尝试各种随机关系,其中有些完全讲不通,只要存在一个可以验证的数据银行,比如 Brahe 的数据集。“好,我要试试关于音符、柏拉图体、不同几何形状的随机东西。我有一个偏见,认为这些轨道的几何形状里有某种重要的东西。”
然后某一个东西奏效了。只要你可以验证它,这些经验规律就可以进一步驱动真正深刻的科学进展。
Terence Tao
传统上,当我们谈论科学史时,想法生成一直是科学中最有声望的部分。一个科学问题包含很多步骤。你必须识别一个问题,然后你必须识别一个好的、有成果潜力的问题来研究。接着你需要收集数据,想出一个策略来分析数据,并提出一个假设。在这个阶段,你需要提出一个好的假设,然后你需要验证。然后你需要写出来并解释。这里有十几个不同的组成部分。
我们庆祝的是这些 eureka 式的天才瞬间,是想法的生成。Kepler 当然必须循环尝试很多想法,其中有几个没有奏效。我敢打赌,还有很多他根本没有发表,因为它们根本不符合。这是过程的重要部分,尝试各种随机东西,看看它们是否有效。
但正如你所说,它必须与同等程度的验证相匹配,否则它就是 slop。我们庆祝 Kepler,但我们也应该庆祝 Brahe,因为他勤勉地收集数据,其精确度比此前任何观测都高十倍。那多出来的一位小数精度,对 Kepler 得到结果至关重要。他使用的是欧几里得几何,以及当时他能用到的最先进数学,来把自己的模型与数据匹配起来。所有方面都必须同时发挥作用:数据、理论和假设生成。
我不确定今天假设生成还是瓶颈。自那以后,科学已经发生了变化。经典上,科学有两大范式:理论和实验。然后在 20 世纪,数值模拟出现了,所以你可以进行计算机模拟来测试理论。最后,在 20 世纪后期,我们进入了大数据时代。我们进入了数据分析时代。
现在很多新的进展实际上首先是由分析海量数据驱动的。你先收集大型数据集,然后从中提取模式,推导想法。这和科学过去的工作方式有点不同,过去你先做一些观察,或者有一个横空出世的想法,然后收集数据来测试你的想法。这是经典科学方法。现在它几乎反过来了。你先收集大数据,然后试图从中得到假设。
Kepler 也许是最早的数据科学家之一,但即使是他,也不是从 Tycho 的数据集开始,然后分析它。他先有了一些预设理论。现在我们取得进展的方式似乎越来越不是那样了,因为数据本身巨大得多,也有用得多。
Dwarkesh Patel
哦,有意思。我觉得你描述的 20 世纪科学,其实非常好地描述了 Kepler 的情况。他确实有这些想法——1595 年和 1596 年左右,他提出了多边形和后来的柏拉图体理论——但它们是错的。然后几年后,他拿到了 Brahe 的数据,也只有在二十年尝试随机东西之后,他才得到了这个经验规律。
这实际上感觉更像是 Brahe 的数据类似于某种庞大的模拟数据库,现在你拿到了数据,就可以不断尝试随机东西。如果没有那个,Kepler 可能就会在那里写关于和声和柏拉图体的书,而没有任何东西可以实际验证。
Terence Tao
数据极其重要。我试图做出的区分是,传统上,你提出一个假设,然后用数据来测试它。但现在,有了机器学习、数据分析和统计,你可以从数据开始,通过统计找出以前不存在的定律。
Kepler 的第三定律有点像这样,只不过 Brahe 有一千个数据点,而 Kepler 只有六个数据点。对每颗行星来说,他知道轨道长度和到太阳的距离。有五六个数据点,而他做了我们今天会称为回归的事情。他用这六个数据点拟合出了一条曲线,得到了平方-立方定律,这非常惊人。但他能从这六个数据点得出正确结论,确实相当幸运。那并不是足够可靠的数据量。
后来有一位天文学家,Johann Bode,他取了同样的数据——行星到太阳的距离——并受到 Kepler 启发,提出距离形成一种平移后的等比数列。他也拟合了一条曲线,只不过其中有一个点缺失。Mars 和 Jupiter 之间有一个很大的空隙。他的定律预测那里有一颗缺失的行星。这有点像一个 crank theory,直到 Herschel 发现 Uranus,而 Uranus 到太阳的距离正好符合这个模式。然后小行星带中的 Ceres 被发现,也符合这个模式。人们非常兴奋,认为 Bode 发现了一条惊人的自然新定律。
但后来 Neptune 被发现,它完全不符合。基本上那只是一个数字巧合。当时只有六个数据点。也许 Kepler 没有像前两条定律那样强调自己的第三定律,其中一个原因是,他本能地知道,尽管他没有现代统计学,但他知道用六个数据点得出的结论必须有些试探性。
00:11:44 – 如果 AI slop 的海量堆积中出现了新的统一性概念,我们要如何知道?
Dwarkesh Patel
更明确地提出这个类比问题:如果未来我们有越来越聪明的 AI,这个类比是否成立?我们会有数百万个 AI,它们可以出去搜寻各种经验规律。听起来你并不认为科学中的瓶颈是为每一个给定领域找到更多等价于第三条行星运动定律的东西,以便之后有人说,“哦,我们需要一种方法来解释它。让我们把数学推导出来。这里是平方反比引力定律。”
Terence Tao
我认为 AI 已经把想法生成的成本降到了几乎为零,这和互联网把通信成本降到几乎为零非常相似。这是一件了不起的事,但它本身并不会创造丰饶。现在瓶颈不同了。我们现在处在这样一种情况:突然之间,人们可以为一个给定的科学问题生成数千种理论。现在我们必须验证它们,评估它们。这是我们必须改变科学结构才能真正处理的问题。
传统上,我们会建墙。过去,在我们拥有 AI slop 之前,业余科学家会有自己的宇宙理论,其中许多几乎没有价值。我们建立了这些同行评审发表系统,来过滤并尝试隔离那些高信号、值得测试的想法。
但现在,我们可以用 AI 大规模生成这些可能的解释,其中一些是好的,很多则很糟糕,人类审稿人已经被压垮了。许多期刊报告说,AI 生成的投稿正在淹没他们的投稿系统。
我们现在可以用 AI 生成各种东西,这很好,但这意味着科学的其他方面必须跟上:验证、确认,以及评估哪些想法真正推动了学科前进,哪些是死胡同或误导。这不是我们知道如何规模化处理的事情。对每一篇单独的论文来说,我们可以让科学家之间辩论,然后在几年内达成共识。但当我们每天生成一千篇这类东西时,这套机制就不起作用了。
Dwarkesh Patel
这里有一个极其有趣的问题。如果你有数十亿个 AI 科学家,不仅要判断哪些是真正的进展,还要判断如何…… 这其实是人类科学也不得不面对的问题,而且我们不知怎么地解决了它,但我其实不确定我们是怎么解决的。
比如在 1940 年代,如果你在 Bell Labs,有这些新技术不断出现。脉冲编码调制,如何传输信号?如何数字化信号?如何通过模拟线缆传输它们?有很多论文都在讨论工程约束和细节,然后有一篇提出了 bit 的概念,这个概念对许多不同领域都有影响。你需要某种系统来看着它说,“好,我们需要把这个应用到概率论。我们需要把它应用到计算机科学,”等等。
未来,AI 提出了下一个版本的这种统一性概念。你要如何在数百万篇论文中识别出它?这些论文可能都构成某种进展,但在普遍统一性想法方面远没有那么重要。
Terence Tao
很大一部分是时间的检验。许多伟大的想法在第一次被提出时并没有得到很好的反响。只有当其他科学家意识到他们可以把它进一步推进,并应用到自己的……深度学习本身曾经很长一段时间只是 AI 的一个小众领域。完全通过数据训练而不是通过第一性原理推理来获得答案,这个想法曾经很有争议,只是花了很长时间才开始结出果实。
你提到了 bit。计算机架构曾经还有其他提案,不只是今天普遍使用的 zero-one。我想曾经有过 trits,也就是三值逻辑。在另一个平行宇宙中,也许另一种范式会出现。transformer,比如说,是所有现代大型语言模型的基础,也是第一个真正足够复杂、能够捕捉语言的深度学习架构。但事情不必然如此。本可以有另一种架构先做到这件事,而一旦那种架构被采用,它就会成为标准。
我们很难评估一个给定想法是否会有成果,其中一个原因是它取决于未来。它也取决于文化和社会,取决于哪些想法被采用,哪些没有。数学中的十进制数字系统非常有用,比罗马数字系统好得多。但同样,十并没有什么特殊。它对我们有用,是因为所有其他人都在使用它。我们把它标准化了。我们围绕它建立了所有计算机和数值表示系统,所以现在我们被它锁住了。偶尔有人会推动非十进制系统,但惯性太大。
这不是一件你可以把某个科学成就完全孤立地拿出来,然后在不了解它过去和未来语境的情况下给它一个客观分数的事情。所以它也许永远不是那种可以像对更局部的问题那样简单做强化学习的东西。
Dwarkesh Patel
在科学史上,经常会出现这种情况:一个新理论出现,而回头看我们意识到它是正确的,但它似乎推出了一些要么毫无道理、因为它们是错的,后来我们才明白为什么错;要么它们是正确的,但在当时看起来极其不可信的含义。
正如你谈到的,Aristarchus 在公元前三世纪就有了日心说。古代 Athenians 会说,“这不可能,因为如果地球绕着太阳转,我们应该看到星星的相对位置随着我们绕太阳运动而改变;而唯一不会出现这种视差的情况,是它们远到你根本注意不到任何 parallax。”而这其实正是正确的含义。
但也有些时候,某个含义是错误的,我们只是需要进入更高层次的理解。Leibniz 会责备 Newton,并不同意 Newton 的引力理论,理由是它意味着超距作用,而他们不知道机制。Newton 本人也对惯性质量和引力质量竟然是同一个量感到震惊。所有这些后来都被 Einstein 解决了。但它依然是进步。
所以,对 AI 的同行评审系统来说,问题是:即使你能证伪一个理论,你要如何注意到,相对于之前的东西,它仍然构成进步?
Terence Tao
通常,最终正确的理论一开始在很多方面更差。Copernicus 的行星理论不如 Ptolemy 的理论准确。地心说到那时已经发展了一千年,他们做了很多调整和越来越复杂的 ad hoc 修补,使它越来越准确。Copernicus 的理论简单得多,但准确性差很多。直到 Kepler,它才变得比 Ptolemy 的理论更准确。
科学永远是正在进行的工作。当你只得到解决方案的一部分时,它看起来比一个错误但已经被完善到某种程度、可以回答所有问题的理论更糟糕。正如你说的,Newton 的理论有很大的谜团。它有质量等价性和超距作用,这些只有在几个世纪之后通过一种概念上非常不同的方法才被解决。
进步通常不是通过添加更多理论来完成,而是通过删除你脑中的某些假设来完成。地心说坚持那么久的原因之一,是我们有这样一个想法:物体自然想要保持静止。这是亚里士多德物理学的观念,所以地球正在运动这个想法……为什么我们没有全都摔倒?一旦你有了 Newton 的运动定律——运动中的物体保持运动,等等——这才说得通。
从概念上说,意识到地球在运动是一个非常大的跃迁。它感觉起来不像在运动。最大的进步,比如 Darwin 的进化论,是物种不是静态的这一想法。这并不明显,因为你在自己的一生中看不到进化。当然现在我们实际上可以看到,但它看起来像是永久而静态的。
现在我们正在经历一种认知版本的 Copernican revolution。我们过去认为人类智能是宇宙中心,现在我们看到外面存在非常不同类型的智能,它们有非常不同的优势和弱点。我们对哪些任务需要智能、哪些不需要智能的评估,必须被相当大幅度地重新排序。
试图把 AI 纳入我们关于科学进步、什么是困难、什么是容易的理论中,我们正在经历相当多的挣扎。我们必须问以前从未真正需要问的问题。或者也许哲学家们问过,但现在我们所有人都必须处理它。
Dwarkesh Patel
这引出了一个我一直很好奇的话题。你提到了 Darwin 的进化论。有一本书叫《钟表宇宙》,作者是 Edward Dolnick,它讲述了很多我们正在讨论的这个时代的历史。他在书里有一个很有意思的观察。《物种起源》发表于 1859 年。《自然哲学的数学原理》发表于 1687 年。
所以《物种起源》比《Principia》晚两个世纪。从概念上看,Darwin 的理论似乎更简单。Darwin 同时代的一位生物学家 Thomas Huxley 读了《物种起源》之后说,“竟然没有想到这个,真是愚蠢。”
没有人会对《Principia》这样说,责备自己没有抢在 Newton 之前发现引力。所以问题是,为什么它花了更长时间?
似乎很大一部分原因正是你说的。自然选择的证据在某种意义上是压倒性的,但它是累积的、回溯性的;而 Newton 可以直接说,“这是我的方程。让我看一下月球的轨道周期和距离,如果它对得上,那我们就取得了进展。”
Lucretius 其实在公元前一世纪就有物种适应环境的想法,但在 Darwin 之前没人真正讨论它,因为 Lucretius 无法运行某个实验并迫使人们注意。我想知道,我们是否会回过头来看,发现那些拥有这种紧密数据循环、可以非常容易验证的领域会取得更多进展,即使它们在概念上困难得多。
Terence Tao
我认为科学的一个方面是,它不只是创造一个新理论并验证它,还包括把它传达给别人。Darwin 是一位了不起的科学传播者。他用英语写作,用自然语言写作。我现在说得像一个——
Dwarkesh Patel
没有 Lean。
Terence Tao
我得摆脱自己的技术心态。他用普通英语说话,不使用方程,并且综合了很多分散的事实。进化论的一些小片段过去已经被弄清楚了,但他提出了一个非常有说服力的愿景。同样,他仍然缺少一些东西。他不知道遗传机制,他没有 DNA。但他的写作风格有说服力,这帮了很大的忙。
Newton 用拉丁文写作。他发明了整个新的数学领域,只是为了解释自己在做什么。他也来自一个科学家更加保密、竞争更激烈的时代。学术界现在仍然有竞争,但在 Newton 那个时代更糟。他保留了一些自己最好的洞见,因为不想让竞争对手获得任何优势。从我了解到的情况看,他也是一个有些令人不愉快的人。Newton 之后过了几十年,其他科学家用更简单的术语解释他的工作,它们才广泛传播。
阐释的艺术、提出论证的艺术、创造叙事的艺术,也是科学非常重要的一部分。如果你有数据,它会有帮助,但人们需要被说服,否则他们不会进一步推动它,也不会投入初始成本来学习你的理论并真正探索它。这也是另一个很难做 reinforcement learning 的东西。你如何给自己的说服力打分?嗯,有整个营销部门都在试图做这件事。也许 AI 还没有被优化成很会说服,是一件好事。
科学有一个社会层面。尽管我们以它的客观面为荣,那里有数据、实验和验证,但我们仍然必须讲故事,说服同行科学家。这是一种柔软、黏糊糊的东西。它是数据和绘制叙事的结合,而这个叙事是带有空白的。
即使在 Darwin 的例子中,正如我说的,他的理论有些部分无法解释。但他仍然可以提出一个论证:未来人们会找到过渡形态,会找到遗传机制,而他们确实找到了。我不知道你如何把这种东西量化到足够精确,以至于可以开始做 reinforcement learning。也许那会永远是科学中的人类部分。
00:26:10 – 演绎悬置量
Dwarkesh Patel
我从阅读和观看你关于宇宙距离阶梯的东西中得到的一个启发是……顺便说一句,我非常推荐大家观看你和 3Blue1Brown 关于宇宙距离阶梯的系列视频。我的一个收获是,很多领域里的 deductive overhang 可能比人们意识到的大得多。如果你只是对如何研究一个问题有正确洞见,你可能会惊讶于你能对世界了解得多得多。
我想知道你是否认为这是天文学在历史上那些特定时期的产物。或者只是说,基于现在落在地球上的数据,我们其实可以推断出远比我们目前知道的更多东西?
Terence Tao
天文学是最早真正拥抱数据分析,并从已有信息中榨取每一滴可能信息的科学之一,因为数据是瓶颈。它现在仍然是瓶颈。收集天文数据真的很难。
天文学家是世界级的,他们可以从各种微弱的数据痕迹中提取出结论,几乎像 Sherlock 一样。我听说很多量化 hedge fund 最喜欢招聘的是天文学博士。其实原因也类似,他们也非常有兴趣从各种随机数据片段中提取信号。
我们确实低估了如何从各种信号中提取额外信息。随便举一项研究,我记得曾经读到,有人试图测量科学家实际阅读自己引用论文的频率。你如何测量这件事?你可以试图调查不同科学家,但他们有一个巧妙技巧。
许多引用都有一些小拼写错误,比如数字错了,或者标点几乎错了。他们测量一个错别字从一个参考文献复制到下一个参考文献的频率,由此推断作者是否只是复制粘贴了引用,而没有真正核对。从中,他们能够推断人们到底投入了多少注意力。所以有一些很巧妙的技巧可以提取……
你之前提出的这些问题:我们如何评估一个科学发展是否有成果、是否有趣、是否代表真正的进步……也许数据中有非常有用的指标或足迹可以反映这种现象。我们可以检查引用,检查某个东西在会议中被提到的频率。也许这里有很多科学社会学研究可以做,能够真正探测这些东西。也许我们应该让一些天文学家来处理这个问题。
00:30:31 – 被报道的 AI 发现中的选择偏差
Dwarkesh Patel
这很好地把我们带到了从外部看,AI for math 似乎正在取得的进展。你最近有一篇文章指出,在过去几个月里,AI 程序已经解决了 1100 多个 Erdős problems 中的 50 个。我不知道现在是否仍然正确,但截至一个月前,你说已经出现了停顿,因为低垂的果实已经被摘掉了。
首先,我很好奇这现在是否仍然是事实:低垂的果实已经被摘掉,而我们目前处在这个平台期。
Terence Tao
看起来确实如此。五十多个问题已经在 AI 辅助下被解决了,这很好,但还有大概六百个。人们现在仍然在一点点攻克其中一两个。
我们现在看到的纯 AI 解决方案少得多,也就是 AI 直接 one-shot 解出问题。有一个月里这种情况发生了,但现在已经停止了,而且不是因为缺少尝试。我知道有三次独立尝试,都是用 frontier model AI 同时攻击每一个问题。它们会挑出一些小观察,或者也许发现某个问题其实已经在文献中被解决了,但还没有进一步的纯 AI 驱动解法。
人们现在大量使用 AI。有人可能用 AI 生成一个可能的证明策略,然后另一个人用另一种 AI 工具来批评它、重写它、为它生成一些数值数据,或者做文献调查。有些问题是通过许多人类和许多 AI 工具之间的持续对话解决的。但看起来这确实像一次性的事情。
也许可以把这些问题类比为:你处在某种山脉中,周围有各种悬崖和墙。也许有一堵小墙,三英尺高;有一堵六英尺高;然后有十五英尺高;还有一些一英里高的悬崖。你试图尽可能多地爬上这些悬崖,但这一切都在黑暗中。我们不知道哪些高,哪些矮。所以我们试着点一些蜡烛、画一些地图,慢慢弄清楚其中一些是可以攀爬的。有些我们可以识别出墙上的某种局部路径,你可以先到达那里。
这些 AI 工具就像可以跳到两米高的跳跃机器,比任何人类跳得都高。有时它们朝错误方向跳,有时会撞毁,但有时它们可以到达人类以前够不到的最低墙顶。我们刚刚把它们放到这片山脉中,让它们到处跳。那段令人兴奋的时期里,它们真的能找到所有低的墙并跳上去。也许下一次模型有大进步时,它们会再试一次,又会攻破几个。
但这是一种不同的数学风格。通常我们会做 hill climbing,做一些小标记,试图识别局部东西。这些工具要么成功,要么失败。它们非常不擅长创造部分进展,或者识别你应该先关注的中间阶段。回到我们前面的讨论,我们没有一种评估部分进展的方法,像我们可以评估一个问题 one-shot 成功或失败那样。
Dwarkesh Patel
你刚才说的话有两种不同的理解方式。一种对 AI 进展更悲观,一种更乐观。悲观的一种是:“哦,它们只能到达某个高度的墙,而这个高度还没有人类达到的那么高。”
第二种是,它们有一个强大的性质:一旦它们达到某条水位线,就可以填满那条水位线上所有可用的问题,而我们人类根本做不到。我们不能复制一百万个你,给每个你一百万美元的 inference compute,让你们在主观时间里对一百万个不同问题研究一百年。
但一旦 AI 达到 Terence Tao 水平,它们就可以那样做。一旦它们达到中级水平,它们也可以做那种中级版本。同一个让我们现在悲观的理由,也是我们未来应该特别乐观的理由。甚至不是当它们达到超人智能时,而只是当它们达到人类水平智能时,因为它们的人类水平智能在质上更宽、更强大。
Terence Tao
我同意。它们擅长广度,而人类擅长深度,至少人类专家是这样。我认为它们高度互补。但我们目前做数学和科学的方式专注于深度,因为那是人类专业能力所在,因为人类不能做广度。我们必须重新设计做科学的方式,才能充分利用我们现在拥有的这种广度能力。
我们应该投入更多精力来创造非常宽广的问题类别,而不是一两个非常深刻、重要的问题。我们仍然应该有那些深刻、重要的问题,人类也仍然应该研究它们。但现在我们有了另一种做科学的方法。我们可以先让这些广泛的、中等能力的 AI 去绘制整个新科学领域的地图,并做出所有容易的观察。然后识别出某些困难岛屿,让人类专家来研究。
我非常看好一种互补式科学的未来。最终,你会希望同时拥有广度和深度,并以某种方式获得两者的最佳结合。但我们需要练习广度这一侧。它太新了。我们甚至还没有真正利用它的范式。但我们会有的,到那时科学将会变得面目全非,我认为。
Dwarkesh Patel
关于这种互补性,程序员已经注意到,他们因为这些 AI 工具而高效得多。我不知道你作为数学家是否有同样感受,但一个很大的区别似乎是,vibe coding 和 vibe researching 的不同在于,在软件中,整个目标是通过你的工作对世界产生某种影响。如果这让你更好地理解一个问题,或者提出某种干净的抽象并体现在代码中,那只是实现最终目标的工具。
而在研究中,我们之所以关心解决千禧年大奖难题,是因为大概在解决它们的过程中,我们会发现新的数学对象或新的技术,推进文明对数学的理解。所以证明对于中间工作是工具性的。我不知道你是否同意这种二分,或者这是否能解释我们会在软件与研究中看到的相对提升差异。
Terence Tao
当然在数学中,过程通常比问题本身更重要。问题有点像衡量进步的代理。我认为即使在软件中,也有不同类型的软件任务。如果你只是创建一个网页,它做的事情和一千个其他网页一样,那没有什么技能可学。好吧,可能个人程序员仍然可以学到一些技能。但对于 boilerplate 类型的代码,那绝对应该交给 AI。
有时,一旦你写出了代码,你仍然必须维护它。还有升级它、让它和其他东西兼容的问题。我听一些程序员报告说,即使 AI 可以创建一个工具的第一个原型,让它和其他所有东西配合起来,并让它以你想要的方式与真实世界互动,仍然是一个持续过程。如果你没有通过写代码获得的技能,未来可能会影响你维护它的能力。
所以是的,当然,数学家们一直用问题来建立直觉、训练人们对什么是真的、什么是可预期的、什么是可证明的、什么是困难的形成良好感觉。直接拿到答案可能实际上会阻碍这个过程。
我之前区分了理论和实验。在大多数科学中,理论侧和实验侧之间有一个相对均等的分工。数学是独特的,因为它几乎完全是理论性的。我们高度重视尽量拥有连贯、干净的理论,解释为什么事情为真或为假。我们很少做很多实验,比如如果我们有两种不同方式来解决一个问题,哪种更有效。我们有一些直觉,但我们没有大规模研究,比如拿一千个问题来测试。
但现在我们可以这样做了。我认为 AI 类型的工具会真正革命性地改变数学的实验侧。在那里,你不那么关心单个问题和解决它的过程,而是想收集关于什么方法有效、什么方法无效的大规模数据。就像如果你是一家软件公司,想推出一千个软件产品,你并不真的想手工雕琢每一个,并从每一个里学到教训。你只是想找到哪些 workflow 可以规模化。
规模化做数学这个想法还处在 infancy。但这就是 AI 真正会革命性改变这个学科的地方。
Dwarkesh Patel
我觉得这些关于 AI 会多有利于科学的对话中的一个关键分歧是,我想你说过,它们是在使用已有技术并对其进行修改。如果我们想理解仅仅使用已有技术能取得多少进展,那会很有意思。
如果我看顶级数学期刊,有多少论文是在提出一种新技术,不管那是什么意思,而有多少是在把已有技术用到新问题上?这个 overhang 有多大?如果你只是把每一种已知技术应用到每一个开放问题上,这会不会构成对我们文明知识的巨大提升,还是并不会那么令人印象深刻、那么有用?
Terence Tao
这是一个很好的问题,但我们还没有足够的数据来完整回答。当然,人类数学家所做的很多工作……当你拿到一个新问题时,我们首先会做的一件事,就是看所有曾经在类似问题上有效的标准方法,然后逐一尝试。有时这会奏效,而这仍然值得发表,因为问题本身很重要。
有时它们几乎奏效,你只需要再添加一个 wrinkle,这也很有意思。但进入顶级期刊的论文通常是这样的:已有方法可以某种程度上解决问题的 80%,但剩下 20% 很顽固,于是必须发明一种新技术来填补空白。
现在一个问题完全不依赖过去文献、所有想法都凭空出现而被解决的情况非常少见。过去这更常见,但数学现在成熟到这样的程度,如果你不先利用文献,那就是非常大的劣势。
AI 工具在第一部分上变得非常擅长,也就是把所有标准技术都尝试到一个问题上,而且在应用这些技术时,常常比人类犯更少错误。它们仍然会犯错,但我测试过这些工具处理一些我能做的小任务,有时它们会发现我犯的错误。有时我发现它们犯的错误。现在大概是平局。
但我还没有看到它们迈出下一步。当论证中有漏洞,所有东西都不起作用时,那你怎么办?它们可以提出随机想法,但我常常发现,追着这些想法试图让它们奏效,最后发现它们不奏效,浪费的时间比节省的时间更多。
我认为我们目前认为困难的一部分问题会因为这种方法而倒下,尤其是那些还没有得到足够关注的问题。对于 Erdős problems,AI 解决的 50 个问题几乎全都是那些基本没有文献的问题。Erdős 只提出过这个问题一两次。也许有些人随便试过但没做出来,不过他们从来没有写下来。
但结果发现,有一个解法,只是把一种不太多人知道的 obscure 技术和文献中的另一个结果结合起来。这就是 AI 目前能完成的中位水平,而这真的很棒。它清掉了 50 个这类问题。所以我认为你会看到一些孤立的成功。
但我们发现……有些人对这些 Erdős problems 做过大规模 sweep。如果你只关注成功故事,也就是社交媒体上广播出来的那些,它看起来很惊人。所有这些几十年都没有解决的问题,现在都倒下了。但每当我们做系统研究,在任何给定问题上,AI 工具的成功率也许只有 1% 或 2%。只是它们可以通过规模取胜,然后你只挑赢家。它看起来很好。
我认为在数百个真正有声望、困难的数学问题上,也会发生类似的事情。某个 AI 也许会走运,真的解决了其中一些,会有某个 backdoor 解决问题,而所有其他人都错过了。这会获得很多宣传。但随后人们会把这些 fancy 工具用在自己最喜欢的问题上,他们又会体验到 1% 到 2% 的成功率。
在它们什么时候有效、什么时候无效的问题上,信号中会有很多噪音。收集这些真正标准化的数据集会越来越重要。现在已经有人努力创建一组标准挑战题,让 AI 去解决,而不是只依赖 AI 公司只发表它们的胜利,不披露负面结果。这也许会让我们更清楚自己真正处在什么位置。
Dwarkesh Patel
不过我觉得值得强调,这已经构成了 AI 进步中的巨大进展:模型能够应用某种技术,而之前没有人写下过这种技术适用于这个特定问题。
Terence Tao
这种进展同时令人惊叹又令人失望。看这些工具工作是一种非常奇怪的感觉。但人们也很快就会适应。
我还记得 20 年前 Google 的 web search 出现的时候。它把所有其他搜索引擎远远甩在后面。你在第一页就能得到相关结果,正是你想要的东西。那非常惊人,然后过了几年,你就把能 Google 任何东西视为理所当然了。
2026 年水平的 AI 如果放到 2021 年会令人震惊。其中很多能力——人脸识别、自然语音、做大学水平的数学题——我们现在都已经视为理所当然了。
00:46:43 – AI 让论文更丰富、更宽广,但不更深入
Dwarkesh Patel
说到 2026 年的 AI,你在 2023 年曾经预测,到 2026 年,它会像数学中的同事一样?
Terence Tao
如果使用得当,一个值得信任的合作者。
Dwarkesh Patel
现在回头看,这个预测非常不错。
Terence Tao
是的,我挺满意的。
Dwarkesh Patel
那我们看看你能不能延续这个 streak。你个人因为 AI 而生产力提升 2x。你觉得会是哪一年?
Terence Tao
生产力,我认为,并不是一个完全一维的量。我确实注意到,我做数学的风格和我做的事情正在发生很大变化。比如,我现在的论文里有更多代码、更多图片,因为现在生成这些东西太容易了。某个 plot 过去可能要花我几个小时,现在几分钟就能做出来。但过去我根本不会把那个 plot 放进论文里。我只会用文字谈论它。所以很难衡量 2x 是什么意思。
一方面,我认为如果我要写今天会写的那类论文,但不能使用 AI 辅助,那肯定会花五倍更长时间。但我不会那样写我的论文。
Dwarkesh Patel
5x?
Terence Tao
是的,但这些是辅助任务。比如做更深入的文献检索,或者提供更多数值实验。它们丰富了论文。我所做的核心工作,也就是实际解决数学问题中最困难的部分,还没有太大变化。那个我仍然用纸和笔。
但有很多琐碎事情。我现在用 AI agent 来重新格式化。有时如果我所有括号的大小不完全正确,过去我会手动一个个改,现在我可以让 AI agent 在后台把这些都很好地处理掉。
它们确实大大加速了很多次级任务。它们还没有加速我所做的核心事情,但它让我能在论文中添加更多东西。同样,如果我要重新写一篇我在 2020 年写过的论文——而不是添加这些额外功能,只是做出相同功能水平的东西——老实说,它其实没有节省那么多时间。它让论文更丰富、更宽广,但不一定更深入。
Dwarkesh Patel
你做了这个人工 cleverness 与人工 intelligence 的区分。我想更好地理解这些概念。什么是 intelligence 的例子,而不只是 cleverness?
Terence Tao
Intelligence 是出了名地难以定义。它是那种你看到时就知道的东西。但当我和某人交谈,我们试图一起协作解决一个数学问题时,会有这样一种对话:一开始我们谁也不知道怎么解决这个问题。我们中的一个有一个想法,看起来有希望,于是我们有了某种原型策略。我们测试它,它不奏效,然后我们修改它。随着时间推移,想法会有适应性和持续改进。最终,我们系统地绘制出哪些东西不起作用、哪些起作用,并能看到一条前进路线,但它是随着我们的讨论而演化出来的。
这不完全是 AI 所做的事情。AI 可以稍微模仿一下。回到那些跳跃机器人的类比,它们可以跳跃然后失败,跳跃然后失败。但它们不能做的是跳一点点,够到某个 handhold,停在那里,把其他人拉上来,然后从那里再尝试跳跃。没有这种由部分进展互动式累积起来的过程。它们似乎更多是 trial and error,只是重复和 brute force。它可以规模化,并且在某些语境中可以极其有效。但这种从部分进展中累积构建的想法,目前还不完全存在。
Dwarkesh Patel
有意思。你的意思是,如果 Gemini 3 或 Claude 4.5,随便什么模型,解决了一个问题,并不是说它自己对数学的理解进步了。
Terence Tao
不是。
Dwarkesh Patel
或者即使它研究一个问题但没有解决,也不是说它自己对数学的理解进步了。
Terence Tao
是的。你开启一个新 session,它就忘记自己刚才做了什么。它没有建立起可以用于相关问题的新技能。也许你刚才做的东西会成为下一代训练数据的 0.001%。所以也许最终其中一部分会被吸收。
00:53:00 – 如果 AI 解决了一个问题,人类能从中获得理解吗?
Dwarkesh Patel
我有一个大问题:如果我们持续训练 AI,让它们越来越擅长在 Lean 中解决问题,这有多大可能让它们继续解决越来越令人印象深刻的问题,然后我们会惊讶地发现,从某个 Lean 解法证明黎曼猜想之类中,我们得到的洞见如此之少。
或者你是否认为,即使是一个 AI 完全在 Lean 中解决黎曼猜想,它解决问题的必要条件也是,这个 Lean 程序中创造出的构造和定义必须推进我们对数学的理解?还是说它可能只是 assembly code gobbledygook?
Terence Tao
我们不知道。有些问题基本上已经通过纯 brute force 被解决了。四色定理就是一个著名例子。我们仍然没有找到这个定理概念上优雅的证明,也许永远不会。有些问题也许只能通过分成极大量的情况,并对每个情况做 brute force、没有洞见的计算机分析来解决。
我们重视像黎曼猜想这样的问题,部分原因是我们相当确定必须创造一种新的数学,或者必须发现两个以前互不相连的数学领域之间的新联系,才可能让它成立。我们甚至不知道解法的形状是什么,但它不像是一个可以通过穷举检查情况解决的问题。
或者它实际上可能是假的。好吧,有一种不太可能的情况是这个假设为假,你只要计算出一条线外零点,并且用大规模计算验证它。那会非常令人失望。我确实觉得,完全自主的 one-shot 方法不是解决这些问题的正确方法。你会从人类与这些工具协作的互动中获得更多。
我可以想象其中一个问题会被聪明的人类在极其强大的 AI 工具辅助下解决。但具体动态可能和我们现在想象的非常不同。它可能是一种还不存在的协作类型。
也许有一种方式,可以生成一百万个 Riemann zeta function 的变体,并用 AI 辅助数据分析来发现某种连接它们、我们以前不知道的模式。这会让你把问题转化到另一个数学领域。可能有各种情景。
Dwarkesh Patel
假设 AI 把它弄出来了,并且 Lean 中潜藏着某种全新的构造,如果我们意识到它的重要性,就能把它应用到各种不同情境中。我们要如何识别它?
再问一个很 naive 的问题:如果你提出等价于 Descartes 的坐标系思想,也就是统一代数和几何的东西,在 Lean 代码中它可能只是看起来像 R→R,而看不出那么重要。我确信还有其他构造也有这种性质。
Terence Tao
用 Lean 这样的东西形式化一个证明的美妙之处在于,你可以取出其中任何一部分,原子化地研究它。当我读一篇解决某个困难问题的论文时,通常会有一大串引理和定理。理想情况下,作者会讲清楚哪些重要、哪些不重要。但有时他们不会透露哪些步骤是真正重要的,哪些只是 boilerplate、标准步骤。
你可以孤立地研究每个引理。有些看起来相当标准,类似我熟悉的东西。我很确定那里没什么有趣内容。但另一个引理,是我以前没见过的,而且我能看出为什么有这个结果会非常有助于证明主结果。你可以评估某个步骤是否真的是你论证的关键,而 Lean 非常促进这一点。每个单独步骤都被非常精确地识别出来。
我认为未来会有整个职业的数学家,他们也许会拿一个巨大的 Lean 生成证明,对它做 ablation,试图删除其中部分内容,并寻找更优雅的方式。他们也许会让其他 AI 做一些 reinforcement learning,使证明更优雅,也许还有其他 AI 会给这个证明看起来是否更好打分。
在近未来会发生很大变化的一件事,是我们如何写论文。直到最近,写论文还是这项工作中最耗时、最昂贵的部分。所以你非常少做这件事。你只有在论证的其他部分都检查完之后,才会把结果写出来,因为重写和 refactor 实在太痛苦。现在用现代 AI 工具,这变得容易多了。你不必只有一个版本的论文。一旦你有了一个版本,人们就可以生成几百个更多版本。
一个巨大而混乱的 Lean 证明本身也许并不很有意义或可理解,但其他人可以重构它,并对它做各种事情。我们已经在 Erdős problem website 上看到这种情况了。一个 AI 会生成一个证明,这里有 3000 行代码来验证这个证明。然后人们让其他 AI 总结这个证明,人们再写出自己的证明。
实际上有后处理。一旦你有了一个证明 artifact,我们现在有很多工具可以解构和解释它。这是一个非常 nascent 的数学领域,但我没那么担心。有些人担心,如果黎曼猜想被一个完全无法理解的证明证明了,会发生什么。我认为一旦你有了证明这个 artifact,我们就可以对它做很多分析。
00:59:20 – 我们需要一种半形式化语言,来表达科学家真实对话的方式
Dwarkesh Patel
你最近发帖说,有一种形式化或半形式化语言,用来表达数学策略,而不只是数学证明,会很有帮助;Lean 专门处理的是后者。我很想了解更多,这会涉及什么,或者它会是什么样子。
Terence Tao
我们真的不知道。我们在数学中非常幸运,因为我们已经弄清楚了逻辑和数学的法则,但这是一个相当近期的成就。它从两千多年前的 Euclid 开始,但直到 20 世纪初,我们才终于列出数学公理,也就是我们称为 ZFC 的标准公理、first-order logic 的公理,以及什么是证明。这个我们已经能够自动化,并为其建立了一种形式化语言。
也许存在某种方式可以评估 plausibility。你有一个 conjecture,说某事为真,你测试几个例子,它成立。这会如何提高你对这个 conjecture 为真的信心?我们有一些数学方式来建模这种情况,比如贝叶斯概率。但你通常必须设定某些基础假设,而这些任务中仍然有很多主观性。
这与其说是一个开发这些语言的计划,不如说是一种愿望。但看到像 Lean 这样的形式证明框架如何成功地让演绎证明更容易自动化,并训练 AI……用 AI 来创造策略、提出 conjecture 的瓶颈在于,我们必须依赖人类专家和时间检验来验证某个东西是否 plausible。
如果有某种半形式化框架,可以以不容易被 hack 的方式半自动完成这件事……这一点非常重要,因为对于这些形式证明助手来说,不能有 backdoor 或 exploit,让你在没有真正证明的情况下拿到认证证明,因为 reinforcement learning 非常擅长寻找这些 backdoor。
如果有某种框架可以模拟科学家之间以半形式化方式对话的方式,使用数据和论证,同时也构建叙事……科学中有某种主观面,我们不知道如何捕捉它,也不知道如何以任何有用方式把 AI 插入进去。这是一个未来问题。现在有研究试图创建自动 conjecture,也许有方法可以 benchmark 这些东西、模拟这些东西,但这都是非常新的科学。
Dwarkesh Patel
你能帮我建立一点直觉吗?我有两个子问题。第一,有一个具体例子会非常有帮助,说明科学家之间的某种沟通方式是我们还不能形式化的。
第二,说你正在建立某种叙事或自然语言解释,同时又说那是某种可以形式化的东西,这看起来几乎在定义上是矛盾的。我确信这里面有某种关于重叠区域的直觉,我很想更好地理解它。
Terence Tao
举一个 conjecture 的例子:Gauss 对素数感兴趣,并创造了最早的数学数据集之一。他计算了前 100,000 个左右的素数,希望找到模式。他确实找到了一个模式,但也许不是他期待的模式。他发现素数中有一个统计模式:如果你计算 100、1,000、1,000,000 等范围内有多少素数,它们会越来越稀疏,但密度下降与数字范围的自然对数成反比。
于是他提出了我们今天称为素数定理的 conjecture:小于 X 的素数数量是 X 除以 X 的自然对数。他无法证明它。它是数据驱动的。这在当时非常革命性,因为它也许是数学中第一个真正重要且具有统计性质的 conjecture。通常你会讨论某种模式,比如素数之间的间隔是否有某种规律。但这个定理并不会告诉你在任何给定区间里恰好有多少个素数。它只是给出一个随着你走得越来越远而越来越好的近似。
这开启了我们称为解析数论的领域。它是许多这类 conjecture 的第一个,其中许多后来被证明,这开始巩固一种想法:素数并没有真正的模式,它们表现得像具有某种密度的随机数集。它们确实有一些模式,比如几乎都是奇数。它们实际上也不是随机的,它们是所谓的伪随机。生成素数并没有涉及随机数生成。但随着时间推移,把素数想象成如果它们只是某位神不断掷骰子生成出来的随机集合,变得越来越有成效。
这让我们能够做出所有其他预测。数论中有一个仍然开放的 conjecture,叫孪生素数猜想,说应该有无穷多对只相差 2 的孪生素数,比如 11 和 13。我们无法证明它,而且有充分理由说明为什么无法证明。但由于这种素数的统计随机模型,我们绝对相信它是真的。我们知道,如果素数是通过掷硬币生成的,我们就会——通过随机机会,就像无限只猴子在打字机前——一遍又一遍地看到孪生素数出现。
随着时间推移,我们发展出了这个非常准确的关于素数行为的概念模型,基于统计和概率。它主要是启发式和非严格的,但非常准确。少数几次我们确实能证明关于素数的事情时,它都与我们称为素数随机模型的预测相吻合。我们有这个 conjectural conceptual framework 来理解素数,而每个人都相信它。出于同样的原因,我们相信黎曼猜想是真的,也相信基于素数的密码学在数学上是安全的。这都是这种信念的一部分。
事实上,我们关心黎曼猜想的一个原因是,如果黎曼猜想失败,如果我们知道它为假,那将严重打击这个模型。那意味着素数中存在某种我们没有意识到的秘密模式。我想我们会非常迅速地放弃任何基于素数的密码学,因为如果存在一个我们不知道的模式,那很可能还有更多,而这些模式会导致 crypto 中的 exploit。这会是一个巨大震动。所以我们真的很想确保这种情况不会发生。
随着时间推移,我们已经相信了像黎曼猜想这样的东西。其中一部分是实验证据,一部分是少数几次我们能够得到理论结果时,它们总是对齐的。这个共识有可能是错的,而我们都只是错过了某个非常基础的东西。科学史上过去确实出现过范式转移。但我们真的没有一种方式来衡量这件事,部分原因是我们没有足够的数据说明数学或科学是如何发展的。我们只有一条历史时间线,也许还有 100 个历史转折点故事。
如果我们能够接触一百万个外星文明,每个文明都有不同的发展史和科学史,顺序也不同,那么也许我们真的有不错的机会理解如何衡量什么是进步、什么是好策略。我们也许可以开始形式化它,并真正拥有一个框架。也许我们需要做的是,开始创造大量小宇宙或模拟,让 AI 在里面解决非常基本的算术问题,或者其他问题,但让它们提出自己的策略来做这些事情,并拥有这些小实验室来测试。有人研究过,能够做 10 位数乘法的最小神经网络是什么。我认为我们可以从让小 AI 在简单问题上演化中学到很多。
01:09:48 – Terry 如何使用自己的时间
Dwarkesh Patel
你不仅必须非常迅速地学习新领域,而且要学到足够深入,可以对前沿做出贡献。所以在某种意义上,你也是世界上最伟大的 autodidacts 之一。你学习数学中新子领域的过程是什么样的?它看起来是什么样子?
Terence Tao
我们之前谈到了深度和广度。这不是一个纯粹的人类-AI 区分。人类中也有,我想是 Berlin 把人分成刺猬和狐狸。刺猬对一件事了解得很深,而狐狸对所有事情都知道一点。我绝对把自己看作狐狸。我经常和刺猬合作,有时如果有必要,我也可以变成刺猬。
我一直有一点 obsessive streak。如果我读到某个东西,感觉自己有能力理解它,但我不明白它为什么起作用,而且其中有某种 magic……有人能用一种我不熟悉的数学方法,得到一个我也想证明的结果。我自己做不到,但他们用他们的方法做到了,我想弄清楚他们的 trick 是什么。别人能做某件我觉得自己应该能做但又做不了的事,这会困扰我。我一直有这种 obsessive、completionist streak。我不得不戒掉电脑游戏,因为如果我开始一个游戏,就想把它玩到通关,玩完所有关卡。这是我学习新领域的一种方式。
我和很多人合作,他们教会我其他类型的数学。我只是和另一位研究另一个数学领域的数学家交朋友。我觉得他们的问题有趣,但他们必须教我一些基本技巧、什么是已知、什么是未知。我从中学到很多。
我发现写下我学到的东西很有帮助。我有一个 blog,有时会记录自己学到的东西。过去我年轻时,会学到某个东西,做出这个很酷的 trick,然后说,“好,我会记住这个。”然后六个月后,我就忘了。我记得自己曾经记住过它,但我无法重构自己的论证。最初几次,理解了某个东西然后又失去它,这非常令人沮丧。于是我下定决心,任何我学到的酷东西都应该写下来。这就是这个 blog 出现的部分原因。
Dwarkesh Patel
你写一篇 blog post 要花多久?
Terence Tao
这通常是我在不想做其他工作时做的事情。有些 referee report 之类的东西,当时让我觉得稍微不愉快。写 blog 感觉有创造性,也很有趣。这是我为自己做的事情。
根据主题不同,可能很快,半小时,也可能几个小时。因为这是我自愿做的事情,所以写这些东西时时间飞逝。相比之下,做一些我出于行政原因必须做的事情,那就是苦差事。顺便说一句,这些任务现在 AI 真的很有帮助。
Dwarkesh Patel
如果文明可以从第一性原理出发,决定如何使用 Terry Tao 的时间,把它当作一种有限资源,那最大的差异会是什么?如果无知之幕来决定如何使用 Terry Tao 的时间,而不是现在这样,会怎样?这个 podcast 就不会发生。
Terence Tao
尽管我会抱怨某些我不想做但必须做的任务……随着你在学术界越来越 senior,你会得到越来越多责任,更多委员会,等等。我也发现,很多活动我本来因为某种义务而不情愿参加……因为它在我的舒适区之外,所以它常常导致我和一些我通常不会交谈的人互动,比如你。我会学到有趣的东西,获得有趣的经历。然后我会有机会和其他我以前从未接触过的人建立联系。
所以我非常相信 serendipity。我确实会优化一天中的一部分,把它非常仔细地安排好。但我愿意留出一部分时间去做一些不是我平常会做的事情。也许这会浪费我的时间,但也许我会学到东西。更多时候,我会获得一种我本来计划不出来的正面体验。
所以我非常相信 serendipity。现代社会中也许有一种危险,不只是 AI 带来的,就是我们已经非常擅长优化一切。我们没有优化自己的优化。比如 COVID 时,我们很多事情转向远程会议,于是一切都被安排好了。我们在学术界仍然很忙。我们见的人数几乎和线下时一样多,但一切都必须提前计划。我们失去的是那种在走廊门上随便敲一下,或者喝咖啡时遇到某个人的偶然互动。那些偶然互动可能看起来不是最优的,但实际上非常重要。
当我还是研究生时,我会去图书馆找一篇 journal article。你必须 physically check out 那本期刊,然后读那篇文章。你可以翻阅,有时下一篇文章也很有趣。有时不是,但你可能会偶然发现有趣的东西。现在这基本上已经消失了。如果你想访问一篇文章,你只要把它输入搜索引擎或 AI,就立刻得到你想要的东西。但你不会得到那些如果以更低效的方式寻找时可能偶然发现的东西。
我曾经在 Institute for Advanced Study 待过一年,那是一个很棒的地方,没有干扰。你在那里就是为了做研究。最初几个星期非常好。你把这些一直想写的论文都写出来。你可以连续几个小时思考问题。但我发现,如果我在那里待超过几个月,就会耗尽灵感。我会感到无聊。我会更多地上网。
生活中其实确实需要一定程度的干扰。它增加了足够的随机性和 high temperature。我不知道安排自己生活的最优方式。它只是似乎奏效。
01:17:05 – 人类-AI 混合体将在数学中占主导地位更长时间
Dwarkesh Patel
我非常好奇,你预计 AI 什么时候能真正做 frontier math,至少做得和最好的人类数学家一样好。
Terence Tao
在某些方面,它们已经在做对人类来说无法完成的 super intelligent frontier math,但那是一个和我们习惯不同的前沿。你可以说计算器已经在做 frontier math,是人类无法完成的,但那是 number crunching。
Dwarkesh Patel
但完全替代 Terry Tao。
Terence Tao
我是说,你需要我来做什么?
Dwarkesh Patel
你之后就去上所有 podcast。
Terence Tao
这也许不是正确的问题。我认为在十年内,很多数学学生目前所做的事情——我们花大部分时间做的事情,以及我们今天放进论文里的很多内容——都可以由 AI 完成。但我们会发现,那其实不是我们所做事情中最重要的部分。
一百年前,很多数学家只是求解微分方程。物理学家需要某个系统的精确解,于是他们雇一个数学家,辛苦地做微积分,求出这个流体方程的解,或者类似东西。一个 19 世纪数学家会做的很多事情,现在你可以调用 Mathematica、Wolfram Alpha、计算机代数软件包,或者最近调用 AI,它几分钟就能解决问题。但我们向前走了。之后我们研究了不同类型的问题。
一旦计算机出现——computer 过去指的是人。人们过去辛苦地制作对数表,像 Gauss 一样算素数,这些都已经外包给计算机了。但我们向前走了。
在遗传学中,给单个生物体测序基因组,曾经是一个遗传学家的整个 PhD,需要仔细分离所有染色体等等。现在你只要花 1000 美元,寄给测序仪,就能完成。但遗传学这个学科没有死。你转移到另一个尺度。也许你研究整个生态系统,而不是个体。
Dwarkesh Patel
我理解你的观点,但什么时候大多数数学进展,或者几乎所有数学进展,都会由 AI 完成?如果你今年发现一个千禧年大奖难题被解决了,你会给 95% 的概率认为是 AI 自主完成的。肯定会有这么一年。
Terence Tao
我想我确实相信,人类加 AI 的混合体会在数学中占主导地位更长时间。这取决于情况。它需要一些超出我们已有东西的额外突破,所以它会是 stochastic 的。我认为目前 AI 在某些事情上非常擅长,但在其他事情上真的很糟糕。虽然你可以在上面添加越来越多框架来降低错误率,让它们彼此之间更好地工作,但感觉我们还没有全部 ingredients,无法真正拥有一个对所有智力任务都令人满意的替代品。
目前它是互补的,不是替代品。因为当前水平的 AI 会以许多方式加速科学,希望新的发现和突破会更快发生。也有可能,因为它破坏了 serendipity,我们实际上抑制了某些类型的进展。在这个时间点,一切皆有可能。我认为世界现在非常、非常不可预测。
Dwarkesh Patel
对于正在考虑数学职业,或者处在数学职业早期的人,尤其考虑到 AI 进展,你有什么建议?他们应该如何以不同方式思考自己的职业,如果确实需要不同的话?
Terence Tao
我们生活在变化的时代。正如我说的,我们生活在一个特别不可预测的时代。我们几个世纪以来视为理所当然的事情,可能不再成立。我们做所有事情的方式,不只是数学,都会改变。在许多方面,我会更喜欢那种更加无聊、安静的时代,事情和 10 年前、20 年前大体相同。但我认为人们必须拥抱这样一个事实:会有很多变化。你学习的东西,其中一些可能会过时或被革命性改变,但有些东西会被保留下来。
你必须始终留意以前无法做到的事情所带来的机会。在数学中,过去你必须经历很多年教育,成为数学博士,才能为数学研究前沿做贡献。但现在,很可能在高中阶段,或者其他阶段,你就可以参与一个数学项目,并因为所有这些 AI 工具、Lean 和其他东西而真正做出贡献。
会有很多非传统学习机会,所以你需要一种非常适应性的心态。仍然会有空间去追求纯粹出于好奇和玩耍的东西。你仍然需要获得自己的 credentials。在一段时间里,接受传统教育、以老式方式学习数学和科学仍然很重要。但你也应该对非常不同的科学方式保持开放,其中一些还不存在。这是一个令人害怕的时代,但也非常令人兴奋。
Dwarkesh Patel
这是一个很好的结尾。Terence,非常感谢。
Terence Tao
很荣幸。
热门跟贴