反复做“预测下一步”这件事,和一个作者真正去构思、组织、写出一篇文章,差异是很大的。
编译 | 王启隆
出品丨AI 科技大本营(ID:rgznai100)
在心理学界,有一个相当奇特的实验:那些接受过肉毒杆菌(Botox)注射、面部肌肉被暂时冻结的人,在阅读他人的面部表情时,其同理心和理解情绪的能力会显著下降。人类之所以能感知到对面的喜怒哀乐,很大程度上依赖于潜意识中对他人面部肌肉的“微模仿”。
科普视频博主 Grant Sanderson(3Blue1Brown 的主理人)在最近一档播客里,用这个例子做引解释:AI 写的文章之所以有一股挥之不去的机器味(slop),就是因为机器没有肉身。它能背下所有人类的词汇,但由于缺乏生理上的模仿机制,它根本不具备真正的心智模型(Theory of Mind),也无法理解它所写下的情感。
这种对“理解”的纠结,贯穿了 Grant 所有的思考。在数学这个大模型进步最快的领域里,真实的图景其实极度偏科。靠着暴力搜索,AI 已经能在 19 秒内做对奥数(IMO)里的几何题;但碰到更像拼图和谜题、需要极强游戏心态的“组合数学”,它依然疯狂卡壳。
Grant 觉得,即便哪天 AI 靠算力堆砌证出了黎曼猜想,也可能不是什么好事。如果它给出的证明长达一千页,全是没有美感的逻辑推导,这在学术上虽然是正确的“证明(Proof)”,但对人类来说依旧是看不懂的,因为它没有提供任何“解释(Explanation)”。人类需要的,其实是被深度压缩、能带来直觉的优雅概念。
在与 Dwarkesh Patel 长达一个多小时的白描式对话中,Grant 聊了聊算法的局限、人类心智的独特,以及教师和科普作者在后 AI 时代唯一的安全网:
没有可以用来模仿表情的“面部肌肉”,AI 永远写不出触动人类灵魂的文章。 人类理解情绪的底层逻辑是“潜意识中的肌肉微模仿”。AI 没有肉体,没有真实生理上的模仿机制,这导致它在底层不具备理解他人想法的心智模型。大模型在语法上可以做到完美,但在触动情感的层面,目前还只是悬空的词汇游戏。
即使 AI 证出了黎曼猜想,如果写满了一千页,对人类也毫无意义。 科学的最终目的是理解,而不仅仅是堆砌逻辑。无可挑剔的逻辑链条只能叫“证明”,只有被高度压缩、能带来直觉的概念才叫“解释”。如果 AI 的证明极其漫长且枯燥,人类在其中并不能获得对数学和客观宇宙的洞察。
AI 可以把课讲得完美无缺,但家长只愿意为“活人”老师付高薪。 教学和知识的筛选本质上是一种人际社交现象。教育不仅是单纯的信息单向传输,更是基于人际信任和情感互动的教练过程。即使 AI 再完美,只要人类还生活在社会关系中,活人教师提供的情感联联结和督导就是无法被替代的。
能 19 秒盲解奥数几何题的大模型,在小学生的组合数学谜题前依然极度挣扎。 靠着暴力搜索算法,AI 自 2024 年起就能实现几何题目的秒通关 ;但在面对更需要游戏心态、偏拼图性质的组合数学时,由于无法单纯用物理和暴力计算解决,它依然卡壳。模型的智能并不是平整的,它依然有着巨大的短板。
领取地址:https://boolan.com/enroll/c1049/event/1152?channel=gzh
解出几何并不等于有了创造力:大模型的数学天赋其实极度偏科
主持人:今天和我聊天的是 Grant Sanderson。他运营着 3Blue1Brown,现在也在做一个新项目,记录 AI 在数学领域取得的进展。我之所以特别想和你聊这个,是因为在所有领域里,AI 在数学上的进步似乎是最快的。这里正在发生的事,以及我们正在看到的 AI 进步究竟如何发生、又在哪些地方没有发生,都会告诉我们:随着 AI 变得越来越强,世界其他部分将会发生什么。
我想先从一个问题开始。这是我三年前第一次采访你时问过你的。我当时问:一旦我们有了能在国际数学奥林匹克竞赛(International Math Olympiad, IMO)里拿金牌的 AI,那不就等于 AGI 了吗?这些题这么难,它难道不就该能做任何人类能做的事了吗?
你当时给了一个答案。回头看,那真是既明智又正确。你说,这只会成为又一个基准,就像 AI 正在通过的其他那些基准一样。显然,从那之后,AI 的确在一种更普遍的意义上变强了,但它不会在那个时刻突然出现某种顿悟时刻(AHA Moment)。
首先,我很好奇,你对为什么这件事最终确实如此,有什么直觉判断。其次,我也很好奇,你觉得这种“狭窄能力”还能持续多久。等到 AI 真正解决了某个千禧年大奖难题(Millennium Prize Problem)的时候,你是否觉得,经济中仍然可能有大量人类正在做、而 AI 依旧无法自动化的任务?
Grant Sanderson:这是个很有意思的问题,因为在不知道“解法长什么样”之前,其实很难回答。拿 IMO 来说,三年前你那个问题背后的直觉是:这些题目的某些解法,看上去确实需要创造力。出题人也确实会刻意设计那种不容易靠训练硬刷出来的题。
但 IMO 有个不太光鲜的秘密:其中很多题,其实你真的是可以训练出来的。就像你说的,现在整个“AI 与数学”项目正在推进,而它之所以有意思,其中一个原因正是:AI 的能力前沿是尖刺状的,而数学恰好就在其中一根尖刺上。
不过,这种尖刺性本身又带带有分形结构。因为如果你放大去看数学内部的具体进展,就会发现,有些事明显比另外一些容易得多。只说 IMO 的话——到现在其实都已经算旧闻了。它们真正表现得相当不错,已经是两年前的事了。2024 年如果不是因为一个原因,他们本来已经能拿金牌了。它们真的很强,几乎可以说是“冷启动”直接解几何题。IMO 题目大致有四类:几何、数论、代数、组合。几何题从 2024 年开始,它基本上 19 秒就能解出来,因为它本质上是个暴力求解器。
这里还有另一个不太光鲜的秘密:对学生来说,几何题其实也有某种“暴力破解”的办法。真正的变数在组合题:它更像是在玩、更像谜题。那一年的试卷里有两道组合题,但并不是每年都这样。总共四类题、六道题,所以到底哪一类会出两道,其实有运气成分。如果那年多几道几何题,它们就已经拿到金牌了。
但它在组合题上会挣扎。一个想替“数学作为人类最后堡垒”守住火种的人,可能会说:这些题才更需要创造力。即便如此,你那个问题背后的精神——如果它能解一个千禧年大奖难题,那是否也意味着它能胜任很多白领工作——其实是在暗示:从我们现在所处的位置,到那个阶段之间的瓶颈,很可能和让它更擅长白领工作的是同一种瓶颈。
我们可以从几个不同角度来描绘。如果聚焦于黎曼假设(Riemann hypothesis),它的解法会是什么样子?这些系统在某个特定知识领域里极其强,能学得非常深;然后再在另一个领域也极其强,再在另一个领域也一样。你也提过这一点。一个系统拥有超人的广度,对所有领域都知道得这么多,但偏偏还找不到把它们连起来的那些“闪电时刻”,这很奇怪。
不过我觉得,我们现在其实已经开始看到一点火花了:它开始能在自己擅长的不同领域之间找到连接。我们等会儿应该会聊到这个。如果黎曼假设的解法本质上就像这样——在不同领域之间建立连接——那在我看来,这和做好白领工作所需的能力,还是挺不一样的。
而且,也有理由相信,那可能正是解法的性质所在。不知道你知不知道 Hugh Montgomery 和 Freeman Dyson 在普林斯顿高等研究院(IAS)的那个故事。这有点岔题,但非常有趣。我不记得是不是在午餐时聊起来的,总之有个数论学家在研究黎曼 zeta 函数零点成对出现时的统计相关性。
黎曼假设讨论的是:这些零点是不是全都落在一条直线上。他找到一个可以量化提问的问题,然后写下了一个公式,样子像是 1 除以正弦平方之类。物理学家 Freeman Dyson 一看就说:“我认识这个表达式。它会出现在随机 Hermitian 矩阵(random Hermitian matrices)特征值的研究里。”而那又和研究原子核能级有关。
于是,人们意识到:这两类看似完全不同对象的统计性质竟然相同。这就引发了进一步探索:随机矩阵理论(random matrix theory)中,是否有某些方面与黎曼 zeta 函数有关。我觉得那里到底还有没有果子可摘,可能至今都还算开放问题。但这种把两个不同领域桥接起来的动作——如果最终黎曼假设的解法,真的就是把这种思路再向前推进一步——那就非常像我们预期大语言模型(LLM)会擅长的数学方式。它们精通量子物理,也精通解析数论(analytic number theory),按理说,它们应该能看出这种相似性,而不需要像 Montgomery 和 Dyson 那样,恰好在午餐时碰上、恰好聊到。这和白领工作完全不是一回事。你之所以很难把 AI 当成编辑来用,并不是因为它“什么都懂,只差替你把那个连接点找出来”。
另一种可能则是……该怎么类比呢?也许可以想想费马大定理(Fermat’s Last Theorem)。从费马提出这个问题,到最后真正的解法出现,中间隔了很久,而最终的证明动用了极其沉重的数学 machinery(理论机器)。这个问题之美在于,它可以说得极其简单:关于 x^n + y^n = z^n,当 n 大于 3 时,是否有整数解?
你会以为这应该存在某种“初等数论”的解法,但据我们所知,并没有。实际的解法——也许未来会有更简单的,但眼下看来,也许事情就只能这样——是建立在一整套极其复杂的思想之上:一座围绕椭圆曲线(elliptic curves)建立起来的高山,和另一座围绕模形式(modular forms)建立起来的高山。你必须先把这两座山都建起来,之后才能提出那个把它们联系起来的正确问题。
如果黎曼假设的解法需要“再建一座新的山”,那种能力——提出正确新思想的能力——和它们现在表现出来的智能性质,感觉就足够不一样了。毕竟,这并不是你雇一个视频剪辑师时需要的能力。但如果它真的能够“建山”,能够提出那种正确的新理论,凝结出我们该如何理解一个主题,那么这就是一种高得惊人的智能层级了。若它具备这种能力,而这种能力却不渗透到数学之外的经济其他方面,那反而会令人吃惊。
主持人:至少可以这么说:哪怕它还不能字面意义上做每一件白领人类能做的事,它带来的影响,也会是“变革性的”;而 IMO 拿金牌这件事本身,并没有给世界带来那样的变革。
首先我得承认,我现在完全是在移动门柱(moving the goalpost)。两三年前我采访 Dario 的时候,我问的是:为什么 AI 明明有如此庞大的知识储备,却还不能把不同想法连接起来,并借此做出新发现?这看上去像是这样一种事:哪怕是一个中等聪明的人,如果知道这么多信息,也应该能够根据“这种药会引发偏头痛”“另一件事也有类似效应”等线索,推导出一个医学诊断,或者想到“也许同一种药既能治这个,也能治那个”。
从外行视角看,数学显然就像是这样一种领域:比如对单位距离问题猜想(unit distance problem conjecture)找到反例,就是这种能力的典型体现。所以我确实是在移动门柱。那接下来就可以问:下一个基准会是什么?既然 AI 现在已经能做到“我们本来就觉得它应该能做到”的事,那么再往后,什么样的事情会显得真正了不起?
这里有几个候选。一个是:它能不能先提出“有意思的问题”;另一个是:它能不能创造出新的对象或新的概念化方式,从而建立一个领域,或者统一多个领域。先说第一个。我们现在之所以有这些千禧年大奖难题,是因为数学家先把它们挑了出来。黎曼之所以提出黎曼 zeta 函数这个对象,是因为他觉得这个函数的零点可能和素数的分布密度有关。
能够想清楚:为什么我们一开始就觉得这值得研究?为什么我们要构造这样一个对象,并围绕它提问题——而且是提这个特定的问题——这似乎才像是下一个真正的基准。
Grant Sanderson:你这里举的两个例子都非常好。顺便说一下,如果有人对单位距离猜想好奇,Polylog 这个数学频道有一期特别棒的视频讲它。
所有这类讨论,都会迫使人们反思“做数学”到底是怎样一个过程。大家会开始想:“这个东西居然能做出这种惊人的事,那这对我们意味着什么?” 那期视频里有个人引用了一句很精彩的话:“好的数学家证明定理,伟大的数学家提出猜想,而最伟大的数学家提出定义。” 这几乎和你的框架一模一样。我们需要一个“猜想生成器”,然后还需要一个“定义生成器”。那才是顶级数学家。
我不太知道怎样才能把这变成一个 benchmark(基准)。通常我一想到“benchmark”这个词,想到的就是一种门柱:球要么进门了,要么没进。你可以很明确地说:“对,这件事完成了。” 这部分是为了做 RLVR(基于可验证奖励的强化学习),但也不只是为了训练;更是为了让你知道,在评价答案时自己没有偷偷移动门柱。OpenAI 可以拿“推翻单位距离猜想”做头条,因为那是一个清晰、明确的目标:它完成了。可如果你试着想象一个头条是“GPT-5.4 提出了一个非常好的猜想”——“我们保证,大家都觉得这是个好猜想。” 这就完全不是同一个冲击力了。
但这并不意味着它不是正确的思考方向。我会很惊讶,如果这件事最终真能表现成某种 benchmark 的样子,比如打一个分,说明它“通过了”,因为我们量化了一个猜想有多好。我猜,真正会发生的情况更可能是:数学家和它合作时,谈论它的语气会出现一种整体性的变化。
你刚提到的那个系列——现在其实还没做出来,估计还得几个月——形式上是我们采访很多数学家。有意思的是,我们一年多以前就开始做这件事了,而现在回头看,会发现他们谈 AI 的语气,在 2025 年中期和现在的 2026 年之间,已经发生了一点变化。放在现实世界里,这其实只是很短的时间;放在 AI 世界里,却像隔了好几个纪元。我们现在真的能在这几个“纪元”之间看出语气的变化。
我觉得,衡量“生成猜想的能力”,最终会更偏主观一些,要看这种语气变化。数学家会说,他们不只是拿它来解题;而是当他们退后一步、思考“这个研究领域本身应该往哪里走”时,和某个模型的对话,真的对他们有帮助。我不觉得你会以“又打下了一个 benchmark”的头条形式看到这件事。
概念性突破的验证循环,可能长达一个世纪
主持人:这点非常有意思。那些你无法把它做成基准的东西,通常也正是——至少在当前范式下——你没法轻易训练出来的东西。某种意义上说,benchmark 和 training environment(训练环境)之间并没有本质区别。
人们很容易提出某种二分法,说“这里有一个深层原因,解释为什么 AI 做不到某件事”,结果往往只是因为你想错了,过不了多久它就做到了。不过我还是准备提出——
Grant Sanderson:——你还是会提出几个的。
主持人:是的。很可能事实证明,在相对不远的将来,我们确实会找到办法训练 AI 去做这些事。但看起来,这大概得和当前的 RLVR 训练方式不一样。
我真正好奇的是——而且在我看来,这也是推动数学乃至科学整体很多重大进展的核心动力——提出一种理解问题的新方式,或一种理解世界的新方式:它能统一不同领域,催生全新的学科,甚至解决那些我们一开始根本没想解决的问题。爱因斯坦之所以会思考广义相对论(GR),并不是因为他想解释光为什么会弯曲、黑洞为什么存在。这些现象甚至不是他当时迫切要解释的东西。
至于数学,作为一个完全外行、甚至可能根本没说到点子上的人,我的印象是:对于同一个具体问题,往往存在不同的证明路径。有些路径会催生一种新的概念化方式,进而产生一个全新的领域、全新的思维方式,并且极其富有生产力;另一些则不会。我好奇,你能不能讲讲伽罗瓦(Galois)如何提出群论(group theory),以及为什么他关于“五次方程没有根式解”的那套思路,和阿贝尔(Abel)几年前给出的另一个证明不一样——后者并没有诞生群论。
如果你想建立一个验证循环,来判断“群论是不是一个有趣的概念”“这里到底有没有做出真正有价值的东西”“为什么这个证明更好”——那么这个验证循环很可能长达一百年。它要等密码学出现,等物理学进展,等群论里的思想被发现可以用来理解物理中的对称性。为什么它一开始就是个有生产力的概念,这个验证循环可能就是一百年。
Grant Sanderson:你这话戳中了我的某根神经,因为我原本 2022 年想做一个关于伽罗瓦的项目,后来搁置了,但我人生中有一年都在想他到底做了什么。这里有个风险,就是我可能会一不小心讲太久、太细,你得适时拉住我。
它确实是你这个问题的完美例子,因为要解释为什么那是个有价值的洞见,答案并不来自“立刻有用”。如果你在想 RLVR 环境,这种事情确实很难做。但也有意思的是:即便放在当时的人类验证者那里,这种价值被承认,也花了很长时间。
爱因斯坦和广义相对论不一样,人们很快就能感觉到这是个好理论。伽罗瓦理论(Galois theory)之所以这么有趣,恰恰在于:你真的能看到,一个想法在整整一百年的时间里,流经很多不同人的头脑,最后才沉淀成数学共同体都认定“这是好东西”的形态。稍微往回退一步……这个问题的背景你想听吗?我们都在学校学过二次公式。
主持人:我还以为你要说“我们都在学校学过群论”呢,看来是我错过那节课了。
Grant Sanderson:“我们都学过群论”……不是,我是说二次公式。这东西早就知道了。某种意义上,希腊人就已经会解二次方程了,只不过他们并不真的用代数方式来写。真正把公式写出来的,其实是阿拉伯人。
接下来有个很有意思的故事:几个意大利数学家彼此“决斗”——不是真的打架,而是智力挑战——他们秘密地找到了三次方程的公式,不久之后又找到了四次多项式的公式。于是,一个很自然的开放问题就出现了:能不能找到一个解五次方程的公式?
四次公式本身已经复杂得像怪物一样。真要把它完整写下来会很夸张,所以人们通常不会整条写完,而是把它拆成一种程序性的步骤。你很容易相信:这些公式的复杂度会指数级增长。所以很多很多年里,其实都没人真正回答这个问题。
通常我们会说,阿贝尔是第一个证明“不行”的人。他是个年轻、早慧的挪威数学家。他证明了这件事根本不可能。不是说“我们还没找到五次公式”,而是“不存在这样的公式”。他一开始其实以为自己找到了一个,但后来证明了这是不可能的。
不过我觉得,真正的功劳还得再往前追一点,说到拉格朗日(Lagrange)。是他先提出了研究这个问题时“该问什么样的问题”。我先说个高层次版本。他在研究这个问题时意识到:能不能解这些多项式,与理解某些代数表达式的对称性,有非常密切的关系。
比如我写下 a + b + c + d,只是四个变量相加,你怎么置换这些变量,这个表达式的值都不会变。但如果我写 a + b*c + d,那有些置换不会改变它,有些则会。他有一个很漂亮的洞见:如果你能找到一种带有四个自由变量的表达式,而所有置换作用在它上面只会得到三个不同的值,那么这件事竟然和把四次问题降到三次问题之间存在某种意想不到的关系。
于是他开始思考:如果我们要解决五次多项式,能不能把这个方法推广过去?但要推广,你就必须找到一个含有五个自由变量的表达式,让它在所有 5! 种置换之下,最多只取四个值。这个问题甚至都可以放进益智书里,当成一个十二岁孩子也能参与思考的脑筋急转弯。你并不会觉得这问题离自己很远,反而很容易直觉上认为:这大概是不可能的。
所以拉格朗日坐在那里,说:“要解决五次方程,我有这么一个策略。但从这个策略来看,它似乎行不通。” 但这是历史上第一次,人们产生了这样一种直觉:某种关于“对称性”的问题,才是研究这些多项式的正确入口。在他脑子里,这还只是一种方法。他还没有发现,这里其实存在更紧密的联系。也还没有人意识到,也许比起去找公式,我们更应该反过来问:你能不能证明这种公式力根本不存在?是他埋下了这颗种子。
大概五十年后,阿贝尔肯定读过拉格朗日,而且受了影响。我们也知道,伽罗瓦在爱上数学的时候非常崇拜拉格朗日。很难想象,这两位年轻天才围绕同一个问题提出如此相近的洞见,不是从拉格朗日那里长出来的。
但回到你的问题:你能否验证“这是个好想法”?拉格朗日本人当时并没有真的得到什么结果。他没有解决这个问题,所以也不是因为“问题解决了”才知道自己提问提对了。他只是提出了这个问题。这个问题本身具有某种内在趣味。而且在当时,它对数学也并不算特别重要。大多数人更关心的是物理应用。这几乎像是一种边缘的、休闲的、业余爱好式的事情。
阿贝尔开始研究五次方程,但后来有人建议他把更多精力放到椭圆函数(elliptic functions)上,所以在英年早逝之前,他其实更多时间花在了那边。他 26 岁就因肺结核去世了。而伽罗瓦则是把前面那些想法推向了正确的方向。他真正理解了“抽象”的本性。他在监狱里写过一段很精彩的文字。我们甚至可以单独聊他的生平,那真的非常传奇。总之,当时他还是个少年,人在监狱里,之前试图投稿的数学论文也都被拒了。
所以,再想想“可验证奖励”这件事:当时充当 verifier function(验证函数)的“学院体系”,其实是在拒绝他写的东西。坦白说,那些稿子也确实不太连贯。它不是一个完整的证明,也没有清楚地说明这个理论到底是什么。他不过是个还在摸索中的年轻数学家。从已验证奖励的角度看,结论就是:“不行,不合格。” 但他内心有种直觉,觉得这里面有东西。
于是他写下了一篇有点像檄文的文字,谈数学的本性如何随着时间发生转变。他提到代数本身的诞生:人们从只考虑数字,转而开始熟练操作纯粹的代数表达式,不再执着于这些表达式必须立刻被解释成什么。他隐约感觉到:我们应该再上一个抽象层级。不是去想那些公式本身,而是去想那些公式背后隐藏着什么样的对称性。但那时这依旧是个定义得很不清楚的理论。
如果你说,已验证奖励在于“他解出了别人没解出的题”,那也不成立,因为阿贝尔已经证明了五次方程一般无解。所以伽罗瓦到底做了什么?原则上,伽罗瓦理论能让你拿一个具体多项式,然后给出规则,判断它的根能不能写出来。比如说,对于 x^5 - 1,你知道有一个解是 1;对于 x^5 - 2,你可以写出 2 的五次根。
所以逻辑上并不是说“所有五次多项式都写不出解”,而是:你能不能找出一个具体例子,并证明它不能用根式写出?可连这件事,他都没有完全做出来。他甚至没有拿一个特定例子明确证明“这个就不行”。所以,哪怕只是描述“他到底解决了什么问题”,都非常棘手。
后来他就死了。那是个非常浪漫化的故事:他去决斗,人们还传说他在决斗前一夜把所有想法都写了下来。但实际上,他在那之前已经试图发表五次了。
主持人:研究五次方程看起来对身体不太好。
Grant Sanderson:非常不好。年轻天才们,千万别去碰五次方程。他在临死前托自己的兄弟和好友,把笔记送给高斯(Gauss),送给当时最重要的数学家,因为他觉得那里头有东西。可即便如此,也没立刻产生什么影响。他的兄弟和朋友努力想把这些东西推出去,但又过了二十年,Liouville 才看到这些笔记,觉得也许里头真有点东西,于是开始整理、理解伽罗瓦到底想说什么。可即便如此,又过了二十年左右,Jordan 才真正整理出某种接近现代群论表述的东西,并把它归功于伽罗瓦。
你完全可以想象,如果历史稍微换个走向,这些想法也许会从数学的其他地方冒出来;如果伽罗瓦不是这么一个戏剧性十足的人物,他甚至可能被历史遗忘。从拉格朗日最初隐约觉得“也许研究根的对称性才是对的方向”,到后来一切终于长成现代群论的样子,中间横跨了非常漫长的时间。更何况在这个过程中,很多时候它甚至连“人类评审的已验证奖励”都过不了。它摆到某个人桌上,对方说:“我真看不出这里有什么。” 必须得有某一个人识别出它。
而且即便如此,在那个阶段它也根本没解决什么实际问题。你刚提到密码学、物理之类的应用,要到二十世纪,你才会看到像 Gell-Mann 那样的人开始想:某些群如何分解,也许和粒子是由什么构成的有关。他根据一个纯粹的群论问题,预感到了夸克(quarks)的存在。群论最有意思的应用之一,居然是预测夸克的存在。这已经离拉格朗日太远太远了。
所以问题变成:有没有一种衡量进展的方式,不是看“你解没解决一个问题”,而是能捕捉到伽罗瓦脑子里那种“我觉得这里有东西”的直觉?能捕捉到拉格朗日说“我觉得这才是正确思考方式”的那种直觉?能捕捉到 Liouville 说“这个死去多年的年轻人留下的零散笔记,也许有门道”的那种直觉?这太难精确描述了。
我现在在做的另一个视频系列,主题是“压缩就是智能”(compression is intelligence)。虽然我不会完全从这个角度切入,但“更小、却更有预测力的表达,显得更聪明”,这个想法确实有点道理。更小、却更有预测力的表达,显得更聪明。所以我会想:我们能否围绕这一点构造某种可验证奖励?不是只看“你解出来没有”或“它到底解了什么”,而是看:为了做到这件事,你所需的概念有多“精炼”。
回到“如果 AI 解出黎曼假设,那会是什么样”。我觉得还有第三种可能:它就是单纯比我们更能硬做。就像费马大定理,理论上也许存在一个初等证明,只不过要写上几千页,而且完全不成体系。相比之下,用椭圆曲线这些东西去理解它,视角就干净得多。也许黎曼假设也有一个上千页的证明,但谁也无法从中真正学到什么;而我们真正想要的,是那种简洁、压缩后的版本,让人类可以理解。
也许,你甚至得把 Kolmogorov complexity(柯尔莫哥洛夫复杂度)纳入对“优雅”这一概念的量化尝试。我不觉得这件事容易,但如果你想奖励的是伽罗瓦式的直觉,而不仅仅是“你有没有解出一个问题”,那可能是你不得不做的事。
主持人:企图为科学找出这样的启发式标准,确实很难。但很显然,人类一直以来就是以某种方式在做这件事;而显然,AI 在某个时刻也会做到。
Grant Sanderson:而且这件事之所以重要,不只是因为“可验证奖励”,更因为归根结底,我们的目标是“理解”,是人类的理解。即便你真的拿到某个数学问题的千页证明,或者某个宏大的新物理理论,最终目标依然是理解。
也许,如果目标只是预测能力,那我们完全可以让自动化工程师去造火箭飞船,哪怕我们根本不知道它们是怎么工作的,只要能飞到其他恒星就行。但总会有很多人想要理解。你仍然会想要一种“压缩函数”,把这种复杂的思路提炼成那个正确的版本,就像牛顿的万有引力定律之于杂乱经验事实一样。你仍然会希望训练 AI 去做到这一点,去找到那种压缩后的表示。
我们不仅需要正确的定理,更需要能带来直觉的、被深度压缩的“解释”
主持人:很多人,特别是在数学领域,会担心这样一种情况:AI 会证明黎曼假设,但我们的数学理解并不会因此变得更好。关于这个担忧,我有几个问题。第一个是:你是否认为这件事真的值得预期?
人类在处理大型问题时之所以会发明一般性的、自然的对象和中间目标,不就是因为这对于处理复杂而重要的问题本身就是有用的吗?从理论上说,解决黎曼假设,难道真会比“提出与这个问题相关的自然抽象”更简单吗?
第二个问题是经验层面的:当今天的 AI 在问题上取得进展时,我们观察到的是这种情况吗?比如 AI 为单位距离猜想找出那个反例时,你其实可以直接读它的思维链(chain of thought)。对我来说,那当然是看不懂的,因为防我不懂数学;但看起来对其他数学家来说是可以理解的。它使用的是数学中已有的概念,用自然语言去证明它们之间的关系。结果就是,它加速了我们对这个对象与这个猜想之间联系的理解。
从经验上看,这真的是我们应该担心的事吗?
Grant Sanderson:我觉得这要看解法的性质……如果把“如何解决黎曼假设”拆成三种可能路径……今年另一个大新闻是某个 Erdős 问题,编号 1196,跟所谓的 primitive sets(原始集合)有关。那个成果就带有一种很明显的特征:它把一个看似属于别的领域的想法带了进来。只要你把那个基本思路讲给一个内行数学家听——你说:“如果我们用一个马尔可夫链过程(Markov chain process),不是从上往下,而是从下往上以概率方式去证明这个东西是 1,并引入冯·芒戈尔特函数(von Mangoldt function)呢?”
如果你对一个懂行的人这么说,对方马上就知道该怎么往下推进。那种情况就是:你有一个很小的想法,它体现为“这个领域的专长”加上“另一个领域的专长”,中间用一道小闪电把它们连接起来。这种东西会非常容易被人类理解,因为你只需要展示这条连接的起点和终点。
如果它的性质是“建山”,那你就得投入大量时间,去理解这座新建的山,因为那不只是两山之间的一道闪电,而是一条全新的脉络。如果进展的性质只是“纯粹拼体力”——一条超长的推理链,没有新理论——那你就确实会担心这种“消化过程”的问题。所以我不觉得有唯一明确的答案,关键取决于那个解法长什么样。
在“建山”这一路上,反而会特别有意思。它默认会像伟大数学家提出新理论那样,人类天然可以理解吗?还是说,它建起来的是某种异质的、陌生的山,我们得重新训练自己去适应它所使用的抽象方式?
这里最接近的例子,大概是 abc 猜想(abc conjecture)的那个“被宣称的解法”。这个话题我们最好别深聊,但它大概率并不是一个正确的证明。大致情况是:一位本来很有声望的日本数学家,提出了一整套全新的思考方式。数学家们花了很长时间,才只是勉强读懂他在说什么。那种感觉就像是一块“外星数学”:它是在建理论,而不是在写一条冗长推理链。他把它称作 inter-universal geometry(宇宙际几何)。
最糟糕的担忧是:如果 AI 做出这种事,那么就会像 abc 猜想那样,人们花好多年爬那座山,最后却发现:“糟了,这根本不对。” 如果它最后被证明是错的,但一开始又看起来特别像对的,那会很麻烦。即便它其实是对的,光是为了爬上一座新山,本身也已经要花掉巨量精力。
主持人:如果我们真的走到那种局面,David Bessis 有一篇非常棒的博客文章,题目叫《定理经济的坍塌》(The Fall of the Theorem Economy)。他在里面说,从历史上看,数学其实是在提出定义、提出问题,然后围绕它们去证明定理。证明定理这件事拿走了绝大多数荣誉,但本质上它其实寄生于“提出定义”这件更根本的工作之上。
从历史上说,这种荣誉分配并不成问题,因为如果你提出了一个定义,通常你也会顺带成为那个提出定理的人。但现在,如果真正有价值的工作在于提出洞见,而 AI 又把后半段自动化了……
设想一种场景:AI 像阿贝尔那样,针对世界上很多重要猜想都给出了直接论证,于是我们手里有了这些证明。接下来就轮到人类或者未来的 AI 去做整合。虽然我对这些论证本身并没有任何对象层面的理解,但我敢肯定:如果你能接触到它,它一定会让你更容易思考“这里到底发生了什么”。会不会存在某种更深层的方式,让我们理解“为什么这个证明成立”,并因此更容易提出群论背后的那类思想?
Grant Sanderson:我觉得那会极其有帮助。发现新数学的过程,有很大一部分其实就是不断犯错。你在试图解一个问题时,那种感觉不是“我一直都在沿着正确路径上山”;更多时候,它像是一种随机的醉汉漫步。你试了一个方向,结果错了;然后你不断意到自己错了。如果至少你已经知道:你现在正在努力消化的这个东西,最终确实会通向一个正确解法——那本身就已经是进展了,因为你知道它最终会通向解。
近代数学史上有很多这种例子:证明出现得远早于理解。很多时候,“手已经伸得比理解力更远了”。我最喜欢的一篇论文开头之一——它甚至不是研究论文,更像是科普性文章——作者是 Timothy Chow,他当时在试图理解一个叫 forcing(强迫法)的概念。有一个问题叫 continuum hypothesis(连续统假设),物粗略说就是:自然数有一种无穷大小,实数有另一种无穷大小,那么两者之间还有没有第三种无穷大小?
答案既是“有”,也是“没有”,取决于你采用什么公理系统。它超出了我们通常公理系统的决定范围,这本身就是一个很有意思的答案。但描述它的方法非常难懂,也就是 forcing。在篇那文章开头,他写道:大家都知道什么叫“未解决的研究问题”;我想提出一个概念,叫“未解决的讲解问题”。确是,我们证明了它,但我们并不真正知道它为什么是真的。
然后他尝试给这个“讲解问题”提供一个部分解答。你大概能理解为什么我特别喜欢这种 framing(框架),因为这基本就是我的人生。我并不做研究数学;我全部关心的是:什么才是理解这件事最清晰的方式——哪怕它早就已经被证明了。证明和解释是两回事,而我觉得你现在强调的,正是这种区分的重要性。
主持人:对。我觉得那会成为最核心的激励。或者说,激励机制本身必须改变,不只是数学,其他科学领域也一样:从“证明关于世界的某些事情”,转向“把证明整合成问题,或者整合成更高层次的洞见”。
我们刚才吃午饭时还在聊你最近有个关于设计(design)的演讲,说设计如何帮助我们理解事情。如果推到极限,某种想法的“概念化方式”和这个想法本身之间,真的有区别吗?比如你想想狭义相对论、时空图(spacetime diagrams)、闵可夫斯基时空(Minkowski spacetime)——这套东西是我们用来说明为什么会发生尺缩和钟慢的方式。但那其实就是现实本身……所以某种意义上,讲解本身似乎就是解释。
Grant Sanderson:这里有几个很有意思的点。一个是:那些真正提出新洞见的人,和那些表达特别清晰的人之间,似乎存在很强的相关性。你本来可能会以为相反——毕竟大学生的常见体验是:教他们课的专家,未必是那个主题最好的解释者,因为他们太习惯自己的专业知识了。但至少在某些例子里,情况看起来更像是:那些真正提出全新思想的人——像爱因斯坦,像 Claude Shannon 这样的人——你去读他们的论文,会发现它们非常清晰。
你不会觉得“这只是给专家看的,得拿砍刀一路劈过去”。他们就是很好的讲解者。费曼(Feynman)也有这种特质,他也是极好的讲解者。大脑里那个能提出正确新思路的部分,在研究层面上形成新洞见的同时,也天然具备很强的解释能力。这也是一种很自然的情况。
我觉得这对 AI 也很相关。我以前以为,AI 会成为自动定理证明器,而数学家的角色会转向我现在做的事:解释这些东西。现在我反而怀疑,AI 其实也会很擅长做这件事,而且大概会比大多数人类更会解释、更会提炼。所以,“消化并解释发生了什么”,很可能科学并不是数学家最后剩下的工作——至少照目前的发展趋势看是这样。我们也可以聊聊为什么未来未必如此,但大概率是:那个能提出真正好想法、解决新问题的系统,也同样会很会解释它。这是我这些年观念改变的地方。
主持人:那你觉得,最后你会在做什么?你自己,以及整个人类数学共同体,最后会在做什么?
Grant Sanderson:我大概会一直做我现在这类事,直到我死。
主持人:如果末日派(doomers)是对的,也许死的原因都一样。
Grant Sanderson:对。你给一个人点一把火,他暖一晚上;你把一个人整个人点着,他余生都暖和。所以我对 AI 的处境大概就是这样。
讲解者或老师的一部分功能,是给一个人感兴趣的东西增加清晰度。这是一部分。但另一部分其实更偏关系性:提供动机、提供策展感(sense of curation)。我听过一个很有意思的说法,说未来数学家更像艺术博物馆策展人,而不像别的什么。
AI 已经把东西解出来了,所以“艺术品”已经存在。它们甚至也知道怎么解释得很好。但你仍然会想要有人帮你在这个几乎无限的思想空间里导航,告诉你哪些值得投入。就算 AI 某种意义上在这件事上更强,我觉得我们依然会更偏好一个与自己有关系连接的人类,因为我们之所以会被激发去关心某些东西,本身就是一种社会现象。
如果你是在造某种特定技术,那可能不太一样。但听你播客的人,会信任你对“什么题目值得听”的策展。不是说他们原本就想了解你下一期的主题,所以才来;而是他们信任你作为策展人。
所以,我的角色——也可以说,某种意义上其他数学家的角色——也许会轻微地转向“策展”:哪些想法值得追求。这其实已经是我现在工作中很大的一部分。很多人以为做一期视频,大部分时间花在视觉呈现上。当然,那确实也花时间,不是即时完成的。但实际上,很多时间花在了决定:什么值得说,什么值得放进去。
我想持续参与这件事,而且我觉得我和一部分人之间已经形成了一种信任关系,他们会好奇“如果由我来选,我会把什么东西推到他们面前”,哪怕 AI 在这方面做得比我更好。人类音乐家总会有角色,也是同样的原因:人们在意他们背后的故事,在意那种社会性功能,即便某个模型输出的 MP3 文件,客观质量已经更高了。这就是我对未来的判断。
AI 真正可怕的能力,是连接那些人类一辈子也碰不上的学科孤岛
主持人:我想回到前面那个问题。随着 AI 跨过了这个门槛——这个重要基准,也就是能够把已有想法连接起来,从而得出新发现,或者证明、证伪某个东西——我们现在会说:“好吧,那下一步是什么?”
Grant Sanderson:顺便说一句,这件事本身还有很多工作要做。不能因为已经劈出了几道闪电,就觉得结束了……我觉得未来两三年,会是一个真正繁盛的时期,会出现大量这样的连接。
主持人:对。所以,如果推到极限,你甚至可以说——我也不确定这样讲准不准确——很多最重大的突破,在某种层面上也都是这样的。比如广义相对论,本质上不就是把黎曼几何(Riemannian geometry)和狭义相对论连接起来吗?所以随着 AI 在这种“建立连接”的能力上越来越强,也许很多重大突破在质上并没有那么不同。你对此怎么看?
Grant Sanderson:很多讨论都聚焦在“解题”上,或者说数学作为“勾掉一个个 Erdős 问题”这种性质上。但我会说,甚至连“大多数数学家”都未必会把自己的工作理解为“瞄准下一个要攻克的问题”。你知道 Langlands program(朗兰兹纲领)吗?
主持人:不知道。
Grant Sanderson:它甚至不完全算一个数学分支,更像是一种研究 ethos(研究精神、研究范式)。费马大定理可以看作它的一个征兆。你有两类看似毫不相干的东西,而它们之间的一个连接,通向了问题的解决。
Langlands 是一位数学家。他有一封著名的信,基本上是在说:很可能还有大量这样的连接存在。他甚至进一步具体描述了这种连接的性质。你可以想象一张巨大的地图,这边是山谷,那边是高山,另一边是一片平原。很多数学家会把自己的工作描述成:他们在努力理解这张地图上的那些线索和路径。
在这种研究里,进展甚至都不是“我们知道有一个具体问题,会被这条连接解决”。更像是:一再有重要问题因为发现了某种连接而被解决,所以人们开始主动去“先发现连接”。这件事很有意思。你以后碰到数学家,可以问他:他的工作更像朗兰兹纲领,还是更像专门瞄准某一道具体问题?你会发现这里确实有一种分裂式的划分。
如果 AI 变成一种“超级连接器”,那感觉会成为这类研究的一个巨大放大器。不过它也很难衡量。这又回到我们前面说的:你怎么打一个分,说“对,你做到了”?如果你解掉一道题,那很容易说“对,你做到了”。你可以写头条,可以让 AI 公司拿来做 PR,说“我们做到了”。
但如果它更像是“这条连接画得对”,那你当然也可以围绕它写定理,这也是那个领域论文通常的样子。但我觉得,这将需要更多的 human in the loop(人在回路中),来判断“我们到底想要的是什么样的连接”。我猜,在未来五年里,这些模型最有用的进展大概率就会长这样:它们不断填补这张“连接地图”的空白,尤其是在那些只有同时精通多个领域的专家才可能画出连接的地方。就像你说的,这件事没更早发生,反而挺让人意外的。
我倒很好奇,从技术层面看,究竟是什么触发了这个能力的解锁。一方面,你当然可以在脑子里讲出一套解释:为什么一个系统虽然是各个领域的专家,却还是不会主动连线。毕竟它的推理方式是这种 autoregressive chain-of-thought(自回归思维链)现象……仔细想想,自回归其实是种很奇怪的生成方式。
你是个聪明人。想象我把你锁进一个盒子里,你跟世界交互的唯一方式,就是不断收到一张小纸条,上面写着:“你来预测下一句是什么。”
你预测下一句,然后你的记忆就被清空。接着你又收到一张纸条。如此反复很多次,最后人们拿着结果对你说:“看,这是你写的文章。”
你大概会看着它说:“这写得太糟了,这根本不是我会写出来的文章。”
反复做“预测下一步”这件事,和一个作者真正去构思、组织、写出一篇文章,差异是很大的。
尤其是,你会被上下文强烈束缚。比如你在回答某个关于特定领域的问题,于是你就调用与那个领域有关的一切上下文。但真正有价值的“连接”,从定义上说,往往是一个非常不太可能的东西。你可以做很多 RL 来让系统在某种意义上“更好”,但究竟是什么会特地去提高权重、激励它做出这些“不太可能的连接”?毕竟在绝大多数情况下,那都不是“最可能出现的下一个 token”。
所以也许,本来就有智能被锁在那个盒子里,只是它跟世界互动的方式太怪了。我真正好奇的是:如果你去质疑“token 生成方式”这个前提,会不会得到一些成果?我不觉得事情会简单到只是调一调 temperature(温度参数),但会不会存在一些办法,在不提升底层智能水平的前提下,找到一种能点燃这些连接的方式,从而解锁我们现在已经开始看到的这类能力?还是说,你其实只需要再多一点智能,让它在“预测”这个层面上,就自然会预测到:此处应该打出一道连接另一个领域的闪电?
主持人:我觉得,与其从架构甚至损失函数出发,不如从数据出发来想这个问题。我们也有能做文本的 diffusion models(扩散模型),它们生成出来的东西并没有呈现出本质上完全不同的性质,只是还没被充分探索而已。我觉得更关键的是:不管你的架构或损失函数是什么,它被激励去产出的数据到底是什么样的?而且它们看起来确实在变强。
先别说数学。我们现在确实已经见到一些这类例子。但哪怕只看它们为什么越来越擅长做 autonomous agents(自主代理)……它们现在所处的环境里,自回归地产出这样一种步骤是有效的:比如“先退一步,对整个代码库做一次搜索”;然后“再退一步,评估我的错误”。这类行为之所以出现,是因为它们在环境里确实奏效了。
我猜,在科学——也许包括数学——进步的这个问题上,发生的事情是:你会有一些“前沿数学风格”的问题,而数学家又是刻意把它们设计成必须连接两个不同领域才能解决。我猜,我们可以用各种聪明的、半合成的方法,制造出越来越难、而且必须依赖这种跨域连接的问题。比如,你拿掉一些前提,但仍然要求 AI 给出答案。这样一来,损失函数是什么,反倒没那么重要了。真正关键的是:你能不能构造出一个环境,去激励这种能力?
Grant Sanderson:感觉上你应该是能做到的。我当然说不出具体怎么做才对,才能把这一切真正解锁出来;但如果未来三年里,我们没有看到更多这种“闪电连接”,那反而会非常令人惊讶,不是吗?
主持人:我觉得这是个非常值得思考的点。我们经常只想“单个系统有多聪明”,却没怎么想过:AI 的优势有时候并不来自“它更聪明”,而是来自别的事实。在这个语境里,最关键的事实就是:我们可以任意地并行化它、任意扩展它。无论它具备什么水平的能力,那都不是数学史上某个古怪天才偶然做出几次连接、然后在决斗中死掉那么简单。
而是说:你可以把这个能力水平,像一条水位线一样,同时作用到所有在这个能力范围内可触及的问题上。这只是数字心智(digital minds)天然具备的众多优势之一,而我们对此思考得还远远不够。其他优势还包括:它们可以合并彼此的知识——至少将来会有技术能做到这一点——以及可以复制出拥有完全相同知识水平的多个副本。这种并行化是一种极其重要的属性。
我好奇你会怎么预测。即便它们还不如人类数学家聪明,只要 AI 公司出于 PR 原因在这件事上疯狂砸钱——几百亿几百亿地砸——数量本身也会自带一种质量跃迁。
Grant Sanderson:这个方向听起来是对的。比如回到 Montgomery 和 Dyson 在 IAS 的那次对话:他们看出黎曼假设——更准确地说,黎曼 zeta 函数零点——和随机矩阵之间有某种联系。这种事情就很像是可以被自动化的。你可以让不同代理分别代表各个领域的专长。我们都知道,一个研究所(institute)通常比单个个体更聪明。
之所以要把人放在同一个地理空间里,就是因为你希望那些偶然的对话发生。那么,如果你要工程化地在代理之间制造这种偶遇,会是什么样子?这很有趣,因为你刚提到可以把所有知识池化起来,但我其实很怀疑,某种优势也许恰恰来自“反过来做”。
有时候 AI 会失败,是因为它陷入了一条糟糕的思维链,而你很难把它拉出来。所以你会说:“那我就重新开一个。” 人类也一样。有时候你会以某种方式想问题,真正需要的是先退一步。很多故事都是这样:有人试图证明一件事很久,物理上突然有一天说:“等一下,如果我试着证明它不可能呢?或者试着证明它的反面呢?”
把你自己的上下文拆开,以一种“新鲜的头脑”重新进入问题……你完全可以想象把这件事系统化,或者故意让多个不同代理拿到不同的上下文,再去比较它们的思路。我们人类对自己的上下文,并没有这么强的可操控性。
在这个 AI 与数学的系列里,第一期我们会讲它们解 IMO 的事。我很想聚焦其中一道它们没做出来的 IMO 题——顺带一提,那题很多很聪明的学生也没做出来,连陶哲轩(Terry Tao)都没做出来。很多人当时对那道题很生气,说它是个 troll problem(恶搞题)。我甚至都不太想剧透,因为我想围绕“把人一步步引进去,最后才发现它有一个很简单的解”来构造那一集。你会非常能共情一个学生在解这题时的心理状态。
大概是这样:有一种非常优雅的思路,会让你强烈觉得这一定就是正确解法——毕竟你知道这是 IMO 题,它很符合你对 IMO 题的上下文预期。这个解法的气质特别诱人,但很难证明它是最优的。原因是:它根本就不是。真正最好的解法,反而是一种近乎“脑死亡式”的解法。
这和整个 AI 故事的关联在于:对人类来说,要答出那道题,真正需要的是“逃离你的上下文”。逃离“这是 IMO 题”这个上下文,逃离你过去学会的那套竞赛数学解题训练。如果你只是把它当成一个丢给路人的脑筋急转弯,对方反而可能答得很好。
在人类研究的其他场景里,有时你同样需要这种能力:刷新你的思维,从完全不同的方向重新来过。数字心智(digital minds)天然具备的众多优势之中,这一点也许恰恰就是其中之一:它们可以更系统地“刷新思考方式”。分出两个代理,一个去证明,一个去证伪;一个从这个方向试,一个从另一个方向试。它们还可以被故意赋予不同的上下文。
所以我很好奇:如果我们三年后再进行这场对话,到时候那些上头条的重要结果里,有多少会具有这样一种特征——本质上是先擦除既有上下文、尝试很多不同路子——而不是把很多不同代理的结果简单合并起来。
主持人:这真的太有意思了,因为人们对 AI 的一个常见担忧恰恰是:它们会发生“熵塌缩”(entropy collapse),最后都以同一种方式思考,因为它们的训练方式很相似。这也是为什么它们写作很糟:它们总是沿着相同路径走,语言模式也彼此相似。
但也许 AI 的关键优势恰恰是:你可以系统性地……听起来,单位距离问题猜想之所以花了这么久才被证伪,一个原因是大家默认那个猜想大概是真的,所以大多数人都在想怎么证明它。也许 AI 的一个关键优势,就是它能通过系统地同时尝试命题和否命题,或者系统地给不同代理施加不同偏置,从而提高“熵”。
看人类科学史,好像一件重要的事就是:爱因斯坦非常受一种偏置驱动——他觉得在不同参考系中,事情应该看起来一样。他还有很多类似的偏置,但那个特别塑造了他的思维。你可以系统地遍历很多启发式,看哪些在某个问题上更有生产力。
Grant Sanderson:所以你的意思是:尽管自回归层面上不可避免地会发生塌缩,但我们仍然可以在 prompt(提示词)层面系统性性地增加熵?爱因斯坦会是个很有意思的例子,因为他一方面偏向“事物应该是相对的”,另一方面又偏向“上帝不掷骰子”。你得确保别一不小心让所有 LLM 都变成爱因斯坦,否则量子力学的发展可能就停了。
主持人:这恰好说明,科学并不存在一个“正确的启发式”。你需要的是多个彼此独立、各自带有不同启发式的研究计划。
Grant Sanderson:这听起来就很像老派软件(old-school software)。前提是你得能够把这些东西描述出来。你用老派软件来放大这种熵。只要你能为那些不同的思考方式建立一个清晰的 ontology(本体结构),你就可以把整个 ontology 都探索一遍,然后让每一种方式各自跑出去,看看会发生什么。
这里真正的设计问题在于:你到底怎么去描述那些不同的路径。最容易描述的一种是:你是在试图证明它,还是试图证伪它?更难的是:你要如何列举所有可能采用的证明策略,并确保你在探索它们时拥有足够广的覆盖面?
数学和编程容易通关,是因为现实世界没办法塞进一个干净的模拟器里
主持人:显然,AI 在数学上的进步比其他领域快得多。人们通常会说,关键原因是这个领域“可验证”。我觉得这是两个重要原因之一,但大家严重忽视了另一个。我不在实验室里,所以并不知道内部到底怎么做。这只是一个非常天真的理论。
和“为什么 AI 在数学上进步这么快”相关的一个旁支问题是:为什么 AI 在 computer use(计算机使用)上进步得这么慢?计算机其实也很可验证。我的 Etsy 包裹送到了吗?我的活动订好了吗?这些都非常容易验证。
computer use 缺少的,是可反复刷(grindability)。
因为网站会有机器人检测器,而且要并行跑大量 rollout(轨迹试验)需要极大算力,所以你很难对亚马逊同一个结账流程跑一千次并行 rollout。Andy Jassy 会把你封掉。
Grant Sanderson:而且是他亲自封。按下一个“把 Dwarkesh 叉掉”的红色按钮。
主持人:没错。你可以试图给每个网站都建一个镜像环境,但那非常耗费人力,也会拖慢节奏。之所以现在用深度学习学一个技能,需要跑那么多并行 rollout,本质上还是因为我们还没解决 sample efficiency(样本效率)的问题。
Grant Sanderson:就像 Karpathy 说的,“用吸管吸监督信号”?
主持人:没错。当然,人们在尝试很多不同的技术,但从根本上说,我们训练 AI 的方式里有一个巨大的约束。对于代码,你可以把某个仓库当前的进展封装成一个容器,然后启动几百个并行容器,说:“去实现这个功能。” 一切都是完全确定性的。也正因为它是确定性的,你就能解决 credit assignment problem(归因分配问题),因为你知道:导致这次 rollout 成功、另一次失败的原因,它们之间的差异(diff)就是有效因素。如果起点各不相同,这个归因分配问题就会难很多。
而现实世界中的大多数事情,都很难像这样容器化。编码和数学是例外。但如果你想搞清楚怎么建立一家新企业并让它成功,或者怎么去市场里做一天交易赚钱,由于你必须和真实世界交互,而现实每天都在变化,你就无法像在模拟器里那样不断回放、刷、种田。
数学当然是个例外,我觉得这是推动这个领域以及编码领域进步的重要原因。不是只有可验证;它还必须是可反复刷的。
至于大家说 AI 在数学上进步快的第三个原因,他们常常会强调 Lean 和形式化(formalization)。再说一次,我对实验室里具体发生了什么毫无把握。但我感觉 Lean 对当前 AI 数学进展的作用,其实没那么大。AI 为什么能证伪单位距离问题猜想?他们发布了它的思维链,或者至少是思维链的重写稿。那里头根本没有 Lean。我觉得 Lean 所提供的那种“过程监督”——也就是你知道每一步都正确——似乎不如那种“可刷、且结果可验证”的环境重要。
Grant Sanderson:你关于“可刷性比可验证性更重要”的观点挺有意思。直觉上人们会觉得,Lean 为数学提供了一种独特优势,因为你可以直接检查它到底证没证出来。你有传统软件替你回答“是”或“否”,然后把这个当成 VR(可验证奖励)。但能支持你观点的一点在于:最早的那些尝试——我还是绕回 IMO——DeepMind 一开始基本就是这么做的:所有东西都放进 Lean。可到了第二年,全部变成自然语言了。所以正如你所说,它并不是必需的。
不过我确实觉得,这个“形式化领域”还有一种尚未被充分探索的潜在价值。因为现在,即便是那个单位距离猜想的反例,你仍然需要一个人类去审查,然后说:“看起来没问题。” 这就给“可探索”的程度加上了某种上限。想想 AlphaGo 或 AlphaZero 这类系统,它们在自己的世界里不停地下围棋、不断探索,可能早就脱离了任何人类需要逐步查看的程度,但它们依然有自动化的可验证奖励。好处不只是“你可以在上面做 RL”,更在于你几乎永远不需要人工 check in(中途确认),只要不断往里砸算力,让它在围棋宇宙里探索就行。
接下来可能会很有意思——当然也可能最后没有结果,现在还不能下结论——如果用 Lean,你完全可以想象有一个几乎永远不停的程序,持续尝试扩展 Mathlib。Mathlib 是一个 GitHub 仓库,基本上就是把数学写成代码。它离“全部数学”还远得很,但目标是走向“全部数学”。它是用一种可以直接询问“这个证明对不对”的代码形式写成的。写这些证明非常耗人力,所以已经形成了一个专门的子社群。
但你可以想象有这样一个 AI:你对它说,“只管去扩展 Mathlib。” 也许你会在它上面开个分叉(fork),免得里面全是垃圾,因为人类对仓库该收什么东西还是有品味要求的。于是你有一个纯 AI 的 Mathlib 分叉,然后它就一路跑下去,不需要任何人再去检查它。它可以自己提出猜想,自己提出理论和定义。也许大部分都没用,但它会长出一棵无限扩展的树。
这是一件数学所独有、而别的领域没有的事:你可以按下开始键,往里砸算力,十年不看,回来之后问:“你都做了什么?” 它肯定已经做出了一些东西。接下来问题只是:这些东西有用吗?你要怎么筛选?但光是“能这么做”本身就很惊人。如果这最终一点有趣的数学洞见都没产出,那反而会非常令人惊讶。
所以,Lean 在这个故事里有两种不同的重要性。第一种,是你可以真正放手,不用中途检查,进展照样会发生。围棋可以这样;自然语言数学我不觉得可以。
主持人:那非常有趣。你看过 Karpathy 那个 auto research 的想法吗?他写了一个用来做基础 LLM 训练的 Python 单文件,然后建了个仓库,让 LLM 代理去尝试修改那个文件;如果修改能让 speed run(速度测试)更快,就保留这次修改。
之前来解释 AlphaGo 工作原理的 Eric Jang,在尝试构建一个很强的围棋机器人时也做过类似的事。他有些观察很有意思:AI 很擅长沿着某条路径跑实验,但不擅长在撞上死路时及时停下来,也不擅长做极其并行的探索。不过,这以后大概会变。
如果把这件事推到极限,会是什么样子,想想就很有意思。从根本上说,这其实就是人类数学研究制度本身的样子:它是一座被不断以有趣且有用的方式扩展的图书馆。在这种模式里,你没有 outcome-based supervision(基于结果的监督)。你并没有某个明确结果要去激励,但你有一个过程。你知道步骤是正确的,只是不知道它是不是在朝着有意思的方向走。
Grant Sanderson:如果真那么做,你当然不希望它完全脱轨,在逻辑空间里做纯随机游走。你大概还是会想要一个 supervisor model(监督模型),给它一些关于“这东西是否有用”的启发式判断。你也知道,肯定有人在做这种事。这就是那种“让我们五年后再回来聊”的话题。
也许最后什么都不会发生,但 Terry Tao 提到过一个研究项目:试图穷举搜索“可能的代数”空间。你可以想象,对代数系统施加不同公理。当我们提出群论时,那组公理如果你不知道它背后的动机,看起来就像是任意规定的一堆规则。那如果你把所有可能的公理系统都试一遍呢?它们当中有没有一些会产出有用的东西?绝大多数代数大概都是垃圾,以某种方式迅速塌缩,导不出任何有趣结论。
但偶尔,也许会出现某个小小孤岛——一套完全不同类型的公理系统,至少从它能导出的定理数量来看,显得异常丰饶。这简直就是自动证明器的主场:在那个空间里探索,看看哪些东西最终会长成某种“东西”。也许其中某个孤岛,后来还能被我们反过来赋予动机,发现“原来它是在试图刻画这种结构”。
就像你可以想象:如果你先看到“群”的公理,而不知道它和对称性有关,那么一开始它看起来也只是抽象规则而已;但后来你会反过来意识到:它和研究对称性高度相关。你完全可以设想出现这种味道的结果,只不过探索对象不再只是各种可能的代数系统,而是任何公理系统的所有逻辑后果。
主持人:物理上的点关于“没有 Lean 能不能做过程监督”,DeepSeek 之前有个 DeepSeek Math 模型。他们发了一篇论文讲训练方法,非常有意思。
自然语言证明的问题在于,你不知道它到底对不对。他们有一个 verifier(验证器),而 verifier 又是由一个 meta-verifier(元验证器)训练出来的;这个元验证器确保:对于他们用来训练该模型解决的那些“解题艺术”类问题,verifier 给出的反馈是可靠的。结果证明这套办法是可行的。很有意思的是:在已发表文献里,自然语言验证加上某种元验证,似乎已经能工作了。
而且,在我们现在实际使用的产品里,这也看起来在工作。你去看 coding agents(编程代理),它们越来越擅长写干净代码、重构代码。我很确定,背后一定有某种“LLM 作为评委”的过程监督系统,在提供品味判断,比如“这种写这个函数的方式够不够干净?”“这里是不是有重复模块?” 那在数学里也应该成立吧?
Grant Sanderson:即便只在自然语言层面工作,我也觉得在数学里信任一个 verifier,比在别的领域更有希望。我们之前还在聊:为什么它们写作很差。它们看起来确实是好评委。如果我给它们两篇学生写的文章,它们大概能判断哪篇更准确、更有洞见。那为什么不能让一个 verifier 直接判断:“这是一篇好文章吗?”
也许最终的问题在于:即便它们擅长区分 B 级作文和 A 级作文,它们也未必擅长区分“普通 A 级作文”和“你真的想读的东西”——比如某篇值得在 Substack 追更、真正有洞见的文章。它们反而容易偏好那种没洞见但形式上很像“好文章”的东西。
但在数学这边,仅仅判断一个证明是否正确,这件事本身就很适合自动化 verifier,哪怕是在自然语言里。你阻碍大概仍然可以取得大量进展。不过我还是喜欢 Lean 所打开的那棵“逻辑树”,因为在这里,你真的可以走得很远,完全不受过去人类表述方式的束缚。大家都在讲 AlphaGo 的第 37 手。到底什么样的机制,才能真正帮助系统跳出既有启发式?感觉上,在一个与现实世界暂时断连的空间里探索,会特别有生产力——当然,这应该是与自然语言数学路线互补的一种研究方向。
Lean 的另一个相关性在于:假设你有一套纯自然语言的 RL 环境,也有一整套纯自然语言证明。人们说:“前进吧,AI 数学家们。” 然后它们一天产出十篇论文。只要这里面有哪怕一点点错误率……Alex Kontorovich 就谈过这点。对数学家来说,这会变得无法忍受。每次看到这样一篇东西,你都不知道它值不值得花时间。即便 100 篇里有 99 篇是对的,我也不确定值不值得看,因为找出那 1 篇错在哪里,非常耗费劳动。把大量时间花在一篇垃圾论文上,是非常令人沮丧的。
你并没有某个明确结果要去激励,但你有一个过程。你知道步骤是正确的,只是不知道它是不是在朝着有意思的方向走。在这种情况下,如果能有某种东西能给你打上一个绿色勾,说:“哪怕它会很难懂,哪怕读起来会很痛苦,但你至少知道它是正确的。” 那真的是其他所有领域都梦寐意求的事。数学拥有这个条件。如果模型还能把自己的自然语言证明再形式化出来,那就太巨大了。每个领域都会想要这样的能力。所以我觉得你说得对:Lean 作为数学整体进步的 VR 环境,重要性也许被高估了;但我绝不会把它从这个故事里划掉。
主持人:我也特别喜欢“扩展 Mathlib”这个隐喻,它很像我们的文明很快就会发生的事。几千年来,人类构建起了这整套知识与理解的 corpus(语料/知识总库),而我们拥有的一切,现在都被蒸馏进了这些模型里。到了某个时刻,这些模型就会无限地把它继续扩展下去。
AI 写作没有灵魂,是因为它没有一块可以用作同理心模仿的“脸部肌肉”
主持人:顺便说到写作,我有一个关于“为什么写作的进步比其他领域慢得多”的理论。一个原因就是你刚才说的:它们不仅不擅长判断 A 和 B,还会被 B* 彻底带偏——也就是那种很烂的文章,但它又命中了所有“看起来像 A 应该具备的要素”。奖励黑客(reward hacking)就这么彻底失控了。
但另一个重要原因是:写作不像代码和数学那样具有模块化。一个函数可以有很多种写法,但作用相同。当然你希望它写得干净,但归根结底,只要能跑就是能跑。数学里的引理(lemma)也是一样。你可以有一个最终产物,而这个产物并不等同于它被生产出来的方式。代码是生成某个最终结果的东西,你关心的是那个功能性结果。
而在写作里,最终产物本身就是 AI 直接产出的东西。每一段、每一句、每一个词都重要,因为那本身就是内容,不是文字再去生成某个别的结果。它不能像代码那样“虽然有点烂,但结果还对”。
Grant Sanderson:但你刚刚也指出了,我们现在其实已经越来越擅长让代理写出的不仅是“能运行的代码”,而且是“干净的代码”。那为什么同样推动代码从“仅仅能工作”进步到“干净且可合并 PR”的那种能力,不会也带来更清晰的写作?
主持人:你这个反问很好。还有,也许事实并不是“没有进步”?我同意,它们在很多方面仍然是糟糕的写作者。但对于我日常会消费的很多文字内容,我发现把它直接复制粘贴到一个 LLM 里,然后说“给我解释一下”,通常比读原文更好懂。很有意思,我们一边说它们写作很差,一边我的 revealed preference(真实偏好)却是更愿意让 LLM 来解释。
哪怕我是在和一个真人专家实时通话,如果那是只有他知道、还没被分布学到的知识,我当然希望由他来解释。但如果为了理解那件事,我还需要先弄懂一个更基础的概念,那么如果社会上允许的话,我会很愿意直接说:“我们暂停一下,我先问问 LLM 这个东西是怎么回事,回头再继续听你那块特别的知识。”
Grant Sanderson:那是提炼,是解释。如果说“你作为文章作者的质量”——比如我给你一本书,让你写一篇读书报告——我也许会相信 LLM 能给我写出更好的 book report(读书报告)。但当人们说它写作差时,他们真正想问的是:写作到底是什么?写作不是对既有想法的提炼,不只是“怎么讲得清楚”,因为在讲解上它们确实不错。真正的问题在于:那个洞见本身从哪来?
这就又回到“自回归是一种很奇怪的生成方式”。当你写东西时,你会隐约知道:如果它要写得好,就必须包含某种不可预测性。这并不只是把你脑子里的“温度”调高,而是你非常清楚地知道:在什么时刻,你需要走出一步不可预测的棋,而那一步恰恰会让作品更有洞见。即便它更擅长解释一个已存在的东西,那么那本“你后来拿去让它提炼”的书,最初又是谁写出来的?
并不是一个 LLM 先把它写出来,然后你才需要一个 LLM 来解释它。那是某位作者通过对世界中各种思想长期的探索,决定了哪些方面值得讲、用什么样的呈现方式能形成一个连贯而又动机充分的叙事,然后把这些东西拼合成型。如果那是个好作者,你大概还是会更偏向读原书,而不是它的提炼版。
归根结底,究竟是什么让一件事本身值得被探索、值得被写出来?人们说 LLM 写作差,指的其实是这一面:那种不可预测性,那种“有意选择新东西”的能力。而这恰恰与当前这些系统最典型的生成方式直接相冲突。
主持人:有道理。我还觉得,它们特别不擅长建立真正好的“他人心理模型”,而这恰好是写作里非常重要的能力。Andy Matuschak 和另一位合作者——我一时想不起名字了——之前写过一份很有意思的报告。他们试图教 LLM 去写高质量的 spaced-repetition prompts(间隔重复提示卡片)。我特别喜欢这个例子,因为它客观上像个特别随机的小技能……就像,人们一边在谈“一年内递归自我改进”,一边我们却连让这些东西写出好用的抽认卡都做不到。这里到底出了什么问题?
他们试了很多不同方法,而且他们是很懂行的人。他们尝试过用 RL 训练开源模型,也试过各种办法,包括思维链,也包括给最好的闭源模型一个很长的 prompt。对我来说,真正的关键约束 seem 似乎在于:写一张好卡片,本质上是在预测“三个月后的某个人的心智状态”。到那时,对方会如何把这个问题和某个答案联想在一起?在那个时刻,他脑中会浮现出怎样的答案?你该用什么样的提问方式,才能唤起你真正希望他从那段材料里带走的那个细节?
我觉得写作和这件事很像。如果你在写东西,之所以这个过程这么耗神、这么慢,是因为你每写一个词、每写一句话,都得想:我的读者现在脑子里正在发生什么?
哪怕只是把语序稍微调一下,让句尾跑到句首,好让你在读完剩下部分之前,脑中先浮现这个画面……也许自回归天生就不擅长这一点。这更像是一种 diffusion 式的性质:要整体地看待全文,而不是一句一句往前推。但我也觉得,这还要求一种很强的“心智化”(mentalizing)能力,而这些模型偏偏在这一点上表现得很诡异地差。
Grant Sanderson:这是个有意思的问题。它们在这方面表现差,真的算“奇怪”吗?我可能会讲错。你知道那种情况吧:你引用一项自己曾经读过的研究,结果事后才发现那研究可能根本不存在?我脑子里有一项特别深刻的。假设你想测一个人的情商(EQ)。你给他看一张脸部表情的卡片,让他描述这个情绪。网上真有一些做得很好的测试:给你一张脸,然后列四种可能的情绪。你会惊讶地发现,要精准描述那个正确情绪其实很难,但同时你又会觉得,这里确实存在一个正确答案。如果你拿这个去测试你生活中的人,你会发现,那些社交上很灵的人通常做得很好,而那些更偏左脑的人通常没那么好。这确是种可以做的测试。
我模糊记得有个实验就是类似这个效果:他们找了一些刚打完肉毒杆菌(Botox)的人,先做一次前测,再做后测。结果后测时,他们辨认别人表情的能力明显变差了。这听起来很怪。
主持人:等等,是他们自己去打了 Botox?
Grant Sanderson:对,是做测试的人。你先做测试,然后去打 Botox,脸部肌肉冻住了,接着你再回来做一次,结果你理解别人情绪的能力就下降了。背后的想法是:你之所以能理解自己看到的那个情绪,部分原因在于你会自己“做一遍”。在面部层面上,你的肌肉会跟着动。你看到那个表情,自己也轻微模仿一下,然后在某种潜意识层面感受到:“哦,对,这是焦虑。”
所以,从这个意义上说,如果模型确实缺乏 theory of mind(心智理论),那其实并不奇怪。它们根本没有这种机制。它们没有脸部肌肉,它们的大脑工作方式也完全不同。那就像是一个外星生物在试图共情。它怎么会天然拥有心智理论?那反而会是一种高度涌现的能力。
而我们人类可以直接把别人接进我们自己的心智系统里。我们有现成的硬件,可以直接把对方“放进去”。从这个角度看,它们不擅长这一点,其实并不奇怪。
知识获取已经免费,但“活人”老师提供的关系和筛选,家长依然愿意付高薪
主持人:你对“怎么用 LLM 来学习”有什么建议?就像我刚才说的,对于很多广为人知的概念,我确实觉得它们非常有帮助。但常常只是多聊几轮,我本来在试图理解某件事,它们自己却已经混乱了,然后把我也带乱了。它们没用对的方式解释它。我知道,如果我能和一个真正对的人类聊上三分钟,他就能把我的困惑彻底解开。
以后我们会越来越想用这些东西来学习。人们一直在谈教育、表征之类的话题。你有没有观察到一些更高效的用法,能帮助人理解概念?
Grant Sanderson:我也很想听听你的看法。我先说我的。其实早在 LLM 出现之前,我就觉得,学习里一个很重要的洞见是:谁比什么更重要。
如果有大学生问我该选什么课,我的建议一直都是:少在意一点你“目前已有的兴趣”,因为在这个阶段,那些兴趣其实很偶然;多在意一点“教你的人是不是一个好老师,是不是一个你能共鸣的人”。选书也是一样:作者是谁,可能比题材本身是不是你原本感兴趣的更重要。如果你以前喜欢过一本书,那与其再去找同一主题的另一本书,不如去看这个作者还写了什么。
我现在要把这个话题连回 LLM。比如你想学一个东西,看 Wikipedia 页面,和——假如是哲学主题——去看 Stanford Encyclopedia of Philosophy(斯坦福哲学百科);或者如果是数学主题,去看 Princeton Companion to Mathematics(《普林斯顿数学指南》),那体验是非常不同的。区别就在于:后者的条目是由某个具体的人刻意写出来的,他会试图围绕这个主题构造一种动机。
在 Wikipedia 上,条目更像是一个局部最小值(local minimum):每一句话都必须正确。而在一个好的讲解里,你在途中对“严格正确”反而没那么执着。你可以故意先说一点“略有偏差但更利于理解”的话,再在后面纠正它;而这种写法在众包环境里往往会被编辑掉。对我来说,LLM 的解释现在很像 Wikipedia。也就是说:它很惊人。想想没有 Wikipedia 的世界,搜集和判断这些信息要花多久。
但尽管如此,一篇 Wikipedia 页面最有用的部分往往是什么?通常是底下的参考文献。你会看那些关键参考,然后点过去,真的去读它们。有时候那样反而能得到好得多的全貌。所以我经常更喜欢直接问 LLM:“我该去读谁?” 我甚至还可以补充一点:我想以什么方式来学。
我其实被它一次 gaslight(带偏)了。我当时在学半导体之类的东西,感觉那是个很适合视觉化理解的主题,但我找到的资源大多是文字。我就问它:“有没有那种视觉呈现做得很好的视频,能解释你前面讲的这些概念?” Claude 回答说:“有,这里有几个。” 排第一的居然是“3Blue1Brown 的一期视频”。我心想:我可以百分之百保证,根本没有这种视频。
它给的链接是真的,视频也是真的,只是把别人的作品错认成我的了。不过那视频本身很好。我点过去看,比我继续在对话里追问,学习体验好得多。从这个意义上说,我基本上是在把它当成一个超级升级版 Google,用来更快地定位到正确的人类写的资源。你呢?你平时大量使用这些东西。你觉得最好的用法是什么?
主持人:我觉得你说到点子上了。对我来说,最高效的学习体验,往往都是在已经有一个“人类产出的成品”存在的情况下——不管它是一篇文章、一本书,还是一个视频——它已经以正确的方式组织了相关概念,搭好了“为什么下一个想法会与接下来要解决的问题有关”的动机链条:下一个想法、再下一个想法,层层推进。然后你再用 LLM 在这条主干周围稍微修修枝、剪剪叶。
我之前正在看——我记得这书可能还是你推荐的——Steven Strogatz 的那本教材……
Grant Sanderson:《混沌》那本?《Nonlinear Dynamics and Chaos》?我...
主持人:对,我当时就在看它,简直是一种享受。就像你的视频被写成了一本书,特别好玩。我当时是这么学的:屏幕三分之一放他的大学课堂录像,三分之一放教材相应章节,最后三分之一放一个 LLM。我还在想:如果我真的回到大学、坐在课堂里听这门课,那大概完全会听懵。那些学生一定非常聪明,因为我是要不停暂停、读教材、跟 LLM 聊,再继续播放的。但关键就在于:由他来策展“理解概念的正确顺序”和“哪些问题最能激发对这些概念的理解”……
另一个件事 LLM 特别不擅长的事。一个真正优秀的人类在你提问时,可能会直接说:“其实你现在理解这个主题的方式就不太对。你真正该问的问题、该组织这些概念的方式,其实是 X。” LLM 真的做不到这一点。
Grant Sanderson:它们太会顺着你说话了。归根结底,这还是那种谄媚性(sycophantic)行为:非常容易说“哦,这真是个很有洞见的问题。” 你其实想把这一层全部剥掉。你这点说得很好,而且我觉得它多少也触及了心智理论:它得能企图,学生提出某类问题,本身就意味着这个学生脑中的结构和解释者脑中的结构不一样。
有时候人类老师也会在这方面做过头。比如一个真正好的老师,站在初中数学课堂上,如果某个学生问了一个问题,说明他正在以一种不同寻常的方式理解内容,那么老师在那个当下其实很难真的严肃对待这种思路,先问一句:“等一下,按你这种路子,你有没有可能也走到正确答案?” 然后再决定是不是说:“不如我们换这种方式。” 真正特别好的老师,会把学生那种创造性的思维方式“借力打力”地接住,再融回课堂里。LLM 目前做不到。它们不会重构你的问题,而是直接顺着你往前跑。
至少现在看来,似乎有三个层级:LLM 在一个层级,好的讲解者在另一个层级,而 A+ 级的讲解者则是那种能把你的思考方式也一并“借力打力”地利用起来,说:“在这里,这种想法其实有用。” 当然,也许五年后会形成一个闭环,到那时 LLM 也会做到,而且做得更好。
主持人:那对于那些——我敢肯定一定经常给你发邮件问这个问题的——学生,你会怎么建议?他们会说:“我对做数学很感兴趣,也真的热爱这个学科;但看到 AI 现在在这个方向上进步这么快,我不知道还应不应该把它当成职业去追求。” 这不只是数学学生会问,任何看到自己领域正在被 AI 提高生产率的人都会问。编程和这件事也非常接近。你会给他们什么建议?
Grant Sanderson:我甚至不会太相信我自己给出的建议。这会是我先加上的限定。但哪怕在 AI 出现之前,我也一直觉得:无论你将来走进什么工作,你都应该真正搞清楚……如果我们讨论的是一份工作——不是那种作为绅士科学家去和数学圈互动——你就应该弄明白:钱是从哪里来的?你究竟在提供什么价值?以及这两者之间的连接是什么。令人惊讶的是,学生往往很少认真思考这些,尤其是理想主义很强的学生。
他们身处一个环境里,之所以想做数学,很可能只是因为自己一直很擅长它。他们人生中一直因为“正确地跳过下一个圈”而受到奖励。当他们觉得自己想成为数学家时,更多是在想:“有哪些地方能让我继续做这件事?” 而不是在想:“我到底在给别人提供什么价值?薪水流向我,究竟在多大程度上是因为这个价值?”
而不同情况之间的差别其实很大。有时候,一个很有声望的数学家之所以被大学需要,是因为他的存在给学校带来品牌价值。有时候,国家科学基金会(NSF)会给资助,是因为我们社会相信基础科学是一种公共善。于是你就有了一整套围绕这个信念建立起来的制度和官僚系统,它们充当着“公共善判断代理”,而你还得配合跳一套完整的舞,来让他们相信:你的研究进展符合这笔资金的精神。有时候则非常直接,就是教学。人们愿意把孩子送到有顶尖专家授课的机构。你一方面靠“专家身份”提供品牌价值,一方面又直接作为老师提供价值。
不管 AI 是不是已经会证明定理,不管我们谈的是 2016 还是 2026,这件事始终都值得那些说“我想成为数学家”的学生去认真想清楚,而且我觉得他们普遍想得不够。对我自己来说,我当年并没有这样清晰地想过。后来我是误打误撞进入了一条职业路径:把数学探索货币化成某种娱乐产品。我是撞进来的,而且我对此非常感恩,但它本来是一次偶然,不是精心设计的。如果当初我能更批判地思考这些问题,我其实可以少依赖一点运气,多一点主动设计。
To 至于你的问题——假设我们几乎实现了自动化定理证明,而且它们也非常擅长讲解,连“人类理解”都一并满足了——我觉得数学家承担的很多社会角色其实并不会改变太多。作为公众,我们依然会觉得基础科学有价值,也依然会信任数学家自己去判断:他们的时间最该花在哪里。声望来自共同体内部。更多是同行在说“这个结果真的很厉害”,而不是拨款人真的理解了代数数论,知道这结果为什么好。
这个共同体内部会一直有一种文化,用来判断什么算是有价值的贡献。也许它会从“证明定理”转向“提出好的定义”。也许会更像那个博物馆策展人的角色。但只要整个社会依然认可基础科学这个前提,这个共同体就会继续存在。如果我们真的进入 AI 带来的丰裕世界,那么从某种意义上说,这个方向上的资金反而可能更多。
在学校因为教师是谁而获得声望这一点上,我其实觉得,教学是后 AGI 时代最稳定的职业之一,因为它高度关系化。对于那些拥有大量财富的父母来说,他们最愿意花钱的地方之一,就是好的教育、好的老师。而这件事远远不只是“解释内容”这么简单。即便 LLM 已经是很好的解释者,老师所做的依然是一种非常社会性的、教练式的、导师式的工作。未来五十年,这很可能仍然是最稳定的职业之一。
只要数学家的角色中有相当大一部分与此重叠,那么作为准备走进这个方向的学生,你完全可以主动往这一边倾斜。实际上,我觉得更多学生都应该认真考虑“只做一个数学教育者”这条路,并认识到它对下一代所能提供的价值。
不过我还是要再加一次限定:我不觉得自己是那个有资格站出来说“来,年轻的未来数学家,我告诉你该怎么理解未来”的人。因为我是个 YouTuber。我并不在他们真正想进入的那个制度内部,所以我更像是一个在外面往里看的旁观者。但我觉得有一条建议是普遍成立的:弄清楚钱从哪里来,弄清楚你自己怎么接到那条线上。而如果你已经在问这些问题,那你其实已经走在大多数刚起步的准数学家前面了。
主持人:事实上,你想想那个疯狂的世界:也许五年、十年之内,AI 不仅能提出千禧年大奖难题的解法,甚至还能提出全新的“值得解的问题”、全新的数学领域、全新的数学对象等等。到了那样一个世界里,首先,物质会极其丰裕。其次,AI 心智在所有方向中看得最远、越过我们视野最远的,恰恰就是数学。到时一定会有巨大的需求在问:“AI 都看到了什么?你能不能向我们解释?”
在那样的世界里,如果还存在任何工作的话,那“把 AI 所学到的东西提炼给人类听”肯定会是其中之一。
Grant Sanderson:而且这很有趣,因为我们到现在整个讨论都默认“这些数学本身没有实际用处”。我们其实还没认真谈这些数学真正的实际应用是什么。如果这些研究本身存在任何经济效用,那么你自然会觉得:那些真正理解它、并能够判断它该往哪个方向走的人,其经济价值反而会大得多。因为你可以作为策展人,去为这头“新数学巨兽”指方向,让它朝有用的地方推进。那样一来,这个动作的杠杆效应,比以前大得多。
主持人:我正想问你这个。AI 做数学,问题不仅是“它能不能做”,还包括“它做得有没有用?有没有实际价值?”
你刚才说群论的时候提到,一开始大家只是在研究各种函数根的随机性质,后来却冒出这么多跨领域的实际应用。你有没有某种直觉:如果人类数学整体真的被加速到 10 倍、100 倍,然后发生一些非常疯狂的事,到底会不会由此引发真正的大变化?还是说,我们仍然会被其他领域卡住?
Grant Sanderson:我觉得有些领域大概会,有些则不会。这件事本身就很“尖刺化”。如果代数数论(algebraic number theory)取得了进展,感觉上它直接解锁某种现实成果的可能性没那么大。但我记得和一位做动力系统、偏微分方程(PDE)方向的数学家聊过。他提到他们团队曾经有一些想法——我看看我能不能概括对。好像是,波音(Boeing)造飞机的方式是:先做出来,再做大量测试,然后根据测试结果拆了重装。他们团队基本上提出了一些见解,能让更多工作在模拟中完成,这样就不必反复拆解重建。好像因此帮波音省了几十亿美元,后来波音就开始给那个团队投钱。
这就明显更接近应用了,因为 PDE 本来就是这种东西。在那个方向上的进展,你自然会觉得确实可能解锁一些现实收益。我不知道会不会是那种断崖式跃迁,但也许更像是:发动机设计变得更流畅一些,或者你能更快找到正确机翼形状,而不必跑那么多复杂的 CFD(计算流体力学)仿真。也许某些纯数学洞见能提升这些仿真的效率。我猜你会看到很多这种很扎实的、渐进式的改进。
感觉上,不太像是那种“数学上一个超级突破,立刻变成一个超级经济突破”的关系。比如说,你解出了 Navier-Stokes 问题,于是突然就能模拟万物了——我不太相信会这么直接。但你大概会在那些边缘地带,看到某些纯数学洞见慢慢渗漏进别的东西里,形成实质性的帮助。现在有很多人在做 AI 工程、实体工程、材料科学之类的事。你会觉得,他们会处在一个很好的位置上,去看 AI 在数学上的新洞见到底有没有相关性。
这又是那种我不会在这里插旗子、斩钉截铁预测一定会怎样的事情。但如果未来五年里,AI 在数学上的进展完全没有带来任何可以直接指认的经济价值改进,那会让我有点失望,也有点意外。如果它最后只是拿下了一堆 Erdős 问题,却没有任何一部分数学真的触碰到物理世界,那会挺令人失望的。
主持人:To 你的点关于如何很多数学史的很大一部分,其实就是不断搭建这些概念的堆和连接的堆。有时候这些堆彼此接通,或者在别处被发现有应用。哪怕暂时没接通,至少你已经先把这一大堆东西搭起来了。
然后当社会在奇点(singularity)期间出现更广泛进步、进入奇点的工业化阶段时,你手里就已经有了这些可能在世界其他地方派上用场的想法储备。
Grant Sanderson:正如我所说,这一切里有一个很有意思的地方在于:它迫使人们后退一步,重新问“数学到底是什么?” 一个有点尴尬的结论也许会是:它变得完全没用了。人们现在问的问题,已经和任何物理上可应用的东西脱离得如此之远,以至于这是数学家们不得不面对的一件事。
到时候大家会看着数学界说:“等一下,你们不是应该……如果那边已经有了 10 倍进展,为什么这边一点反应都没有?” 然后数学家们会说:“呃……” 每次我们在 grant proposal(基金申请)里写“请相信我们,椭圆曲线上的进展将来会帮助密码学”,这时聚光灯一照,可能反而暴露出:也许根本不会。所以,这也是一种可能性。
主持人:Grant,这次聊得太开心了。非常感谢你来做这期节目。
Grant Sanderson:当然,我很荣幸。
AI 不该只停留在概念和 Demo,更要真正走进业务现场。
7 月 17-18 日,2026 奇点智能产品大会将在北京金隅喜来登酒店举办。大会围绕 Agent 智能体、企业级 AI、AI Coding、具身智能、行业应用落地等核心方向,邀请一线产业实践者,共同拆解 AI 产品从想法到落地、从试点到规模化的关键路径。
扫码领取 AI 实战落地资料包,抢先了解大会亮点,与 1000+ 产业决策者相聚现场,共赴智能奇点。
热门跟贴