转自 量子位
是时候了!陶哲轩对AI生成的低质量数学内容提出警示。
这次他一反常态,没有来安利大模型,而是辩证审视:
AI生成数学是把双刃剑。AI大幅增加数学新想法,但也降低平均想法质量。
过去几个月里,AI在数学领域里可谓是搅动风云。先是IMO夺金,后又陆续破解多年Erdős难题。
但有趣的是,其中许多AI生成方案最终被证明是错误的,还有一些则与现有解决方案类似。
陶哲轩注意到了这一现象。
于是就AI如何更好地服务数学,他提出了自己的解法:
创造一种新的形式化语言,用于描述数学策略而非证明。
数学进步取决于质量,而非数量
在传统假设中,数学进步取决于新想法的数量,数量越多,数学就发展越快。
但陶哲轩认为,在AI时代这是错误的。
众所周知,AI生成数据相当庞大,想要获得足够多的想法非常容易。但只有少部分新想法是有用的,那些绝大多数糟糕的想法反而会浪费数学家更多的时间,阻碍真正的进步。
所以当下应该修改为:数学进步=优秀新想法的数量*想法库信噪比。
具体来说,优秀新想法是那些能够被验证、真正可以推动数学发展的方案,想法库信噪比则是好想法在整个想法库中的比例。
基于此公式,AI对整体进步的影响可能为正,也可能为负。它可以适度增加优质想法的总数,但大量错误想法的引入也会降低信噪比。
而最终结果取决于哪种影响占据上风。
那么,是否存在一种办法,可以保留正向作用,同时抑制负面影响呢?
陶哲轩的答案是引入选择性摩擦,让AI生成平庸想法比生成好想法更困难。
很多编程语言的设计思路,就是让好写法变简单、坏写法变麻烦,从而引导程序员写出更规范安全的代码。
比如Rust为了鼓励安全管理内存,会天然支持Rust所有权、借用机制,而悬空指针、空指针这类错误用法编译器会直接拦住,变得极难用。
但大模型在设计之初,往往对输入质量不加以区分,导致显著增加AI垃圾产出。而上述编程语言的许多选择性摩擦也在AI编码中被逐渐消解。
所以要在数学领域增加这一限制,可以依靠的是Lean等形式化证明。因为形式化一个错误命题的证明要比形式化正确命题的证明难得多。
不过当前的形式化框架仅能对完整证明施加约束,一个AI新提出的解决方案还远远够不上完整证明,只是将问题简化为一组模糊的子问题策略,缺乏形式化证明精度。
所以陶哲轩认为,当前需要开发一种用于描述数学策略而非数学证明的形式化或半形式化语言,为AI生成的数学想法提供足够的选择性摩擦,以最终推动数学进步。
五步辨别AI生成方案
不过这都是后话了,至于当前应该怎样尽可能地辨别AI数学答案的正确与否,陶哲轩指路Erdős网站官方给出的一些指导意见。
首先,Erdős官方建议使用者在自查时首先自问五个关键问题:
1、你是否真正理解这个Erdős问题?包括它为何被提出,以及假设和结论各自的意义。
这要求用户需要仔细回顾原始Erdős论文和页面提及的参考文献,重新梳理背景信息,而不是仅凭AI给出的版本。 因为AI有可能误导用户一直在解决一个形式化错误的问题版本。
2、你是否对该问题进行了彻底的文献综述?
可以使用传统的数学文献工具,比如Google Scholar、MathSciNet、zbMath等,来查证该问题是否存在先前结果;也可使用ChatGPT DeepResearch或Gemini DeepResearch之类的AI深度检索工具辅助搜索。
如果用户本身并非数学领域专家,可以将提出的解决方案优先交给专家征求意见。
总之,不能仅凭借AI结论,就取代传统文献搜索。
3、你是否理解该解法的核心思路?
如果你无法在不参考AI解决方案的情况下,合理解释该证明的主要思路和关键步骤,那么该解决方案很有可能是AI幻觉。
4、你的解法与以往文献的方法相比如何?
关键在于,AI可能找到的是已有但不广为人知的证明,也可能是已有证明的变体或等价解释,这时就需要用户手动确认其原创性和数学意义。
5、你能否将证明形式化?
如果AI生成内容能够形式化并由Lean等工具检验,那么结果的可信度会大幅度提升。
除此之外,还有一个相对简单的方法,就是将该AI生成的证明提交给另一个AI工具,让它对证明的正确性进行评估。
在以上步骤之后,就可以将解决方案一并发布在Erdős官网,交由专业的社区成员进行评估。
其中需要遵守网站规则,即明确标注AI协助创作,以及避免过短或低质量的AI注释,更为详细的证明,最好整理写成论文初稿,提交到预印本平台或期刊。
One More Thing
总的来说,陶哲轩的意思并非AI数学完全不可取,而是要合理看待AI对数学领域的影响。
尤其是对于数学专业知识储备不足的人来说,更是要仔细辨别AI生成结果。不能全然否定,也不能盲目推崇。
比如对于陶哲轩自己来说,刚刚他还明确表示,GPT-5.2 Thinking就在他的论文中发现了一些小错误。这就是AI好的一面。
但同时,对AI不好的一面也要审视看待。
参考链接:
[1]https://mathstodon.xyz/@tao/116117404945094458
[2]https://github.com/teorth/erdosproblems/wiki/I-think-I-managed-to-get-my-favorite-AI-tool-to-solve-an-open-Erd%C5%91s-problem!--What-do-I-do-next%3F
[3]https://www.erdosproblems.com/forum/thread/783
【免责声明】转载出于非商业性的教育和科研目的,只为学术新闻信息的传播,版权归原作者所有,如有侵权请立即与我们联系,我们将及时删除。
热门跟贴