2026年,OpenAI发了一份技术报告,里面列了十个被AI解决的数学难题。同一年,Anthropic用AI完整地、机器可验证地证明了费马大定理。这两件事放在一起看,会让人产生一种奇怪的焦虑感。
AI现在能写出很长很难的数学证明了,长到什么程度?长到普通数学爱好者根本读不完,难到什么程度?难到连专业数学家都要花很长时间才能判断对错。问题来了:如果AI写的证明连人类专家都要费劲去检查,我们要怎么知道它是对的?
这篇论文要解决的就是这个问题。论文叫《LeanPRM》,作者来自得州大学奥斯汀分校、加州大学洛杉矶分校和纽约大学。他们想造一个"自动判卷机",一个能读懂自然语言数学证明、并且准确指出证明中哪一步出错了的AI模型。
**判断一个证明对不对,难在哪?**
先说说这件事为什么棘手。
如果你在训练一个解数学题的AI,有一个天然的优势:很多题目有标准答案。小学奥数题最后算出个数字,对比一下就知道对不对。这种"用最终答案反推每一步对错"的方法,业内管它叫过程监督。
过程奖励模型(PRM)*:一种能对推理过程中每一步打分的AI模型,而不只是看最终答案对不对。
2023年OpenAI发布的PRM800K项目,靠人工标注了大约80万个步骤级别的正确性标签,这个工程量相当惊人。标注员要一步步读完一个数学解题过程,判断每一步是否合理,这是纯体力加脑力的活,耗时又耗钱。
后来有人想了个取巧的办法:让AI从某一步开始,往后随机续写很多种可能的解法,如果大部分续写都能导向正确答案,就认为这一步是好的。这个方法叫Math-Shepherd,靠采样续写的成功率反推步骤质量,省去了人工标注。
但这套逻辑放到数学证明上完全行不通。
证明题没有"最终答案"可以对比。证明"任意两个质数之和为偶数时必为2加另一质数"(哥德巴赫猜想式的陈述),它的正确性不体现在一个数字上,而体现在每一步推理是否真的从前一步合理地推出来。没有终点可以回头验证,采样续写这招就失效了。
那怎么办?有一条路是用形式化证明系统,比如Lean。
Lean*:一款数学证明助手软件,它会像编译代码一样,严格检查一段形式化写出来的数学证明每一步是否符合逻辑规则,不会出错,也不讲情面。
Lean的好处是它绝对客观,绝对严谨,不会累,不会看走眼。坏处是,要把一段用中文或英文写的数学证明"翻译"成Lean能懂的形式化语言,这件事本身就需要专家级的训练,普通数学爱好者甚至很多数学系学生都做不到。这就形成了一个死结:要么靠人工标注自然语言证明(贵),要么靠Lean检查形式化证明(难翻译)。
LeanPRM想出的办法是,两边各取所长:让Lean去把关正确性,但训练出来的模型只读自然语言,根本不用学Lean。
**怎么让AI自己"犯错",还不让它知道自己错了?**
这是整篇论文设计里最巧妙的一环,值得细说。
研究团队面对一个两难问题:想要高质量的负样本(也就是带错误的证明),但如果让AI按照指令"故意编一个错误证明",那种错误会显得很假,很刻意,就像让一个演员演一个尴尬的人,演出来的尴尬和真实的尴尬完全是两种质感。
所以他们换了个思路。给AI一个数学定理,让它认认真真地去证明,同时要求它写两份东西:一份是给人看的自然语言证明,一份是对应的Lean形式化代码,每一句自然语言对应一行Lean代码。
关键的设计是:AI在写这两份东西的时候,完全看不到Lean运行后的反馈。
这就好比让一个学生闭卷考试,交卷之前不允许看任何提示,也不允许自己检查答案。等卷子交上去之后,阅卷老师(也就是Lean编译器)才开始批改。如果允许学生中途看一眼对错再改,那么卷子上留下的就不是学生真实的认知水平,而是经过修正后的版本,错误被悄悄抹掉了。
研究团队管这个叫"盲证"。模型永远是认真想证明定理的,从不被要求故意犯错,这样它犯的每一个错误都是它自己真实能力的体现,不是被人为设计出来的假错误。
这就是整个数据生成流程的第一阶段。他们从NuminaMath-LEAN和Lean-Workbook这类公开的形式化数学题库里挑了大约一万七千八百个定理陈述,涵盖代数、不等式、数论、存在性问题等等,还特意挑了一批"困难"级别的题目。然后用Claude Sonnet 5和Claude Opus 4.8这两个模型分别去"盲证"这些定理。
第二阶段,Lean开始工作了。它把形式化证明一行行检查下去,一旦某一步编译失败,这一步和它之后所有的步骤都被标记为"错误",前面所有通过编译的步骤标记为"正确"。
但事情没这么简单。Lean编译失败,不一定代表数学推理错了,也可能只是形式化语法写得不对。
这里打个比方。你写一篇议论文,论证逻辑完全成立,但是某一句话里打错了一个标点符号,导致排版软件报错说这段文字格式不合法。这显然不是你论证能力的问题,是排版工具太死板。如果不区分这两种失败,训练出来的模型就会把"格式问题"和"逻辑问题"混为一谈,学到错误的东西。如果就这么把所有编译失败的证明都当成负样本塞进训练数据,模型学到的判断标准就会被语法噪音污染,最后它可能学会的是"挑Lean语法毛病"而不是"挑数学逻辑毛病"。
所以研究团队加了第二个模型调用,专门去读Lean报错信息,判断这次失败到底是数学错误还是纯语法问题。如果是语法问题,给它一次修补机会,改好之后重新编译,能过就留下;如果改不好,或者确认是数学逻辑本身有问题,才真正把这条数据记为错误样本。
这套流程跑完,研究团队得到了10634个标注好的证明,一共152005个步骤级标签,整个过程没有一个人工标注员参与。
他们还找了Claude Opus 5来做一次盲审复核,专门检查自动标注的质量。结果发现,被归类为"语法失败"的那些步骤,77%到93%的情况下其实数学内容是合理的;而被归类为"数学错误"的那些步骤,被判定合理的比例不到一半。这个数据印证了那套二次筛选确实有必要,如果不做这个区分,负样本里会混入大量冤假错案。
**判对错不算完,还得说出错在哪**
光标"对"或"错"还不够细致,论文团队还给每一种数学错误分了类,一共六种:胡乱假设没有依据、不等式方向搞反或没有证明、构造的反例或证据本身错了、漏掉了某种情况或前提条件、代数恒等式推错了、模运算或整除关系判断错了。
另外还有四种属于"形式化专属"的失败类型,和数学内容无关,比如引用的定理条件对不上、重写方向反了、自动化工具被要求完成它做不到的事情。这些都会被滤掉,不计入负样本。
在最终保留的4264个错误证明里,占比最高的错误类型是"胡乱假设没有依据",占了33.2%。排在后面的是不等式界限无效(17.6%)、漏掉情况或条件(17.2%)、构造错误(16.7%)、代数恒等式错误(13.6%),模运算错误最少,只有1.8%。
这个分布其实挺有意思。AI写证明时最容易犯的错,不是算错了一个数字,而是"想当然",跳过了本该论证的一步,直接断言某个结论成立。这跟人类写证明时犯的错误类型其实很像,证明里最隐蔽的漏洞往往不是算术失误,而是逻辑跳跃。
**训练出来的模型到底好不好用**
数据有了,接下来就是训练一个只读自然语言的验证模型。
研究团队选用了Qwen3系列模型,参数量从0.6B到8B不等,用GRPO(一种强化学习算法)来训练。
GRPO*:Group Relative Policy Optimization的缩写,一种强化学习训练方法,通过让模型对同一个问题生成多份答案,再比较这些答案之间的相对好坏来调整模型,是DeepSeek-R1用来做推理训练的核心技术之一。
训练时给模型设计的奖励函数很讲究:如果模型把所有步骤都标成"正确",或者所有步骤都标成"错误",这两种偷懒策略都会被奖励函数惩罚。只有同时识别出哪些步骤真的对、哪些真的错,才能拿到高分。这就好比考试判卷,如果阅卷老师发现学生不管题目内容一律写"A",这种答卷显然不该给分,奖励机制就是堵死这条偷懒的路。
最核心的对比实验,是拿同样的Qwen3-4B模型、同样的训练配方、同样的更新步数,分别喂给它LeanPRM数据和PRM800K(也就是OpenAI那个人工标注的数据集)数据,看训练出来的两个模型谁更会判卷。
结果很直接。用LeanPRM训练出来的模型,在LeanPRM-Bench这个自建测试集上,步骤级准确率从未训练时的48.2分,提升到了74.7分;而用PRM800K训练的那个模型,只提升到了60.3分。
以下是五个基准测试上的对比结果,表格里的分数越高越好:
| 模型 | LeanPRM-Bench | Hard2Verify | ProcessBench | PRMBench | IMO-GradingBench |
| 未训练的Qwen3-4B | 48.2 | 37.1 | 74.3 | 42.5 | 53.8 |
| PRM800K训练版 | 60.3 | 63.1 | **83.0** | 43.3 | 57.0 |
| 纯解题强化学习版 | 48.3 | 33.6 | 71.2 | 41.5 | 52.4 |
| **LeanPRM训练版** | **74.7** | **72.8** | 74.9 | **47.4** | **66.4** |
五个基准里,LeanPRM训练出来的模型在四个上胜出,只有ProcessBench这一个测试集上PRM800K训练的模型更强。这个例外也好解释:ProcessBench的题目和PRM800K的训练数据来源非常接近,都是短小的数学解题题目,而且它判断错误的标准更宽松,只有当"缺少论证"真正影响了结论才算错,这跟LeanPRM严格的标注逻辑不太一样。
表格里还有一行很值得玩味的对比:有一个模型叫"纯解题强化学习版",它没有学过怎么判对错,而是专门被训练去解数学题(用最终答案是否正确来给奖励)。这个模型在自己练习的题目上确实进步明显,正确率从30%涨到了47.5%,可是一旦拿它去判断别人证明的对错,几乎毫无长进,在好几个外部基准上甚至比没训练过的原始模型还差。
这说明一件挺重要的事:会解题和会判卷,是两种不同的能力,不能指望一个只靠"解题训练"的模型顺带学会判卷。这跟人类世界其实很像,一个数学家擅长自己证明定理,不代表他就擅长批改学生的证明作业,判卷需要的是另一套敏感度,专门盯着逻辑漏洞看。
**模型越大越好用吗**
研究团队还测了不同大小的模型,0.6B、4B、8B三档。
结果显示,训练对所有尺寸都有帮助,在LeanPRM-Bench、Hard2Verify和IMO-GradingBench三个测试上全面提升。但0.6B这个最小的模型明显拖后腿,训练前它甚至连五分之一的测试题都给不出一个格式完整的答案,训练后虽然有进步,但还是比4B版本落后21分左右。
有意思的是,4B和8B模型训练后的表现相当接近,在LeanPRM-Bench上分别是74.7和75.0分,几乎打平。这暗示在这个任务上,模型大小超过某个门槛后,继续加大参数量带来的收益会明显放缓。就像给一台已经够快的电脑再加内存,提速效果会越来越不明显。
**挑证明比判对错更实用**
光判断单个证明对不对还不够,实际场景里更常见的是:AI生成了好几份不同的证明尝试,哪一份最靠谱?
研究团队在IMO-GradingBench(一个收录了国际数学奥林匹克级别问题、每题约有33份人工评分证明的基准)上做了一个"N选1"的实验。给验证模型N份候选证明,让它挑一份它认为正确的,看这份被挑中的证明是不是真的被人工判为正确。
当N=16时,LeanPRM训练出的模型挑中正确证明的概率是35.9%,而随机瞎选的基准线是32.4%,并且N越大,这个优势越明显。相比之下,PRM800K训练出的模型表现接近随机选择,它几乎对所有证明都来者不拒,接受率高达79%,但实际正确率只有30%,相当于它根本没学会分辨好坏,只是来者不拒地点头。
这个结果如果换个场景来理解会更直观。假设你是一个编辑,面前有16篇投稿,其中真正合格的大概只有三成。一个合格的编辑应该能把那些不合格的筛掉大半,只留下相对靠谱的几篇;但如果你这个编辑对谁投稿都说"挺好",那你存在的意义就约等于没有审稿这道工序,稿件能不能发表全靠运气。PRM800K训练出的模型,表现就很像这种形同虚设的编辑。
**连顶级商业模型都栽的坑**
论文里还有一段很诚实的分析,他们测试了Claude Sonnet 5、Claude Opus 5、Claude Fable 5.1和GPT-5.6 Sol这四个商业大模型,用同样的指令去判断LeanPRM-Bench里的200份证明。
结果发现,在这四个顶级商业模型的原始测试中,有26份证明是它们全部判断错误的,而且错得还是一样的方式。
研究团队专门挑了几个案例出来分析。其中一个关于1985个自然数的数论题,证明里用"强归纳法"笼统地断言了一个计数结论,但论证本身并没有把归纳过程真正写清楚,属于典型的"胡乱假设"错误。四个商业模型里有三个直接接受了这一步,没有发现问题,而他们自己训练的模型准确地标出了这一步的漏洞。
这说明一件事:即使是最先进的商业AI,在面对复杂证明时也可能被一种"看起来很专业的论证语气"糊弄过去,就像一个内行的审稿人如果不够仔细,也可能被一段逻辑听起来头头是道、实则跳步的论证蒙混过关。严谨的形式化检查工具,在这种场景下反而比"更聪明"的通用大模型更可靠,因为它不讲人情,不会被漂亮的措辞打动,只认逻辑链条是否严丝合缝。
这给了我们一个不太舒服但很真实的提醒:模型越大越聪明,不代表它越不容易被忽悠。真正靠谱的判断力,有时候来自死板的规则,而不是灵活的直觉。
**这个方法能走多远**
论文作者也坦诚地指出了这套方法的局限。
首先,区分"数学错误"和"形式化语法错误"这件事本身是由AI模型判断的,虽然经过了抽样审核,但没法保证100%准确,边界情况依然可能被判错。
其次,由于负样本全部来自Claude这一个模型家族自己犯的错,这意味着训练数据里覆盖的"错误类型"可能存在某种偏差,没准有些人类常犯但Claude不常犯的错误类型,这套系统根本没见过,也就学不会识别。
还有一点,测试集LeanPRM-Bench本身也是用同一套流程、同一批生成模型做出来的,这让人多少有点担心这个验证模型是不是只是学会了识别"Claude式的错误",换一批完全不同风格的证明生成器,表现会不会打折扣。好在论文里额外用了四个完全独立的外部基准做交叉验证,多少缓解了这层顾虑。
往前看,这套"用形式化工具给自然语言生成训练标签"的思路,其实不局限于数学。任何一个"没有唯一答案、但局部环节可以被精确检验"的任务,理论上都能套用这个模式,比如给代码生成任务配一套单元测试做裁判,或者给科学推理配一个物理模拟器做裁判。数学只是这个思路第一个站稳脚跟的落地场景。
写在后面
读完这篇论文,最触动我的其实不是准确率提升了多少分,而是那个"盲证"的设计。
让AI在完全不知道自己对错的情况下写证明,这个做法听起来简单,但背后的洞察很深:想要获得真实的错误样本,前提是不能让犯错的人(或AI)有机会偷偷纠正自己。这跟心理学里的"盲法实验"其实是同一个逻辑,只有被试完全不知道自己被观察、被检验,TA的真实反应才有参考价值。很多AI训练数据的问题,可能都出在这个环节:我们总是忍不住想让数据"干净"一点,却在不知不觉中把最有价值的真实错误给过滤掉了。
另一个让我意外的细节是那个"纯解题强化学习"的对照实验。直觉上会觉得,一个很会解数学题的AI,大概率也比较懂得判断证明对错,毕竟都是数学能力。但实验结果狠狠打了这个直觉的脸,解题能力和判卷能力几乎是两条不相交的技能线。这让我想到,很多时候我们评价一个人"数学好",其实默认把解题和审题、推理和纠错混为一谈了,但这篇论文用数据证明,这可能是个需要重新审视的假设。
还有一处细节值得单独拎出来:四个顶级商业大模型在同一批证明上犯了一模一样的错误。这不是巧合,这更像是说,当前这代大模型可能共享着某种相似的"盲点结构",它们训练数据的来源、训练方式的相似性,让它们在面对某些特定类型的逻辑漏洞时,表现出了惊人的一致性失误。如果真的是这样,那么单纯靠"换一个更大的模型"来解决可靠性问题,可能走不通,需要的是完全不同质地的检验机制,比如这篇论文里用到的形式化证明系统。
一个AI写出了人类看不懂但可能正确的证明,另一个AI判断它对不对,判断的依据来自第三个对自己完全诚实的AI在不知情状况下犯下的真实错误。这套链条本身,已经有点像是数学世界里一场悄悄发生的信任重构。
Q&A
Q1:LeanPRM是什么?
A:LeanPRM是一个训练数学证明验证模型的框架,它用Lean证明助手给自然语言写的数学证明打上步骤级的对错标签,整个过程不需要人工标注,最终训练出一个只读自然语言、就能判断证明每一步是否正确的AI模型。
Q2:LeanPRM训练出的验证模型比人工标注的PRM800K训练效果好吗?
A:在相同训练配方和训练量下,LeanPRM训练出的4B模型在五个基准测试中的四个上超过了PRM800K训练出的模型,比如LeanPRM-Bench上74.7分对60.3分,但在ProcessBench这一个基准上PRM800K版本更强。
Q3:为什么不能直接让AI生成一个"故意出错"的证明用来训练?
A:因为故意制造的错误会显得不自然,不像真实发生的错误。LeanPRM让AI在完全看不到Lean反馈的情况下认真证明定理,这样它犯的错都是真实能力体现出来的,再用Lean和第二个模型筛出真正的数学错误,而不是人为编造的假错误。
热门跟贴