数学界大佬陶哲轩又整活了:

打开网易新闻 查看精彩图片

陶哲轩:

假设我们给一个先进的人工智能下达指令:“找到一种能够通过三期临床试验的癌症治愈方案。”

在进行了大量计算之后,它提出了一种由此前从未发现过的化学物质组成的混合药剂。根据它的数学模型预测,将这些物质混合后注射进患者体内,就能杀死所有癌细胞。

尽管没有人真正知道这种混合药剂是如何被发现的,但这一模型的预测在Lean中得到了验证,而且这种混合药剂确实通过了三期临床试验。

那么,有没有可能,人工智能给出的解决方案实际上并没有与人类的意图对齐,而是利用了临床试验流程中的某种漏洞?

在把这种混合药剂注入自己的血液之前,你是否希望知道,至少有一位人类癌症专家真正理解这种疗法背后的作用机制?

或者,你是否希望有一位人类数学家,真正理解用于发现这种混合药剂的数学模型?

人话就是:即使人工智能给出了正确的答案,并且通过了外部检验,我们是否还需要理解它为什么正确?

陶哲轩的意思是:即使AI完美实现了给定的目标,它也可能没有解决我们真正想要解决的问题,比如治愈癌症。

说陶哲轩对,他这一套推理是完全没问题的。但是,现实没有跟着推理走,是因为医学这门学科,弄不清原理但是照样用的稀松平常,人类用柳树皮治病(阿司匹林)用了几千年,直到1971年才搞清楚机制,1928年发现青霉素,但是到1950年后才弄清机制,如果真到了绝症晚期,没人管机制,先打一针活下来再说。

其实不光是医学,包括生物学,化学,物理学等等,基本上都是实用主义优先,搞不懂原理但是用才是普遍性的,只有数学特殊一点。

数学其实也不是没有搞过,四色定律就是计算机完成的。

先声明一下,陶哲轩已经是数学界非常开明的人了,不像很多老古董。

同行评议

联系到陶哲轩前段时间的那个联名信,陶哲轩的目的很明确,他希望维护现有的同行评议制度,尤其是维护“人类理解的意义”,既:计算机可以给出证明,但是只有人类才能赋予其意义。

同行评议制度诞生的背景和现代大不一样,最早的科学期刊《哲学汇刊》是皇家学会首任秘书亨利·奥尔登堡创办,实际上这是私人事业,自负盈亏,主要靠的是他个人的关系网络,所谓的评审其实就是他本人筛选和编辑他的通信,一个人说了算。

后来皇家学会接管了期刊,搞了论文委员会,用集体投票来决定是否接受或者拒绝。

再到19世纪,科学发展越来越专业化,非专家的委员会来评审论文已经不可信,到1831年,皇家学会引入了审稿人制度,被选中的专家需要提交书面评审报告,作为委员会决策的依据

到了20世纪后,科研开始职业化,论文爆炸式增长,其实就这个时候,所谓的同行评议已经不堪重负了。

17世纪到19世纪,之所以同行评议有效,是因为论文少,学者少,所以搞搞手工业无所谓,问题是20世纪后,论文生产已经工业化,评审却还是手工劳动,论文和学位,晋升强挂钩,发表是职业刚需,这就产生实质上的错位。

又因为科研日益专业化,真正懂该细分领域的合格审稿人数量有限,且他们同时要上课、申请基金、做行政、写自己的论文,论文数量指数增长,合格审稿人的注意力却不可能指数增长。

有些很窄的领域,可能真正懂的人寥寥无几,但是一年投稿可能都上千篇,根本来不及审。

天量的论文和羸弱的审理形成了矛盾,同行评议能做什么?无非就是降低标准,快速判断,扫几眼摘要,找非专家凑数,AI辅助,形式化通过。

只要毕业、晋升、基金、排名都绑定发表,论文生产就会继续膨胀,而评审劳动永远跟不上。你不可能用志愿手工评审去认证工业规模的论文生产。

一开始是顶级期刊还能保住自己的底线,一般的期刊基本上就是论文工厂,到现在,连顶级期刊都在不停地出问题,在《Cell》、《Nature》、《Science》之类的顶级期刊造假案例已经屡见不鲜。

根据2024年的统计,全球顶级期刊一共撤回190篇文章,其中《Cell》2篇、《Nature》3篇、《Science》3篇。

而学术界怎么解决这个问题?目前唯一的办法就是“呼吁学术道德”。

一个制度,在发论文和晋升,基金,排名之类的强挂钩,而唯一的制约就是“学术道德”,你就知道这个制度距离破产不远了。

陪审团

其实我根本无需就这个问题阐述很多,但就一个问题:速度,就足以让这个制度破产,这个制度早该在20世纪破产的,苟延残喘到21世纪,是AI让这个制度面临最后一脚。

我在社交媒体上表达这个看法的时候,留言不少,一个经典的留言是这样的:

“同行评议的确有很多问题,即使通过同行评议也不一定就是正确的。但是如果连同行评议都没有通过,那岂不是正不正确就全凭你一张嘴了?”

其实仅仅速度,就足以判同行评议死刑了。

法律界先行了一步。

发不发论文,顶多影响到一个人的前途,判刑不判刑,是能影响到一个人的一生。

辩诉交易,指的是法院开庭审理之前,作为控诉方的检察官和代表被告人的辩护律师进行协商,以检察官撤销指控、降格指控或者要求法官从轻判处刑罚为条件,来换取被告人的有罪答辩,进而双方达成均可接受的协议。

现代陪审团制度诞生于12世纪的英格兰,当时的英格兰只有两三百万人口,社会流动性低,村庄和百户区是熟人社会,使用陪审团是可行的。

当然,现代依然也有陪审团,但是地位大大降低了。

2025年联邦法院约有98%的案件以辩诉交易告终,联邦重罪案件中只有约2%至3%最终进入审判程序,远低于1980年代约20%的水平。

注意,这可是重罪。

甚至A级重罪(无期徒刑和死刑)辩诉交易率都不低,比如加州,七八十年代有47%的死刑案件未经审判即告解决,其中绝大多数是辩诉交易。纽约州,1995-2003年间,54起 死刑案件中有26起 提出了辩诉交易

举个例子,在章莹颖案中,辩方也曾提出以供述尸体位置来换取避免死刑的交易。

如果有人认为“公正”是必须坚持同行评议的原因,那么看看法律界,比发论文严重得多的判决,都无法坚持陪审团,原因仅仅就是“审不过来”。

在AI时代,论文的生产速度会远远超过任何同行评议,必然带来天量的论文,同行评议这个制度是绝对坚持不下去的。

我预计的结果

AI生成一篇看似逻辑严密的论文,边际成本可以忽略不计,而人类如果要评议这类论文,需要相当长的时间,过去论文工厂还需要枪手手动拼凑,现在批量生成,大量论文可以轻易把整个评议系统淹了。

陶哲轩目前退了一步,大力推崇形式化验证,其实就是在提前布局,试图在同行评议崩溃之前找到出路,通过自动化同行评议,直接过滤掉90%逻辑错误的伪证,人类数学家不再去检查繁琐的逻辑步骤。

但是陶哲轩的理想可能并不符合现实,因为形式化验证本身也有上限,举个例子,如果AI每天生成了100万份候选证明,完成形式化可能也有二三十万份,难道人类要挨个去研究这二三十万份?

当数量到达一个级别,原有的体系根本不堪重负。

目前已经实行的方法包括:

先发表,后评议,研究者先把论文上传到平台,其他人可以立即阅读、引用、评论,后续再通过专业期刊或公开讨论进行评价。

公开评议与发表后评议,论文发表之后,任何具备相关知识的人都可以提出质疑,作者回应,其他研究者继续讨论。部分期刊还会公开审稿意见和作者的修改记录。

目前还在探索审稿和期刊分离,以及机器验证,专家只审查剩下的问题。

但是我猜想,在AI继续大规模发展和普及下,所有的方法都会失效,未来采取什么样的方式我不知道,但是传统的同行评议制度的死亡是必然的。