有人生前波澜不惊,死后却名声大振,贝叶斯就是其中之一。
以他命名的“贝叶斯定理”堪称一座知识宝库,从神经科学到人工智能,无所不及。
但贝叶斯主义的诞生却有着一段起伏跌宕的历史,据记载贝叶斯本人并没有发表过贝叶斯公式,甚至不少专家赞同,贝叶斯很可能不是贝叶斯主义者。
真相到底如何?一起跟《贝叶斯的博弈》走进神秘的托马斯·贝叶斯!
《贝叶斯的博弈》
作者:黄黎原(Lê Nguyên Hoang)
译者:方弦
01一段起伏跌宕的历史
在很长一段时间里,频率主义者及其精神领袖罗纳德·费希尔都在迫害一批人,在他们眼中那只是一个默默无名的小学派。
整整两个世纪,贝叶斯主义寥寥可数的几个忠实信徒必须秘密行动,他们不敢公开承认自己的异端信念。
被频率主义禁止之后,贝叶斯主义有几次甚至被逼到了灭绝的边缘。
但依靠普赖斯和拉普拉斯的古老典籍,一小群虔诚的使徒守住了贝叶斯主义的明灯。这些贝叶斯主义的先知知道如何将贝叶斯的信条应用到现代社会中,无论是金融、工程还是科学领域。
当今,一些著名大学甚至开始每周举办集会,邀请那些信徒与见习者反反复复阅读贝叶斯的箴言。
现在,人们对贝叶斯主义的态度产生了如此大的改变,即使是在学术圈,承认自己是贝叶斯主义者也不再不可理喻——虽然当我为贝叶斯主义辩护时,仍然经常有人向我投以怀疑的眼光。
我花这个时间构建这个隐喻,是因为贝叶斯主义的历史本身就很激动人心,也代表着科学史的特点。
与人们通常的叙事相反,科学并不只是一系列智者的灵光一现与理性的胜利。在思想的演进中,滥权、嫉妒与对抗扮演着同样重要的角色。数个世纪以来被最优秀的智者否定的想法,最后也可能会被科学共同体接受。
据作家莎伦·麦格雷恩所说,这正是贝叶斯主义的遭遇。麦格雷恩甚至为贝叶斯主义那难以置信的历史写了整整一本书,并且不惮于给它起了这样一个标题:《死不掉的理论:贝叶斯法则如何破译恩尼格玛密码、追踪发现俄罗斯潜艇并赢得一场两个世纪的论战》(The Theory that would not Die: How Bayes’ Rule Cracked the Enigma Code, Hunted down Russian Submarines, and Emerged Triumphant from two Centuries of Controversy)。
在本章中,我提议大家一起探索贝叶斯主义那曲折动人的历史。为此,讲一点关于 17 世纪的闲话很有好处,那正是布莱兹·帕斯卡和皮埃尔·德·费马终于尝试将概率这个概念数学化的时代。
帕斯卡和费马当时考虑的问题,就是当纯粹靠运气的赌局中断之后,怎么根据当前的比分来分配赌金。
比如说,想象一下两位玩家各自赌上 10 欧元,进行一盘抛 11 次均匀硬币然后比较正反面出现次数的胜负。押注在次数较多(即出现 6次或以上)那一边的玩家就能把赌上的全部 20 欧元收入囊中。假设在赌局因事中断时,比分是 4 - 0,那么应该如何公平地划分赌金?
从直觉上来说,4- 0 领先的那一方应该分到更多的赌金,因为他最后获胜的概率更大。但他应该获得其中几分之几?为了得到严谨的答案,帕斯卡和费马需要确立一种方法来传播每一次抛硬币的不确定性。
换句话说,他们知道了原因——赌局不确定性(也就是每一次抛硬币的不确定性),需要由此确定结果——两位玩家最终获胜的概率。
帕斯卡和费马需要构建一套关于概率的演绎逻辑。这让他们奠定了概率论的基础,还引入了数学期望和二项分布等概念。
但帕斯卡和费马的理论仍然很不完善。真正赋予概率论血肉的人,可能是亚伯拉罕·棣莫弗。
在 17 世纪末,棣莫弗因宗教迫害逃离法国,在英国皇家学会这个充满智识的环境中受到了庇护,而且可以与艾萨克·牛顿、约翰·沃利斯和约翰·洛克等人共处。
在那里,他发表了题为《机会论》(The Doctrine of Chances)的开创性著作。该书初步概述了数学中最漂亮的定理之一——中心极限定理。用这个定理可以推断出,如果将无数个微小的独立随机扰动加起来,得到的随机变量遵循怎样的概率分布。
02神秘的托马斯·贝叶斯
然而,概率论中还有一个问题,棣莫弗不知道如何解决,该问题回应了大卫·休谟的哲学思考,我们在第 4 章就已经谈到过这位早于棣莫弗出现的哲学家。
这个基础性问题叫作逆概率问题,但它其实就是关于归纳的问题,也就是在已知结果的前提下计算不同原因的概率。
这就是加尔文宗的教会牧师托马斯·贝叶斯出场的时候了。好数学家碰到难题时就会做,贝叶斯首先考虑了一个简单的例子。他想象有一张桌子,上面(均匀)随机地放着一个白球,而贝叶斯本人背向桌子,对白球位置一无所知。然后,贝叶斯必须从白球位置引出的结果出发,判定这个位置,或者至少给出对应的可能性。
贝叶斯的助手会将一个黑球放在桌面上,位置同样(均匀)随机。贝叶斯仍然背对桌子,同样不知道黑球的位置。接下来,贝叶斯向助手提问白球到底在黑球的左边还是右边,助手会回答他的问题。然后,这位助手会用第二个黑球重复同样的步骤,告诉贝叶斯这个新的黑球到底在白球的左边还是右边,然后重复第三个、第四个黑球,以此类推。
如果知道白球位置的话,贝叶斯就可以计算助手的每个答案的概率。所以白球位置应该是助手对贝叶斯的提问做出那些回答的原因(之一)。逆概率问题就是在已知结果的情况下确定原因,也就是在已知助手的回答的情况下,确定白球的可能位置。
你可能也猜到了,贝叶斯正是通过直觉,得到了以他的名字命名的公式,从而解决了确定白球(可能)位置这个问题。
你可能会觉得,这样就终结了逆概率的问题。
事实远非如此。
正如本章中将会谈到的众多统计学家那样,贝叶斯行事隐秘,没有发表他的神奇公式。他是不是害怕引起论战?这似乎不太可能。他在世时曾经挺身反对乔治·伯克利对牛顿建立的新数学体系的批评。他是不是害怕质疑自己的宗教信仰?肯定不是,因为他发展逆概率理论的重要目的就是强调原因这个概念,而原因可以追溯到所谓的第一因,从而证明上帝的存在。
为什么贝叶斯没有发表他的公式?最可信的解释之一很简单,就是他没有看到他这个公式全部的美,或者自己也不相信这种美。无论如何,不少专家赞同,贝叶斯很可能不是贝叶斯主义者。
1763年,在贝叶斯辞世两年之后,他的公式才最终得以发表,这要归功于理查德·普赖斯的不朽之作。
实际上,在这两位智者之中,普赖斯反而比贝叶斯更像一个贝叶斯主义者,但他其实也没有那么秉持贝叶斯主义。另外,他同意投入出版贝叶斯遗作这一工作,动机似乎是为了证明上帝的存在。
普赖斯这样断言:“我的目标就是弄清我们究竟出于什么原因相信,物体的组成中存在一些固定法则,而这些法则正是物体产生的依据;我们又为何会相信,世界的框架也因此必然源自一个智能本因的智慧和能力。所以,(我的目标就是)通过终极原因确立上帝的存在。”
03拉普拉斯,贝叶斯主义之父
实际上,称得上贝叶斯主义者第一人的并不是英国人,而是法国人皮埃尔 –西蒙·拉普拉斯。
拉普拉斯是历史上最伟大的数学家之一,他大概也是我心目中最伟大的英雄。长久以来,他为人们所熟知的原因是他对分析及其在天文学中的应用所做的工作,他将这些工作成果集结成五卷题为《天体力学》(Traité de mécanique céleste)的著作并发表。特别是,这本巨著给出了关于太阳系稳定性问题的新解答。
牛顿此前已经证明了,如果宇宙中只有地球和太阳,那么它们就会组成一个稳定的系统,直到时间的尽头。然而,如果这个模型必须包括木星的话,那么相应的方程就无法求解。牛顿最后举手投降,得出的结论是只有上帝的干预才能给予这个复杂系统秩序,将行星的轨道稳定下来。
装备上以他自己的名字命名的“拉普拉斯变换”等新数学分析工具之后,拉普拉斯成功给出了太阳系其实无须上帝的干预也很稳定的理由。
拿破仑·波拿巴在阅读了拉普拉斯的《天体力学》之后,问了一句:“牛顿在他的书里谈到了上帝。我看了你的书,这个名词在里面一次都没有出现过。”
拉普拉斯的回答是:“我不需要上帝这个假设。”
然而,拉普拉斯并没有完全严谨地解决太阳系稳定性的问题,而我们绝不能责怪他。之后一代又一代数学家在这个难得超出想象的问题上磕磕绊绊,其中包括卡尔·弗里德里希·高斯、亨利·庞加莱、安德烈·柯尔莫哥洛夫、雅克·拉斯卡尔和塞德里克·维拉尼。
正如庞加莱在他自己的一篇本应证明了太阳系稳定性的论文中找出了错误那样,数学界与天体物理学界对于太阳系稳定性的置信度也是左右摇摆的。在今天,雅克·拉斯卡尔的模拟似乎获得了科学界的肯定。这些模拟预言:太阳系将在很长一段时期内变得不稳定。但请放心,要看到这一天还需要相当长的时间。
拉普拉斯在解决这个问题时遇到的困难之一就是手头上的观察结果不够准确。需要说明一下,这些数据来自公元 1000 年左右的阿拉伯人、公元 100 年左右的古罗马人、公元前 200 年的古希腊人,甚至公元前 1100 年的中国人。但不巧的是,当时的测量仪器都不够精确。
拉普拉斯手头的数据是错误的,但他是怎样还能够探索这些含有错误的数据的呢?
拉普拉斯着手研究这个问题的角度也是典型贝叶斯式的。他知道此前数个世纪天文学家的观察结果,而且需要从中推断错误的原因——天体在天空中真正的位置。
在意识到这个问题的结构之后,即使他当时似乎还没有听到有关贝叶斯的发现的风声,拉普拉斯还是正面进攻了这个逆概率问题。
1774 年,拉普拉斯发表了《论事件原因存在的概率》(Mémoire sur la probabilité des causes par les événements)。这是多么出色的文章!他在论文中结合了棣莫弗之前的工作、拉格朗日创造的分析工具以及他本人的才华,以最广泛、最壮丽的方式确立了贝叶斯公式。
上文转自图灵新知,节选自《贝叶斯的博弈》,【遇见数学】已获转发许可。
《贝叶斯的博弈:数学、思维与人工智能》
作者:黄黎原(Lê Nguyên Hoang)
译者:方弦
法国数学类科普书、大学数学参考及教材类图书畅销书目,深受读者好评。
一个充满启示,实现革新,改变人类认知和预测方式,颠覆固有思维的奇妙定理。
入门级读物,谈论科学的新方式,严谨而全面,无须过多数学专业知识也可畅读。
本书从数学、哲学、计算机科学、神经科学和人工智能等角度,全面阐述了贝叶斯理论背后的基础知识、思维方式和丰富哲理。贝叶斯定理一旦与算法相结合,就不再是一套枯燥的数学理论或认识论,而变成了应用广泛的知识宝库,催生了众多现代数学定理,以及令人称道的实践成果。
热门跟贴