数学悖论系列之八（统计学悖论)|定理|数学悖论|概率论|统计学悖论|统计量|贝叶斯

数学悖论系列之八（统计学悖论)

八、统计学悖论（Statistical paradox)

在庞大的统计世界中,矛盾往往出现,挑战我们的直觉,揭示出数据中可能存在的微妙复杂性。本文将探究二个令人困惑的统计悖论——林德利悖论（Lindley's paradox）、波莱尔悖论（Borel's paradox）,以加深对统计现象及其更广泛的含义的理解。对统计悖论的研究可以为数据分析和解释的复杂性提供有价值的见解。每个悖论都挑战直觉，强调统计推理的重要性，并为分析过程中做出的每个决定提供验证。

（一）统计学相关知识

1.二项分布（图 82）

图 82

2.概率密度（图 83）

图 83

3.参数估计

如果能够掌握总体的全部数据，那么只需要做一些简单的统计描述，就可以得到所关的总体数量特征(即总体参数),比如总体均值μ,总体方差σ^2,总体比例p等。但现实往往比较复杂，有时就需要从总体中抽取出一部分个体进行调查(抽样调查),进而利用样本提供的信息来推断总体的特征。（图 84）

图 84

参数估计的方法分为点估计和区间估计两种。点估计就是直接以样本统计量的某一个取值作为总体参数的估计值。区间估计的思想则是选择一个被认为很可能包含总体参数的区间，该区间通常以点估计为中心，通过加减边际误差得到区间的上限和下限。

点估计统计量是随机变量的函数。因此，样本统计量本身也是一个随机变量。不同的样本会产生不同的估计值。因此，就有了样本统计量的抽样分布——从同一总体中抽取的相同样本量的不同样本计算出来的估计值形成的分布。

用点估计值代表总体参数值的同时，还必须给出点估计值的可靠性。但是有时一个具体的点估计值无法给出估计的可靠性的度量，因此有必要围绕点估计值来构造总体参数的一个区间——区间估计：总体参数主要有总体均值μ、总体比例p等。需要注意的是对总体比例p进行区间估计时，一般只考虑大样本的情形（n≥30）。

4.假设检验

（1）原假设和备择假设

在假设检验中，待检验的假设被称作原假设或者零假设，是研究者想搜集证据拒绝的假设，用H₀表示；其对立面称为备择假设，是研究者想搜集证据支持的假设，用H₁或者Hα表示。（图 85）

假设检验的统计思想主要理论依据是“小概率事件在现实中是不可能发生的”这一概率思想。在原假设的前提下，如果在一次观察中小概率事件发生了，则认为原假设是不正确的；反之，如果小概率事件没有出现，则我们没有理由否定原假设。另外，假设检验采用的逻辑推理方法是反证法：要检验某个假设是否成立，先假设它是正确的，然后根据样本信息计算出的统计量信息判断由假设而得到的结果是否合理，从而作出对原假设拒绝与否的决定。

图 85

在检验中，使得原假设可以被拒绝的统计量所在区域称为检验的拒绝域。反之，使得原假设不能被拒绝的统计量所在的区域称为检验的非拒绝域。这两个区域是互补的关系，即检验统计量的实际值必然落入且只能其中的一个区域，它们之间的分界线就是临界值。

假设检验使用的统计量称为检验统计量，它的选择应该根据具体研究的问题而定。一般来说，检验统计量的构造形式如下：

检验统计量=(样本统计量(点估计)-被检验的总体参数)/样本统计量的分布标准差

（2）假设检验的具体步骤

假设检验的步骤可以归纳为以下几步：

①建立假设

首先根据前面讲述的原假设确定原则提出原假设H₀与备择假设H₁。

②确定检验统计量

先确定该统计量的分布情况，然后根据样本信息计算该检验统计量的实际值。确立假设后，要判断是否拒绝原假设应该依据检验统计量数值从概率意义上进行判断。检验统计量也称为样本统计量，不同的检验统计量具有不同的分布，具体服从什么样的分布由许多因素决定，如统计量的构造形式、样本量是大样本还是小样本、总体方差是否已知等。

③显著性水平α

设定检验的显著性水平α并确定临界值。在原假设成立的条件下，由被检验的统计量分布及要求的显著性水平α查表得出相应的临界值。

④结论

利用样本求出的检验统计量的实际值与临界值进行比较，做出是否拒绝原假设的决定。如果样本统计量的实际值落入拒绝域中，我们就拒绝原假设；若样本统计量的实际值落入非拒绝域，我们就不能拒绝原假设。

（3）P值

传统的假设检验流程是事先设定检验的显著性水平α,然后明确拒绝域，在检验时，只要检验统计量的值落入拒绝域就拒绝原假设。同样，也可以使用P值判断是否拒绝原假设。P值是在假定原假设正确的条件下，检验统计量取样本统计量或沿备择假设方向趋于更为极端值的概率。

利用p值进行假设检验的准则是：将p值与事先确定的显著性水平α进行比较，若p值小于α,说明小概率事件发生，则拒绝原假设；若p值大于等于α,则不能拒绝原假设。

（4）两类错误（图 86）

图 86

在假设检验中，犯第I类错误的概率记为α,即前面提到的显著性水平，犯第Ⅱ类错误的概率记为β。我们希望的是犯这两类错误的概率都尽可能小，但是在一定的样本容量下减少α会引起β的增大，减少β同样会引起α的增大。

（5）总体均值μ的假设检验（图 87）

图 87

5.贝叶斯定理

条件概率最重要的事实无疑是贝叶斯定理，英国教士托马斯·贝叶斯在他死后出版的杰作《解决机会主义中的一个问题的论文》中首次意识到了它的重要性。贝叶斯定理将以给定数据体为条件的假设的“直接”概率与以假设为条件的数据的“逆”概率联系起来。它在认识论、统计学和归纳逻辑的主观主义或贝叶斯方法中占有突出地位。主观主义者认为理性信念受概率法则支配，他们在证据理论和经验学习模型中严重依赖条件概率。

贝叶斯定理简化了条件概率的计算，也因为它阐明了主观主义立场的重要特征。事实上，该定理的核心观点——一个假设被任何一组数据证实，其真实性使其成为可能——是所有主观主义方法论的基石。

在贝叶斯统计中，先验概率是在收集新数据之前某一事件的概率。这是在实验进行之前，基于现有知识对结果概率的最佳理性评估。在贝叶斯统计中，先验概率是在考虑任何新的(后验)信息之前，事件发生的事前可能性。通过使用贝叶斯定理更新先验概率来计算后验概率。

在统计学术语中，先验概率是后验概率的基础。

随着新数据或信息的出现，事件的先验概率将被修正，以产生对潜在结果的更精确的测量。修正后的概率成为后验概率，并使用贝叶斯定理进行计算。在统计学术语中，后验概率是在事件B已经发生的情况下，事件A发生的概率。

先验概率和后验概率区别：先验概率表示在引入新证据之前最初相信的东西，后验概率考虑了这些新信息。

例如，三英亩土地分别标有A、B和C。其中一英亩地下有石油储量，而另外两英亩则没有。在英亩C上发现石油的先验概率是三分之一，即0.333。但是，如果在英亩B上进行钻探测试，结果表明该位置没有石油，那么在英亩A和C上发现石油的后验概率变为0.5，因为每英亩有二分之一的机会。

（1）贝叶斯定理(最常见形式)（图 88）

图 88

（2）条件概率和贝叶斯定理

①条件概率和贝叶斯定理见（图 89）

图 89

②贝叶斯定理的第二种形式以及其特殊形式（图 90）

图 90

③贝叶斯定理等价于以下图 91关于比值比的事实

图 91

④不同版本的贝叶斯定理（图 92）

图 92

6.概率的频率理论

概率的频率理论是统计学中的一个基本概念，它将概率定义为事件发生的长期相对频率。这个理论假设，如果一个实验被重复了很多次，那么一个事件发生的次数与总的实验次数之比将会收敛到一个固定的值，这个值就是那个事件发生的概率。这种方法在结果不确定的情况下特别有用，提供了一个基于经验数据量化可能性的实用框架。

频率理论的核心思想是，概率不仅仅是一种主观信念，而是可以通过实验客观测量的。例如，如果一枚硬币被翻转多次，则可以计算出正面的频率，并且随着翻转次数的增加，正面的频率将接近0.5。这种经验基础允许统计学家和数据科学家从观察到的数据中推导出概率，使其成为统计分析和数据解释的基石。

数学上，频率理论可以用公式P(A) = n(A) / n(T)来表示，其中P(A)是事件A的概率，n(A)是事件A发生的次数，n(T)是试验的总次数。这个公式强调了观察到的频率和计算出的概率之间的直接关系，加强了理论的经验性。

概率论的频率理论的相关性超出了理论应用；它是统计学和数据分析实践的组成部分。通过将概率建立在经验证据的基础上，这一理论为理解不确定性和基于数据做出明智的决策提供了一个强大的框架。随着数据科学领域的不断发展，频率理论的原则仍然是统计推理和分析的基础。

（二）著名的二个统计学悖论

1.林德利悖论（Lindley's paradox）

检验零点假设是统计方法论中一个经典但有争议的问题。一个突出的例子是林德利悖论，它出现在大样本量的假设检验中，并揭示了贝叶斯推理和频率论推理之间的显著分歧。对这个悖论的仔细分析表明，贝叶斯论和频率论都未能令人满意地解决它。贝叶斯假设检验和频率论假设检验之间的裂痕，触及了统计推理的核心。与大多数当前文献所暗示的相反，这个悖论是哈罗德·杰弗里斯爵士在 1930 年代后期开发的贝叶斯测试方法的核心。

林德利悖论表明，当分析大型数据集时，零假设中的微小错误会被放大，导致错误但具有高度统计显著性的结果。林德利悖论是频率主义者-贝叶斯差异的重要例证。这种差异始于对概率的不同解释。假设检验是统计学中一个公认的问题公式。它广泛应用于许多应用领域，p值在几乎所有的统计软件中都作为标准输出。频率主义方法关注的是统计推断的前数据方面，而贝叶斯方法关注的是后数据方面。

在假设检验框架中，通常会计算 p 值来确定是否拒绝原假设。另一方面，贝叶斯方法通常计算原假设的后验概率以评估其合理性。

林德利悖论是一个统计学概念，描述了贝叶斯和频率主义者对概率的解释之间的紧张关系。当一个统计假设用一个小样本量来检验时，就会产生这种紧张，导致关于假设为真的可能性的矛盾结论。

总的来说，林德利悖论凸显了贝叶斯和频率主义者对概率的解释之间的矛盾，以及当试图使用小样本量对假设得出结论时出现的挑战。在这种情况下，重要的是要仔细考虑研究的局限性和结果中的潜在偏差，以便对被测试的假设得出适当的结论。

（1）下边列举几个例子加以说明

①感染HIV的概率

考虑某个国家一个上百万人口的城市，人口中感染HIV的比例为0.01。然后，随机选择的受试者感染HIV的先验概率为0.01。

假设现在一个受试者的HIV呈阳性（连续在不同的6家医院做同样的测试都是阳性），已知该测试的特异性为95%，灵敏度为99%。受试者感染艾滋病毒的概率有多大？换句话说，如果测试结果呈阳性，那么受试者感染HIV的条件概率是多少？

下表（图 93）汇总了计算结果。为了简单起见，你可以把分数(概率)看作总体的比例。

图 93

因此，总体阳性检测的平均比例为0.0594，其中实际感染的比例为0.0099/0.0594或0.1667 = 16.67%。

因此，受试者真的感染了HIV的后验概率(即，在测试已经进行并且结果为阳性之后)是0.1667。

先验概率和后验概率之间的差异表征了我们从实验或测量中获得的信息。在本例中，概率从0.01(先验)变为0.1667(后验)。

一项检测的灵敏度，即“真阳性”率，是指该疾病患者检测呈阳性的次数；测试的特异性，即“真阴性”率，是测试阴性的健康患者的比例。上边提到的测试的特异性为95%——也可理解准确率为95%，灵敏度为99%——也可理解检出率为99%。这样一来，也可从频率检测角度来计，因为受试者连续在不同的6家医院做同样的测试，结果都呈阳性，那他有6/6×99%×95%=94.05%的概率感染了HIV。

94.05%与贝叶斯方法得出的16.67%感染概率相差甚远。这就是林德利悖论所凸显的贝叶斯和频率主义者对概率的解释之间的深层次矛盾其中的一个例子。在这种情形之下，该相信谁呢？显然，一个随机受试者（体检者）偶然一次体检HIV呈阳性，正确做法是采用频率主义方法——多测几次，而不是采用贝叶斯方法。

②药物疗效

一位研究人员对测试某种药物对治疗特定疾病有效的假设感兴趣。为此，研究人员对10名患者进行了临床试验，其中一半接受药物治疗，另一半接受安慰剂。试验结果显示，接受药物治疗的5名患者中有4名患者的病情有显著改善；而接受安慰剂治疗的5名患者中仅有1名患者的病情有类似改善。

从表面上看，这些结果似乎支持药物治疗有效的假设。然而，当我们应用概率的贝叶斯解释时，我们看到研究的小样本量使得很难对药物治疗的有效性得出明确的结论。这是因为贝叶斯概率考虑了假设为真的先验概率，在这种情况下，鉴于我们关于药物的信息量有限，这种概率可能相当低。

相比之下，频率主义者对概率的解释将侧重于观察到的研究结果，并得出药物可能有效的结论，因为与接受安慰剂的患者相比，接受药物治疗的患者中有更大比例的患者经历了显著的病情改善。

这个例子说明了林德利悖论，当一项研究的样本量很小，很难使用贝叶斯或频率主义的概率解释得出关于假设为真的可能性的明确结论时，也会出现这种悖论。在这种情况下，我们必须仔细考虑研究的局限性和结果中的潜在偏差，以便对被检验的假设得出适当的结论。

③硬币的公平性

林德利悖论的另一个例子可以在掷硬币的例子中看到。想象一下，我们正在试图确定一个硬币是公平的还是有偏差的，我们通过投掷硬币10次并观察结果来进行小规模的实验。如果硬币正面着地5次，反面着地5次，我们可以断定硬币是公平的。然而，如果硬币正面着地8次，反面着地2次，我们可以得出结论，硬币偏向正面。

然而，当我们应用概率的贝叶斯解释时，我们看到实验的小样本量使得很难对硬币的公平性得出明确的结论。这是因为硬币公平的先验概率可能相当高，因为除非有相反的证据，否则大多数硬币都被认为是公平的。因此，观察到的实验结果可能不足以推翻这个先验概率，并提供令人信服的证据证明硬币是有偏差的。

相比之下，频率主义者对概率的解释会关注实验的观察结果，并得出结论，硬币可能是有偏差的，因为与反面相比，更多的投掷导致正面。但这一结论受到实验样本量小的限制，很难对硬币的公平性得出确定的结论。

（2）进一步讨论

①频率理论作用

概率的频率理论广泛应用于各个领域，包括金融、医疗保健和社会科学。例如，在金融领域，分析师利用历史数据评估市场波动的可能性，帮助投资者做出明智的决策。在医疗保健领域，该理论有助于理解基于人口数据的疾病发生概率，这对公共卫生规划和资源分配至关重要。

频率理论的实际应用可以在各种实验中观察到。例如，在质量控制中，制造商可以使用频率分析来确定生产批次中的缺陷概率。通过分析过去的生产数据，他们可以估计未来缺陷的可能性，从而改进质量保证流程并降低成本。

在数据科学领域，概率的频率理论在预测建模和统计推断中起着举足轻重的作用。数据科学家利用这一理论来构建基于历史数据预测结果的模型，使组织能够做出数据驱动的决策。量化不确定性和评估风险的能力对于有效的数据分析和解释至关重要。

尽管有其优势，概率的频率理论有其局限性。它假设基础过程是稳定的，并且长期运行频率可以从有限的样本中可靠地估计出来。在事件罕见或数据有限的情况下，估计可能不准确。此外，这一理论没有考虑关于事件的先验知识或信念，这在某些情况下可能是重要的，如贝叶斯统计。

②贝叶斯概率论作用

对任何使用概率演算的人来说，贝叶斯定理是关于条件概率的唯一最重要的事实，它在主观主义方法论中占据显著地位。而统计学、认识论和归纳推理的主观主义或“贝叶斯”方法也有特殊的相关性。

主观主义者认为，信念有不同的强度等级，一个理想理性的人的分级信念可以用一个主观概率函数P来表示。对于这个人有坚定意见的每个假设H，P(H)衡量他对H的真理的信心水平(或“信念程度”)。条件信念由条件概率表示，因此P(H｜E)在假设E是事实的情况下测量人对H的信心。

贝叶斯确认理论的指导思想是这样的:

-证实相对论：证据关系必须相对于个人和他们的信仰程度

-证据比例主义：一个理性的信徒会把他对假设H的信心与他对H的全部证据相比较，这样他对H的主观概率反映了他支持或反对其真实性的理由的总体平衡

-增量确认：大量的数据为H提供了更多的证据，数据条件提高了H的概率

贝叶斯定理在主观主义学习模式中的作用：主观主义者认为学习是一个信念修正的过程，在这个过程中，一个“先验的”主观概率P被一个“后验的”概率Q所取代，后者包含了新获得的信息。这个过程分两个阶段进行：首先，受试者的一些概率被经验、直觉、记忆或其他非推理学习过程直接改变；第二，受试者“更新”他其余的观点，使它们与他新获得的知识一致。

最简单的学习经历是学习者确定他以前不确定的某个命题 E 的真实性。这里的约束是所有与 E 不一致的假设都必须被分配概率为零。主观主义者将这种学习建模为简单条件反射，即每个命题 H 的先验概率被一个后验概率所取代的过程，该概率与以 E 为条件的 H 的先验概率相吻合。

在金融学中，一旦获得新的信息，贝叶斯定理可以用来更新以前的信念。这可以应用于股票回报、观察到的波动性等等。贝叶斯定理也可以通过根据过去的经验更新违约的可能性来评估借钱给潜在借款人的风险。

贝叶斯定理为思考数据集和概率之间的关系提供了一个有用的方法。因此，它在拟合数据和训练算法时非常有用，这些算法能够在每轮训练中更新它们的后验概率。

贝叶斯定理对于从结果推断原因特别有用，因为给定假定原因的存在或不存在，辨别结果的概率通常是相当容易的。例如，医生经常使用公认的敏感性和特异性的诊断测试来筛查已知流行的疾病。

贝叶斯定理再次告诉我们如何将条件概率分解为无条件概率和预测能力的度量。以大量数据为条件的假设的几率等于假设的无条件几率乘以假设作为数据预测因素超过其否定的程度。

③频率理论与贝叶斯概率论的比较

频率理论通常与贝叶斯概率形成对比，贝叶斯概率结合了先前的信念，并随着新证据的出现而更新。虽然频率理论仅依赖于经验数据，但贝叶斯方法允许更灵活的概率方法，适应不确定性和主观判断。这种区别对于统计学家和数据科学家选择合适的分析方法至关重要。

有时微不足道的影响也很重要，因为真实效应大小恰好为零的概率本身就是零，这可能会导致我们不适当地拒绝零假设。这是经典推论的谬误，与林德利悖论不无关系。林德利悖论描述了一种违反直觉的情况，在这种情况下，贝叶斯和频率主义的假设检验方法给出了相反的结果。

它确实给我们提出了一个问题:如果在频率主义者和贝叶斯测试之间经历了矛盾的结果，在探索为什么会有这样的结果时，可以考虑哪些因素呢？其中一个是样本大小，但是还有其他因素吗？

如果事先知道零假设是错误的，模型和数据之间的差异就不那么重要了，那么使用不符合数据的模型通常是没问题的一一被广泛讨论的统计意义和实际意义之间的区别。

也有学者认为，林德利悖论并不是一个悖论，因为频率主义者和贝叶斯概率并没有相同的含义，所以没有理由期望它们总是会让你得出相同的结论。反而应该事先弄清楚自己对什么问题感兴趣。频率主义方法的问题是:“数据与零假设模型一致吗？”而贝叶斯方法的问题的表面版本是:“零假设成立的可能性有多大？”然而，理解这一点是有问题的，因为这是否意味着“零假设成立”被赋予了一种频率主义的含义？如果是的话，先验也需要一个频率主义者的解释。

即使每个人都是贝叶斯主义者（或频率论者），由于完全回答不同的问题，也可能存在分歧——因此不需要援引频率论和贝叶斯主义的基本原理来解释“悖论”。潜在的非悖论是默认频率主义检验回答了与默认贝叶斯检验不同的问题。

部分学者认为，贝叶斯和频率论测试本质上是针对不同的问题，所以如果有人足够确切地知道他的问题是什么，他就不需要同时看频率论和贝叶斯的答案。如果它们不同就会感到困惑，因为只有（或者更准确地说：最多）它们中的一个会回答他的问题。

所以，典型的研究问题有点宽泛，并且不完全符合贝叶斯/频率论的鸿沟，所以一个人的研究问题可能与两者的“距离”大致相同，因此两者都尝试。尽管如此，如果答案不一致，我们仍然认为了解如何为这两种方法以不同的方式来解释，对于研究问题是有帮助的。

2.波莱尔悖论（Borel's paradox）

波莱尔悖论是在概率世界中发现的一个有趣的想法。简单来说，概率就是我们衡量某件事情发生的几率。现在，让我们考虑一种情况，其中答案似乎很清楚，但实际结果是如此出乎意料，似乎没有意义——这是一个悖论。波莱尔悖论是一种特殊的悖论，它出现在我们处理某些类型的概率时，主要是当我们试图根据我们已经知道的东西来预测一些事情时。

这个悖论以一位法国数学家Borel-Kolmogorov命名，他是概率领域的早期冒险家。当汽车上路，无声电影风靡一时的时候，他正忙于制定概率的数学规则。Borel的发现让我们为一些情况挠头，这些情况下，由于持续的可能性，如热天的温度或考试中的分数，设置机会并不像预期的那样进行。

违反直觉的条件概率：即使你很擅长预测结果，与连续事件相关的概率仍然会让你大吃一惊。

不同的方法会产生不同的结果：就像不同的路径可以通向相同的目的地一样，在一个连续的世界中，你分配机会的方式可以得出不同的结论。

这个悖论就像一面镜子，告诉我们当事件可以顺利发生，一个接一个，没有任何间断，我们的常识可能不是理解概率的最佳指南。它提醒我们，在预测这些情况下的概率时，我们需要采取谨慎的步骤来明确“规则”。

这一悖论源于对未定义的零概率事件的限制。一种解释来自考虑这种条件操作，作为以非零概率事件为条件的分布的极限。不同的极限导致不同的条件密度。

波莱尔悖论表明，条件概率密度函数在坐标变换下不是不变的，即条件密度的通常公式（见图 94）可能会导致不一致的结果，具体取决于用于描述问题的坐标系。