混合模型中序贯学习过程的拟贝叶斯性质
Quasi-Bayes properties of a procedure for sequential learning in mixture models
https://arxiv.org/html/1902.10708v2
摘要
贝叶斯方法通常是最优的，然而，随着计算速度要求的不断提高，尤其是在流数据处理场景中，人们重新关注更快速、可能次优的求解方案。这些算法在多大程度上能够近似贝叶斯解，是一个值得关注的问题，但往往缺乏答案。我们提出一种方法，在预测性环境下——当该算法可被重新解释为一种概率预测规则时——来解决这一问题。我们特别针对一种用于非参数混合模型在线学习的递归过程（通常称为牛顿算法）来发展所提出的方法。该算法简单且快速，但其近似性质尚不明确。通过将其重新解释为一种预测规则，我们能够证明它隐含一个统计模型，该模型在渐近意义下是一个贝叶斯可交换混合模型。在这个意义上，该递归规则提供了一种准贝叶斯解。虽然该算法仅给出点估计，但我们清晰的统计表述使我们能够给出混合分布的渐近后验分布和渐近可信区间。此外，它为参数调整提供了洞见，我们在模拟研究中加以说明，并为各种方向的扩展铺平了道路。除混合模型外，我们的方法也可应用于其他预测算法。
关键词。渐近可交换性。贝叶斯非参数方法。条件同分布序列。狄利克雷过程。预测分布。递归学习。
1 引言
贝叶斯方法因其内在的一致性、通过概率量化不确定性的严谨方式以及在许多问题中的最优性而一直具有吸引力。分析上的困难已被高效的计算方法所克服，如今贝叶斯程序在许多领域得到广泛且成功的应用。然而，快速计算仍然是一个挑战，这阻碍了贝叶斯方法在实践者中更广泛的应用，尤其是在流数据和在线学习场景中，推理和预测必须随着新数据的到来而持续更新。在现代统计效率与计算效率的权衡中，略微误设但计算上更易处理的方法作为合理的折衷方案，重新受到关注。流行的算法，如近似贝叶斯计算（ABC）和变分贝叶斯，都是作为最优贝叶斯解的近似而出现的。实际上，人们可以预期，一种表现良好的方法至少是近似贝叶斯的。对于贝叶斯统计学家而言，一种学习方案至少能近似地成为贝叶斯学习方案，应成为其验证的最低要求。
我们提出一种方法，在预测性环境下——当该算法可被重新解释为一种概率预测规则，且该规则隐含地定义了一个底层统计模型时——来回答上述问题。然后，我们利用该预测规则的特征性质，来显式地获得该模型。这种方法能够将该算法发展成一个清晰的统计程序，并在此基础上阐明其作为完全贝叶斯方法近似所具有的性质。预测性构造是贝叶斯推理中表征先验律的有力工具；然而，将其用于所研究的问题似乎是新颖的。
我们特别在混合模型序贯学习这一重要案例中发展所提出的预测方法。关于混合模型的贝叶斯学习已有大量文献。然而，关于混合分布（我们关注的重点）的序贯学习，发展则相对较少。此外，大多数流行的贝叶斯非参数混合模型（例如狄利克雷过程混合模型）假设混合分布是离散的。连续混合分布的情形（例如在多重收缩估计中很重要，参见 George, 1986）也发展较少。Petrone 和 Veronese (2002) 使用潜在分布上伯恩斯坦多项式先验的一般推广，但计算需要 MCMC，且未涉及流数据的估计。
Smith 和 Makov (1978) 提出了一种用于有限混合模型中无监督序贯学习和分类的有趣递归程序，随后由 M. Newton 及其合作者（Newton et al., 1998; Newton and Zhang, 1999; Quintana and Newton, 2000; Newton, 2002）加以扩展，以在非参数混合模型中提供一种快速且近似贝叶斯的解。Martin (2019) 给出了一篇深思熟虑的综述。Hahn 等人 (2018) 提供了近期有趣的发展。收敛性结果已验证该递归算法可作为一致的频率派估计量。Favaro 等人 (2012) 和 Zuanetti 等人 (2019) 给出了进一步的性质。然而，该递归算法在多大程度上提供了贝叶斯程序的近似，尚未被完全理解。
我们旨在通过预测性方法阐明该递归规则背后的统计模型，从而为这一问题提供启示。这将使用户在使用该算法时意识到对数据隐含的假设，以及相关的不确定性。所提出的方法作为一种量化其他预测算法（不限于混合模型）不确定性的途径，可能具有价值。
我们在第2节中设定符号并回顾预备知识。第3节发展所提出的预测方法论，在其中我们提供牛顿算法的统计解释，并找出隐含的建模假设。这些结果在第4节中用于获得混合分布后验分布的渐近近似以及相应的可信区间。在第5节中，我们定义一个与递归预测规则一致的时变混合模型，并通过模拟研究讨论模型参数的作用。第6节中我们提供进一步的统计应用。第7节我们简要讨论未来的研究方向。所有证明均收集于附录。
2. 预备知识：狄利克雷过程混合模型与预测特征
2.1. 预测性构造与条件同分布序列
如前所述，我们发展的关键是将递归法则 (3) 视为一种概率预测规则。让我们简要回顾预测性推断方法的基本内容，并强调由此产生的一种有趣的随机相依形式，即条件同分布序列的概念。
对于可交换序列，极限 F F被称为导向随机测度（在贝叶斯推断中即统计模型），而 F F的概率律就是 de Finetti 测度（即先验分布）。导向随机测度这一术语也类似地用于 c.i.d. 序列。
可交换序列显然是 c.i.d. 的，但反过来一般不成立。然而，c.i.d. 序列是渐近可交换的。
3. 牛顿算法的统计解释
3.1. 准贝叶斯性质
3.2. 关于 G G 的先验分布
3.3. 实证研究
4. 渐近后验律
4.1. 渐近后验分布与可信区间
4.2. 渐近联合后验分布与可信区域
5. 递归预测与学习
5.1. 一个时变混合模型
5.2. 渐近混合密度的递归学习
5.3. 关于 G G 的推断
6. 进一步的统计应用与扩展
我们已经展示了如何通过将递归算法解读为一种概率预测规则，将其置于严格的统计框架中。这为在多个方向上的进一步统计应用和扩展铺平了道路。在本节中，我们考虑通过进一步假设
6.1. 未知共同参数
牛顿算法的原始版本并未设想混合核中存在未知共同参数。Martin 和 Ghosh [2008] 中针对某些特定情况给出了扩展，而 Martin 和 Tokdar [2011] 提出了一个更系统的方案。然而，他们缺乏牛顿算法背后的概率模型，因此所提出的方法在某种程度上是启发式的，并非基于真正的似然函数。相反，我们可以轻松扩展我们的概率模型 (12)，并获得恰当的推断。令
6.2. 流数据下的多重收缩估计
6.3. 多元参数
牛顿算法的一个已知局限性是，它需要在每一步计算一个积分。这可以通过数值方法解决，但在多元 θ θ的情形下计算量会变得很大。Hahn 等 [2018] 最近提出了一类避免积分计算的预测递归算法，Cappello 和 Walker [2018] 中给出了在多元设定下的应用。我们的概率框架也可以用来为多元参数提出新的计算策略。在此，我们概述一个简单的蒙特卡洛方案。虽然我们未进一步展开，也未评估蒙特卡洛误差，但模拟结果令人鼓舞，显示出非常好的近似效果。
注意，可以将递归法则 (4) 写作
7. 讨论
由于牛顿算法简单且具有良好的实际性能，它在涉及隐变量的问题中被相当普遍地使用。我们提出了一种新方法，将该算法发展为准贝叶斯方法，并使用户意识到其中隐含的建模假设。我们相信我们的方法在其他设定中也可能有用。
关于渐近混合分布 G G的概率律的显式结果虽然难以获得，但将为递归预测规则隐含的先验提供更完整的描述，并且该构造可以进一步扩展，以在贝叶斯非参数框架中刻画绝对连续分布空间上的新先验。也可以设想对算法进行修改，例如通过使用 DP 混合模型的精确计算来初始化过程，以控制 G G上的先验分布。
牛顿算法的一个计算局限性是它需要在每一步计算一个积分。我们已经描述了一种简单的蒙特卡洛近似，并计划在未来的工作中进一步探索这一问题。将我们的研究扩展到 Hahn 等 [2018] 提出的算法类别，以及在多元混合和相依混合模型上的发展（可能利用关于部分 c.i.d.序列的理论结果，Fortini 等 [2017]），为未来的研究提供了有趣的方向。
原文链接：https://arxiv.org/pdf/1902.10708v2
热门跟贴