泊松复合决策中贝叶斯与拟贝叶斯经验方法的融合
Merging of Bayes and quasi-Bayes empirical Bayes procedures for Poisson compound decisions
https://www.alphaxiv.org/pdf/2607.02340
摘要
泊松复合决策问题是统计学中一个长期存在的问题，其中使用经验贝叶斯方法在混合模型下估计泊松均值。我们从 g g-建模的角度研究该问题，比较了两种用于估计未知混合分布的非参数策略：基于狄利克雷过程后验的贝叶斯经验贝叶斯策略，和基于牛顿算法的拟贝叶斯经验贝叶斯策略。后者在计算上具有吸引力，但其与贝叶斯策略的关系需要理论上的论证。在具有“真实”或神谕混合分布的泊松混合模型下，我们建立了由贝叶斯和拟贝叶斯估计所诱导的边际概率质量函数的集中速率。这些速率随后被转化为相应遗憾（解释为超出贝叶斯风险）的衰减速率，并用于证明贝叶斯和拟贝叶斯经验贝叶斯策略之间的频率学派合并结果。我们还将分析扩展到多维泊松复合决策问题。基于合成数据的数值实验表明，拟贝叶斯策略达到了与贝叶斯策略相当的准确性，同时所需的计算资源大幅减少，尤其是在多维设置中。
关键词：狄利克雷过程先验；经验贝叶斯；频率学派合并； g g-建模；牛顿算法；遗憾
1 引言
1.1 背景与动机
1.3 论文结构
本文结构如下。在第 2 节中，我们介绍了贝叶斯和拟贝叶斯 g g-建模策略，并证明了它们的频率学派合并。在第 3 节中，我们展示了比较这两种策略的数值实验。在第 4 节中，我们以一些结论和未来工作方向作为总结。证明和额外的数值说明附于附录 A-D。
2 贝叶斯与拟贝叶斯经验贝叶斯程序的合并
2.1 一维情形
我们研究了在 Robbins 公式 (1) 中估计未知混合分布 G G的两种 g g-建模经验贝叶斯策略的合并：一种贝叶斯策略和一种拟贝叶斯策略。
2.1.1 贝叶斯经验贝叶斯
2.1.2 拟贝叶斯经验贝叶斯
2.1.3 贝叶斯与拟贝叶斯经验贝叶斯的合并
2.2.1 贝叶斯经验贝叶斯
2.2.3 贝叶斯与拟贝叶斯经验贝叶斯的合并
3 合成数据示例
3.1 一维情形
4 结论性评述
仍有若干方向有待探索。首先，本文发展的频率学派合并并非泊松核所特有。最自然的下一步是高斯复合决策问题，其中经验贝叶斯估计可通过 Tweedie 公式用边际密度表示。在单变量高斯情形下，我们分析所需的主要成分已在 Martin and Tokdar (2009) 和 Ignatiadis and Kankanala (2026) 中具备。这些结果表明，可以通过对 Tweedie 公式进行适当的稳定性论证来获得我们合并结果的高斯类似物。将此方案推广到其他混合核，则需要在每种情形下获得诱导边际分布的类似集中结果，以及将边际集中转化为相应代入式经验贝叶斯规则的遗憾控制的一个界。
第二个问题涉及速率的尖锐性。本文获得的贝叶斯速率与泊松经验贝叶斯问题已知的极小极大基准相一致。相比之下，牛顿算法可用的速率是由现有随机逼近理论提供的，我们尚未证明其最优性。特别是，对学习率指数 γ 的依赖性反映了递归更新的特定收敛理论，而非拟贝叶斯经验贝叶斯估计的匹配下界。因此，有趣的是确定这些速率是牛顿算法所固有的，还是可以通过精细分析或学习率序列的替代选择来获得更尖锐的速率。
第三个方向是放松对神谕混合分布和参数空间的紧支撑假设。对于贝叶斯策略，这种扩展应可能通过将后验集中论证与适当的筛构造以及基测度和神谕先验上的尾部条件相结合来实现。对于拟贝叶斯策略，这一问题更为微妙；参见 Martin and Tokdar (2009)。此处用于牛顿算法的收敛理论依赖于紧性假设，并且在泊松情形下还依赖于支撑远离边界点零。将拟贝叶斯分析扩展到无界参数空间，或扩展到质量任意接近零的神谕先验，将需要新的随机逼近论证。
最后，一个重要扩展涉及随机变量之和及相关泛函的估计 (Zhang, 2005)。本文聚焦于通过代入式经验贝叶斯规则估计个体泊松均值。然而，在许多应用中，目标并非个体均值的集合本身，而是诸如和、阈值化求和或依赖于观测值和未来随机变量的预测总量等泛函。为这类泛函发展贝叶斯和拟贝叶斯 g g-建模程序，并研究相应估计量是否在遗憾或预测风险上合并，将为本工作提供一个自然的延续。
原文链接： https://www.alphaxiv.org/pdf/2607.02340
热门跟贴