Sharp regret–Hellinger bounds for Gaussian empirical Bayes viapolynomial approximation
高斯经验贝叶斯中遗憾与Hellinger距离的精确界：基于多项式逼近的方法
https://arxiv.org/pdf/2605.02070v1
摘要
经验贝叶斯理论中的一个核心问题是，通过估计边际密度与真实边际密度之间的Hellinger距离来控制学习到的贝叶斯规则的遗憾（过量风险）。在正态均值模型中，Jiang 和 Zhang [JZ09] 的经典结果仅在将贝叶斯规则正则化之后才能实现这一点，并且通过一个精细的递归论证引入了额外的三次对数因子。
1 引言
经验贝叶斯（EB）是大规模统计推断的一个强大框架，它应用贝叶斯方法并结合数据驱动先验，从而适应数据中的潜在结构 [Rob56, Zha03]。关于经验贝叶斯在理论和实践方面所取得的显著成功，我们参考 Efron 的专著和综述 [Efr12, Efr24]。经验贝叶斯程序的一个关键基准是其 遗憾：相对于知道真实先验的贝叶斯神谕的过量风险，或者，在复合设定中，相对于参数的经验分布。
证明思路。如前所述，用Hellinger距离控制遗憾需要用一个函数本身来界定其导数。这样的界定在一般情况下显然是不可能的，但对于某些特定类的正则函数，尤其是 多项式，这成为可能。这一关键洞察是通过与使用OpenAI Codex的GPT-5.4的互动获得的。它促成了以下方案：
2 主要结果 2.1 新的遗憾–Hellinger 不等式
2.2 统计应用
接下来，我们讨论这些遗憾–Hellinger不等式对经验贝叶斯的启示。为简化表述并与现有结果进行比较，我们考虑紧支撑或次高斯的先验。
3 紧支撑先验
我们证明了一个更精确的定理1版本，该版本适用于增长的 M M。
为了估计 g 上的微分算子，我们首先用多项式逼近 g ，通过线性代数论证来界定微分算子在多项式上的算子范数，然后量化逼近误差界。这些将在以下两个引理中完成。
3.3 完成证明
利用引理6-8，我们现在证明定理5。
4 具有指数尾巴的先验
原文链接：https://arxiv.org/pdf/2605.02070v1
热门跟贴