相关高斯序列模型的经验贝叶斯方法|不等式|似然|定理|算法|贝叶斯|高斯序列

相关高斯序列模型的经验贝叶斯方法

EMPIRICAL BAYES FOR CORRELATED GAUSSIAN SEQUENCE MODEL

https://arxiv.org/pdf/2607.03596v1

摘要

经验贝叶斯方法是大规模推断中使用最广泛的统计方法之一。其核心范式是非参数极大似然估计，对于独立高斯序列模型，其理论保证如今已得到充分理解。

在本文中，我们研究在具有可能任意依赖结构的相关高斯序列模型下，基于观测值的经验贝叶斯估计。我们证明，极大复合边际似然（CML）估计量（其在似然函数中忽略观测值之间的所有相关性）在加权Hellinger距离下以速率 n−1/2∗（模对数因子）收敛，其中 n∗ = n/∥CorΣ0 ∥op 是“有效样本量”，仅由观测值数量 n 和高斯观测值的相关矩阵 CorΣ0 的谱半径决定。互补的极小极大下界表明，n∗ 确实充当了正确的复杂性度量，并且CML估计量在一般相依性下接近速率最优。

为了说明CML方法的广泛适用性，我们考虑了两个先验估计的具体设定。在第一个设定中，我们考虑高维贝叶斯线性回归，其中信号先验通过对广义最小二乘估计量应用CML方法来估计。在第二个设定中，我们考虑更具挑战性的贝叶斯非线性单指标模型，其中通过对一步去偏梯度下降应用CML方法，使得先验估计成为可能。在这两个应用中，尽管完整似然景观在高维中可能任意复杂且难以处理，但我们的CML方法通过利用辅助统计量的高维分布（通过近似相关高斯序列模型）得以实现。

我们证明结果的关键要素是在任意相依高斯观测下，对数复合边际似然过程的一个尖锐局部极大值不等式。与标准经验过程方法不同，我们通过利用高斯测度下几何Brascamp-Lieb不等式的一个近期版本来证明该不等式。

1. 引言

1.1. 经验贝叶斯与NPMLE。
经验贝叶斯方法是大规模推断中使用最广泛的统计方法之一。在经典的复合决策表述中，我们观测到一组相关实验

不幸的是，支撑 (1.3) 有效性的独立观测方案 (1.1) 仍然是 NPMLE 广泛实际实用性的主要瓶颈。事实上，许多现代应用要求在观测值具有相依性的环境下使用经验贝叶斯方法。例如，通过普通最小二乘法估计的回归系数，更不用说那些在更具挑战性的高维回归设定中出现的系数，已经表现出显著的非平凡相关性。再如，[GK22] 拟合了 Bradley–Terry 模型，并将 NPMLE 应用于极大似然估计量的各分量，而这些分量彼此高度相关。

1.2. 相关高斯序列模型下的 CML 估计量。

在本文中，我们考虑一个一般相关高斯序列模型

我们注意到，本文与 [Zha26] 是并行的且同时期的，[Zha26] 聚焦于复合决策设定中的同方差成对高斯连接函数模型，且对未知均值的支撑作了更强的假设。此外，本文与 [Zha26] 的分析方法根本不同：[Zha26] 基于 [GZ22] 的一个方差不等式，从而导出二阶矩估计；而本文（如下文将明确的）则基于几何 Brascamp-Lieb 不等式，从而导出 (1.6) 中具有最优速率的尖锐高概率估计。

1.3. 应用于两个具体设定。我们现在说明CML方法在两个更具体设定下进行先验估计的两个非平凡应用。

在第一个应用中，我们考虑贝叶斯高斯线性模型

1.4. 证明技巧。 证明 (1.6) 的关键技术要素是为对数复合边际似然比过程建立一个尖锐的局部极大值不等式。

1.5. 组织结构。 本文其余部分组织如下。第 2 节介绍了我们的主要理论 (1.6) 及其在边际后验可信区间和边际经验贝叶斯遗憾方面的一般应用。第 3 节详细说明了 CML 方法在线性回归设定中对广义最小二乘估计量的应用，而第 4 节则介绍了 CML 方法在一般非线性回归中对一步去偏梯度下降的应用。数值实验在第 5 节中呈现。证明推迟至第 6-9 节及附录。

2.3. 经验贝叶斯可信区间

3. 线性回归：通过广义最小二乘的CML 3.1. 模型与通过广义最小二乘的CML。

考虑贝叶斯高斯线性模型

4. 非线性回归：通过去偏梯度下降的CML 4.1. 模型与通过去偏梯度下降的CML。

上述定理的证明可见第9节。证明定理4.2的一个重要的技术微妙之处在于，(4.4)仅在近似和平均意义下成立（参见命题9.2）。因此，其证明在定量上与定理3.1的证明不同，后者是主定理2.1的直接应用。

5. 数值实验 5.1. 模拟设计

本节说明CML估计量在第2.3和2.4节中经验贝叶斯可信区间和边际经验贝叶斯遗憾方面，以及在第3和4节中两个主要回归应用方面的有限样本表现。为便于说明，我们采用固定网格近似方法来计算[JZ09]中的Kiefer-Wolfowitz NPMLE。为方便读者，该算法总结于附录A中的算法3。关于更近期的实现，读者可参考例如REBayes方法[KG17]和EBNM方法[WCS21]。

具体的模拟设置如下：