Bayesian Predictive Synthesis for Dynamic Networks:Forecasting and Identifying Structural Mechanisms

动态网络贝叶斯预测融合:趋势预测与结构机制解析

https://arxiv.org/pdf/2606.26136

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

摘要

网络由相互竞争的结构机制塑造,例如社区、几何或枢纽。在动态网络中,最具预测力的机制可能会发生变化,而绑定于单一机制或固定权重的模型,无法随着主导结构的转变而进行自适应调整。我们开发了用于网络的动态贝叶斯预测融合,其中一种机制即为预测下一个快照连边的智能体,而一个融合层则通过随时间变化的权重将它们结合起来。在每一步,该方法都会返回一个经过校准的连边预测以及对机制权重的推断,并附带在给定拟合智能体条件下有效的置信区间,因此它也能报告哪种机制最具信息量。此类推断需要一种稀疏安全的参数化方法和一套识别理论,在该理论下,单个图即可识别并估计这些权重。一个明确的阈值将可区分与不可区分的机制分离开来,活跃机制的变化以最优的每次切换成本被追踪,而对于单个快照,该方法则退化为经过校准的链路预测。在真实网络、模拟和基准测试中,该融合方法能够给出准确且经过校准的预测,并在智能体区分度良好时恢复出主导机制。

关键词:动态网络;贝叶斯预测融合;预测组合;校准;链路预测。

1 引言

在单一时间点观测到的网络,通常被建模为从某种生成机制中的一次抽样。有三类标准模型:用于社区结构的随机块模型(Holland等,1983;Karrer和Newman,2011),用于几何结构的隐位置模型和随机点积图(Hoff等,2002;Rubin-Delanchy等,2022),以及用于度异质性的配置模型或Chung-Lu模型(Chung和Lu,2002)。在实践中会出现两个困难。首先,实践者很少知道究竟是哪种机制生成了数据。其次,当网络随时间发生变化时,能够最好地解释它的机制也会随之改变。接触网络在一天之内,会在上课期间的社区结构与休息期间的枢纽结构之间交替变化;而合作作者网络和在线社交网络也会随着社区的形成与解散而重新组织。绑定于单一机制的模型无法跟随这种变化。使用预先设定的权重来组合多种机制也无济于事。一旦最具预测力的机制发生改变,那些权重依然会偏向之前占主导地位的机制,从而导致组合结果无法真实反映当前的结构。相反,我们让权重随网络一起变化,并从数据中对其进行估计。权重成为了推断的对象:我们从单个网络快照中估计它们(并附带不确定性),同时追踪它们随时间的变化。智能体上的权重是一个残差化的对数几率投影系数:正值意味着该智能体携带了超越其他智能体的预测结构,而不是指网络由该机制生成;因此,主导机制是一个依赖于智能体池的论断,增加或移除某个智能体都可能改变主导地位。时间序列的预测组合是从长历史数据中学习此类权重的。

机制之间不断变化的平衡提出了三个问题。竞争机制的权重能否从数据中学习得到,而不是预先固定?从单个网络中学习这些权重的速率有多快?并且由此产生的预测能否作为经过校准的概率而被信任?现有研究并未回答这些问题。预测组合是为时间序列开发的,而非针对具有单快照推断的图值结果。网络估计处理的是单个固定图,而非跟随变化机制的权重。

我们将动态贝叶斯预测融合扩展至网络领域。预测融合(West和Crosse,1992;McAlinn和West,2019)规定了一组智能体预测与结果之间的关系,并在观测到智能体和结果时更新这一设定。每种机制都拟合历史数据,并预测下一个网络快照的连边概率。一个融合层通过随时间变化的系数,在logit尺度上将这些预测结合起来。这些系数是动态线性模型(West和Harrison,1997)的状态:它们像随机游走一样漂移,并根据观测到的连边进行更新。在每一步,该方法都会返回两样结果:对下一步连边的校准预测,以及附带不确定性的权重估计。在单一时间点下,它退化为经过校准的链路预测。

打开网易新闻 查看精彩图片

贝叶斯预测融合(Bayesian predictive synthesis)起源于概率评估的协调(Lindley et al., 1979; West, 1984)以及概率性智能体意见的建模(Genest and Schervish, 1985; West and Crosse, 1992),在其中,决策者通过条件融合密度将智能体的预测分布视为数据,从而更新关于结果的先验。McAlinn 和 West (2019) 通过让融合系数遵循动态线性模型,使时间序列的融合动态化,而 McAlinn 等 (2020) 将其应用于多元宏观经济预测;Johnson (2017) 开发了智能体特定的校准,Tallman 和 West (2024) 引入了决策引导的融合,而 Chernis 等 (2023) 用非参数树集成替代了线性融合函数。该构建推广了贝叶斯模型平均(Bayesian model averaging, Hoeting et al., 1999)以及预测分布的堆叠(stacking of predictive distributions, Wolpert, 1992; Breiman, 1996; Yao et al., 2018),并且与意见池(opinion pools, Genest and Zidek, 1986)及最优预测池(optimal prediction pools, Geweke and Amisano, 2011)相关。这一谱系中的每篇论文都作用于标量或向量时间序列:结果是一个数字或低维向量,智能体对其进行预测。没有一篇作用于图,在图中结果是邻接矩阵,智能体是生成式网络机制,且信息单元是二元组(dyad)。我们将 McAlinn 和 West (2019) 的动态融合扩展到了网络。将网络结构融入融合产生了没有时间序列对应物的结果:组合权重是从单个图中识别和估计出来的,这需要一种稀疏安全的参数化和识别理论,而时间序列文献并不需要这些。

与我们工作最相近的研究将多个网络预测器组合用于单一预测任务。Ghasemian等(2020)在静态网络上将大量链路预测算法堆叠为一个近乎最优的元学习器,He等(2024)将基于特征的堆叠扩展至时序网络,Zhang等(2025)通过K折边交叉验证(Li等,2020)对不同潜在维度的潜在空间模型进行平均,从而在链路预测上实现渐近最优性。这些是针对网络的组合方法,我们也将其作为基准进行对比,但它们在输出结果和理论依据上与本研究的构建有所不同:它们堆叠非机制性的预测器得分,或通过频率学派标准对单一模型族内的模型进行平均,因此在本文采用的凸池化(convex-pooling)形式下,它们产出的是一个排名,而非经过校准的预测分布;它们不包含校准截距,且结果局限于输入的凸包之内;此外,它们不提供对任何机制贡献的推断,缺乏单快照识别理论、分离率以及追踪保证。Papamichalis和Ruane(2025)在总体图限(population graphon)层面组合网络机制;他们未使用动态状态,也未对有限图进行推断。Papamichalis和Ruane(2026)研究了在单一固定图中两种机制何时可区分的问题,Papamichalis等(2025)则以状态空间形式对网络上的时变溢出效应进行了建模。本文在三个方面有所不同。首先,它从有限图中估计组合权重,并附带不确定性度量。其次,它以最优的单次切换成本追踪活跃机制的变化。最后,它揭示了在模型误设(misspecification)情况下模型平均何时会失效。

这些智能体实例化了标准的模型族。社区智能体是混合成员(Airoldi等,2008)和谱(Rohe等,2011)形式的随机块模型(Holland等,1983);潜在几何智能体是潜在空间模型(Hoff等,2002)以及随机点积图和广义随机点积图(Athreya等,2018;Rubin-Delanchy等,2022);度智能体是Chung-Lu模型(Chung和Lu,2002);局部智能体是Adamic-Adar指数(Adamic和Adar,2003)。我们将每一个智能体视为一步向前的预测分布并进行组合,而不是从中选择单一模型(Saldana等,2017;Wang等,2023),也不是将它们的参数合并为单一的混合模型。

针对动态网络的另一种并行应对方案是拟合单一的动态生成模型:动态潜在空间模型(Sewell和Chen,2015;Durante和Dunson,2014)、动态随机块模型(Xu和Hero,2014;Matias和Miele,2017)以及时序指数随机图模型(Hanneke等,2010;Krivitsky和Handcock,2014),Goldenberg等(2010)将这些模型与静态模型族一同进行了综述。这些方法在整个时间序列中均绑定于单一机制。相反,本文的方法同时保留多种机制,并让动态融合层随着它们相对拟合优度的变化对其进行重新加权,这正是实验所针对的机制转换(regime-switching)行为。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

我们在五个真实动态网络、受控模拟实验以及链路预测基准上对该方法进行了评估,并与模型平均、堆叠方法以及专门构建的动态网络模型进行了对比。这些真实网络包括一个金融相关性网络、具有已知组标签的高中及医院病房接触网络,以及两个节点规模达数万的带时间戳网络。其中两项发现尤为突出。首先,该融合方法产出了经过校准的预测,并附带带有有效置信区间的、可解释的时变权重;其次,一个经过重新校准的潜在空间竞争模型只有在经过单独的重新校准步骤后才能匹配概率,且不返回任何权重,因此本文的贡献在于实现了结合机制推断的校准预测。

2 动态网络与机制智能体

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

3 动态贝叶斯预测融合

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

系数向量是动态线性模型(West and Harrison, 1997)的潜在状态:

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

计算。 智能体是拟合到观测历史的标准静态网络模型;动态线性模型仅作用于组合它们的低维权重向量,而不是网络本身。因为该权重状态是高斯且线性的,其递归使用标准卡尔曼滤波和 Rauch-Tung-Striebel 平滑(West and Harrison, 1997; Papamichalis et al., 2025)。

4 理论

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

4.1 单快照二元组速率识别与混叠

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

4.2 区分机制的分离速率

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

4.3 动态追踪、切换恢复与机制定位

由于权重是按快照学习的,滤波器通过仅针对切换付出代价来追踪切换机制,并且当边界条件(margin condition)成立时,一旦折扣信息超过机制之间的边界,它就能识别出活跃机制。以下定理确立了有界恢复延迟以及识别活跃机制所需的边界条件,并将通过第 5 节的权重轨迹实验进行检验。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

4.4 普遍误设:投影、校准与竞争者差距

当没有智能体等于真实情况时,权重收敛于对数几率投影,截距通过得分方程强制实施校准,并且融合通过一个可计算的差距改进了模型平均。

定理 4(投影、校准与 BMA/堆叠差距)。 假设没有智能体等于真实情况。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

4.5 静态链路预测:病例-对照校正与优雅失效

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

4.6 估计默认值

下面的程序总结了估计过程:在每个快照上,智能体在留出的二元组折(held-out dyad folds)上进行拟合,它们的预测被映射为中心化对数几率特征(centered-logit features),折扣拉普拉斯滤波器(discounted Laplace filter)更新机制权重,跨折构造(cross-fold construction)返回它们的区间。表 2 列出了全程使用的默认值,每个默认值都配有一个诊断指标,用于提示何时应重新审视它。

打开网易新闻 查看精彩图片

5 数值研究

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

5.1 动态网络:追踪与定位

打开网易新闻 查看精彩图片

表 3 报告了预测得分。融合方法是此处比较中校准最好且对数得分最低的方法之一(NLL 0.653,PIT-KS 0.092,ECE 0.123),相比之下,经典组合器和平滑生成模型的 NLL 为 0.83 至 1.96,ECE 为 0.23 至 0.31。比较包括两个专门构建的动态竞争对手:一个拟合于折扣平均邻接矩阵的折扣平滑动态随机块模型和一个动态潜在空间预测器,以及一个近期加权顺序堆叠(He et al., 2024)(NLL 0.94)。凸组合器无法脱离智能体的凸包或携带校准截距,因此它们能排序但无法校准。

打开网易新闻 查看精彩图片

动态潜在空间模型对候选边的排序稍显敏锐,但校准严重失误(NLL 0.860,ECE 0.225,相比之下融合方法为 0.653 和 0.123)。这是预期的权衡:潜在几何模型能很好地对候选边排序,但过于自信,而融合方法为了获得校准概率在排序上略有让步。对十八个一步差异进行重采样,融合方法相比动态块模型将 NLL 改善了 0.176(95% CI [0.107, 0.240]),相比动态潜在空间模型改善了 0.206([0.101, 0.321])。

打开网易新闻 查看精彩图片

图 1 报告了五年窗口内的一步对数得分和过滤后的融合权重。上方面板追踪了一步对数得分:融合方法在整个五年期间保持低位,而 BMA 和堆叠方法则恶化,特别是在 2017 年的平静期,此时融合方法的 NLL 降至 0.5 以下,而 BMA 超过 1.4。下方面板显示了过滤权重随体制重组:在稀疏且具行业结构的 2017 年平静期,融合方法将大部分权重置于潜在几何(GRDPG)智能体上,其权重上升至接近 0.44,而在密集且由因子驱动的 2014–16 年压力期,它转向了块和度智能体。权重是按季度学习的,鉴于巨大的每快照边数,这完全符合定理 1 的许可,并且它们随市场体制的变动而移动。

打开网易新闻 查看精彩图片

图 2 显示了融合方法相对于每个组合器的累积一步向前对数预测得分,按季度累积(McAlinn 和 West,2019;McAlinn 等,2020)。融合方法在序列结束时具有正的累积优势,比模型平均高出 7.1 纳特(nats),比堆叠高出 5.2,尽管个别季度可能有利于竞争对手。

打开网易新闻 查看精彩图片

我们测试竞争对手是否能通过重新校准来匹配融合方法。将预测轮次分为校准折(较早的快照)和评估折(较晚的快照),我们在每个竞争对手的校准折预测上拟合保序回归(isotonic regression),并将其应用于评估折。重新校准显著改善了潜在空间竞争对手:其评估折的 ECE 从 0.244 降至 0.047,NLL 从 0.832 降至 0.559,其的决策成本从 0.569 降至 0.401,而已经过校准的融合方法改善幅度较小(ECE 从 0.106 降至 0.049)。重新校准后的竞争对手随后在每个预测得分上都与融合方法相匹配。因此,融合方法并非唯一最好的预测器;其优势在于它在提供校准的同时,还提供了机制权重、它们的区间(定理 1c)以及定理 3 的定位,这些是重新校准的嵌入所无法返回的。

将校准截距约束为零重新拟合融合方法,密集标普得分基本不变(NLL 从 0.653 变为 0.646),但实质上降低了补充材料中稀疏 Bitcoin-OTC 网络上的预测效果,因此自由校准层在图稀疏时最为重要。固定权重保持平均预测得分不变,因此时变权重是用于追踪和定位的,而不是为了在稳定面板上获得平均得分增益。

打开网易新闻 查看精彩图片

根据定理 3,过滤后的权重定位了活跃机制,这可以针对外部标签进行测试。从相同的每日收益中,但独立于网络构建,我们计算了每个季度等权重市场指数的已实现波动率,这是一个标准的压力指标。它与网络在体制上的最大特征值份额一致(相关性 0.93),且两者都在 2015–16 年压力事件期间达到峰值。从收益计算出的波动率序列是外部验证器;从相关性矩阵本身读取的特征值份额是内部一致性检查。融合权重追踪了这一体制:潜在几何权重与压力呈负相关(相对于外部波动率为 -0.78,相对于内部特征值份额为 -0.91),并且在 2016 年末至 2017 年的五个平静季度中最大;在压力下,权重重新分配给块和度智能体,块权重在最压力的季度领先,度权重随波动率上升最强烈(+0.66)。融合方法在不知道波动率序列的情况下恢复了该体制。

通过将每个相关性矩阵在产生该密度的分位数处进行阈值化,使每个季度的图密度固定在 0.10,融合方法的优势和权重重新分配保持不变(NLL 0.622 对比平均的 1.14;社区权重在压力下为 0.40,对比平静时的 0.27)。

5.2 两个带有已知组标签的接触网络

我们使用了两个来自不同领域且带有已知组标签的动态网络。第一个是 SocioPatterns 高中面对面接触网络(Fournet and Barrat, 2014):可穿戴传感器记录了 2013 年 12 月五个上学日内九个班级的 327 名学生之间的近距离接触,时间分辨率为 22 秒。第二个是 SocioPatterns 医院病房网络(Vanhems et al., 2013):记录了里昂(Lyon)一个病房内 75 名医生、护士、行政人员和患者在四天内的接触,带有四个角色标签。将每个网络在其固定节点集上聚合为每小时快照,在稀疏体制下分别得到个快照,我们在其上运行与上述相同的一步向前协议和竞争对手方法。班级和角色标签对所有智能体留出,仅用于验证。

在这两个网络上,融合方法都以很大优势成为校准最好的预测器(表 3):在高中网络上 PIT-KS 为 0.107,ECE 为 0.140;在医院网络上分别为 0.119 和 0.139;相比之下,凸组合器的这些指标在 0.29 到 0.49 之间,再次显示出严重的校准失误。与模型平均相比,融合方法在高中网络上将对数得分提高了 1.45(95% CI [1.31, 1.57]),在医院网络上提高了 1.05([0.90, 1.20])。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

这些解读,连同第 5.1 节的标普(S&P)体制追踪,汇总于表 4:同样的融合方法在每个网络中指认了不同的机制,智能体从未见过的留出信号认可了每一个指认,且没有任何竞争对手能返回带有不确定性的可比机制权重。

打开网易新闻 查看精彩图片

5.3 受控模拟

打开网易新闻 查看精彩图片

定理 3 将此深化为一个定位声明:当一种机制以正边界裕度(positive margin)活跃时,最大的过滤权重应当指认它。在十一个预测中,针对活跃体制对过滤结构权重的 argmax 进行评分,融合方法在 11 个快照中的 6 个正确进行了定位,且该模式完全符合边界条件所预测的结果。在社区体制中,SBM 权重在所有三个预测中均为最大(3/3);在枢纽体制中,Chung-Lu 在四个预测中的三个为最大,唯一的失误是切换后的第一个快照,这正是定理中可见的恢复延迟 h h。在几何体制中,GRDPG 权重在四个几何体制预测中均不是最大的。此模拟中的潜在几何信号与度异质性分离较弱,因此边界裕度 κ κ 很小,定理 3 的定位条件失效。这与定理一致,定理仅保证在边界裕度之上进行定位;而第 5.3 节的设计条件诊断(design-conditioning diagnostic)正是预先告知实践者哪些体制是可分离的。相比之下,校准不依赖于边界裕度,并始终保持强劲(PIT-KS 0.074)。

定理 3 仅保证在边界裕度之上进行定位,因此上述几何失效应是小边界裕度的人为产物,而非结构性限制。我们通过相同的三体制设计,在较大且分离良好的每二元组对比度下证实了这一点,使三种信号相互区别:社区采用同配块,几何采用单位球面上的潜在位置(单位范数,因此几何信号不携带度信息且消除了早期的混叠),度采用期望度乘积。在三十次重复中,在每个体制的稳定快照处,最大的融合权重在每种情况下都落在了真正活跃的机制上,三种机制(包括几何)的定位命中率均为 1.00(图 6);唯一的失误落在切换后立即的一个或两个快照中,即定理的恢复延迟 h h,这使得所有快照的命中率降至跟随切换后的两种体制的 0.58 和 0.60。因此,一旦机制的边界裕度超过阈值,定位对每种机制都会成功,完全正如定理 3 所预测,而弱边界裕度的几何失效是预测的小 κ κ 体制,并非融合方法的局限性。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

误设下对模型平均的优势。 在误设情况下,连贯的贝叶斯模型平均后验随着连边信息的积累,会集中在单个 Kullback–Leibler 最近的智能体上,其权重向量趋于 ( 1 , 0 , 0 ) :这就是 Berk 坍缩,这是后验的正确行为,但对于组合而言却是错误的默认设置,因为它丢弃了其他智能体而不是对它们重新加权。相反,融合方法保留并重新加权所有智能体,且定理 4 使得由此产生的对数得分差距 (11) 只要真实情况不是单个智能体,就严格为正。在这种误设设定下,该差距在每项研究中均为正,范围从标普(S&P)网络上的 0.39 到电网网格上的 3.33;补充材料中的图 S1 绘制了该差距和熵坍缩。

打开网易新闻 查看精彩图片

5.4 大型动态网络

打开网易新闻 查看精彩图片

有两个发现延续到了这个规模(表 6,图 8)。首先,融合方法是这两个网络上校准最好的方法,其 PIT 偏差为 0.031 到 0.061,校准误差为 0.041 到 0.077,相比之下,每个经典组合器和单个智能体分别为 0.41 到 0.50;在对数得分上,它在两个网络的比较方法中均为最低,每个二元组低 2.5 到 3.5 纳特。其次,在此规模下权重依然估计得非常精确:它们在引用网络上偏向度和社区,几何权重接近零,而在电子邮件网络上所有三种机制的权重均为正。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

这两个网络属于不同的体制:在引用网络上,融合方法既经过校准又具有预测力,而电子邮件网络则处于推论 5 的近基准率体制中,其中连边概率几乎是均匀的,融合方法提供了校准但缺乏区分度。

打开网易新闻 查看精彩图片

6 讨论与局限性

打开网易新闻 查看精彩图片

实证研究支持了这些结果。在真实动态网络上,估计的权重追踪了独立于模型识别出的体制变化;在模型平均坍缩和池化校准失误的地方,融合方法保持校准;并且其优势在理论所识别的体制变化处最大。其贡献在于一个单一的模型,它无需单独的重新校准步骤即可产生经过校准的预测,同时提供可解释的时变机制权重(携带条件区间,对有限维机制为无条件区间),并识别机制变化。非基于机制的预测器可以被重新校准以匹配概率,但无法提供权重或其不确定性。

打开网易新闻 查看精彩图片

我们提出了三个扩展方向。首先,加权或计数值边将伯努利模型替换为高斯或泊松模型。有向和带符号网络需要不对称的观测模型,留待未来研究:此处研究的引用和电子邮件网络原生为有向图,并被对称化以适配无向模型,因此原生有向分析(还必须对二元组两个方向之间由互惠性引起的依赖关系进行建模)是一个真正的扩展,而非简单的重命名。投影和追踪论证可以扩展到任何具有平滑对数似然的观测模型,但有向情况并非直接可得。其次,当网络快照过于稀疏而无法使用高斯近似时,拉普拉斯滤波器可以被粒子滤波所替代。第三,此处用作基准的动态块模型和潜在空间预测器(Xu and Hero, 2014; Matias and Miele, 2017; Sewell and Chen, 2015; Durante and Dunson, 2014)可以被纳入智能体集合中。

原文链接:https://arxiv.org/pdf/2606.26136