高斯过程求解微分方程的统一近似框架
A unified perspective of Gaussian process approximation for differential equations
https://arxiv.org/pdf/2607.06292
摘要
使用高斯过程近似微分方程的研究迅速扩展，由此产生了一个不断增长、多样且碎片化的数值方法体系。我们提出一个统一的贝叶斯视角，将这些技术置于一个共同的概率框架内，其基础是将微分方程约束纳入似然函数的导数匹配解释。该统一视角同时支持参数估计和解的近似，并展示了如何在这一框架下理解一系列现有方法。本工作旨在整合当前进展，并为未来研究奠定基础。
关键词：高斯过程，贝叶斯推断，微分方程，不确定性量化
1 引言
近年来，关于使用高斯过程［22，17，14］近似常微分方程和偏微分方程的研究工作迅速增加，尤其是在新兴的科学机器学习领域。这些数值技术通常利用高斯过程先验对解函数进行建模，同时通过微分算子引入物理约束。由此发展出了广泛的方法论，包括多种基于高斯过程的偏微分方程近似方法［23，20，21，9，12，19，4，3，16，2］、隐式力模型［31，1］，以及基于高斯过程的参数估计和系统辨识方法［28，13，29，15］。尽管取得了这些进展，相关文献却日益碎片化，不同方法往往在多样的建模假设和算法框架下呈现。然而，其中许多技术具有共同的底层原理：最显著的是线性运算下高斯性的保持［22］，以及贝叶斯推断中微分方程约束的应用［5］。这引出了一个问题：这些看似不同的方法能否在一个统一、连贯的概率框架内被理解。
本文旨在提供这样一个统一的视角。基于高斯过程近似微分方程的贝叶斯表述，我们表明，一大类现有方法都可以被解释为一个公共概率框架的具体实例。与此同时，围绕这一主题的方法的快速增长也表明需要进行整合。尽管方法的多样性在探索不同的建模选择和表述形式方面具有价值，但厘清它们之间的关系和潜在假设正变得越来越重要。本着这一精神，本文既是一项技术性贡献，也是一篇教学性概述，旨在综合现有思想，并为未来的发展提供一个连贯的基础。
为使讨论形式化，我们考虑如下一般形式的微分方程：
本工作的核心思想是在统一的贝叶斯框架内构建微分方程的高斯过程近似。通过对解函数施加高斯过程先验，并构造编码观测数据与微分方程约束的似然项（将其解释为一种导数匹配机制），我们得到一个联合描述解和未知参数的后验分布。随后，通过适当的设定，该框架内可以处理不同的推断目标，正如稍后在两种典型场景中所展示的那样。
本文其余部分组织如下。第2节建立统一的贝叶斯框架，该框架引出了第3节讨论的两种典型场景：参数估计和解的近似。第4节通过将该框架与若干现有方法相关联，说明其普遍性。最后，第5节给出结论。
2 统一的贝叶斯框架
本节给出用于微分方程高斯过程近似的统一贝叶斯公式，包括先验、似然和后验分布的设定。
2.1 先验
假设解函数 u u服从区域 D D上的高斯过程先验分布：
2.2 似然 2.2.1 观测量与似然函数
同时考虑这两类观测量的似然函数给出如下：
2.3 后验
贝叶斯定理给出
至此完成了贝叶斯公式的构建，将先验、似然和后验汇集于一个统一框架之中，这为下一节讨论两种典型场景奠定了基础。此外，整个推断框架的概率结构如图1所示。
3 两种典型场景
基于第2节建立的统一贝叶斯框架，我们考虑高斯过程近似微分方程中出现的两种典型场景，分别对应参数估计和解的近似。
3.1 场景一：参数估计
3.2 场景二：通过高斯过程回归求解方程
这两种场景展示了统一的贝叶斯公式如何适应不同的推断目标——即参数估计和方程求解——同时依赖于相同的底层概率结构，仅在推断和边缘化的执行方式上有所区别。
4 普遍性
本文建立的统一贝叶斯公式具有足够的普遍性，能够涵盖现有高斯过程近似微分方程的大量方法。特别地，许多利用线性微分算子下高斯性保持性质的方法，均可解释为第2节所引入框架的特殊情形。本节通过重新审视几类代表性方法，并展示它们如何在同一概率结构中被理解，来说明这种普遍性。
物理信息高斯过程
一大类方法，通常称为物理信息高斯过程［23，20，21，19，25，2，30，10］，通过将线性微分算子直接作用于核函数，将微分方程约束纳入高斯过程模型中。这种核变换依赖于高斯过程在线性运算下封闭的性质。从第2节建立的统一贝叶斯公式的角度来看，这些方法可理解为似然构造的实例，其中作用于解的微分算子的观测通过变量 R 纳入。特别地，使用算子变换后的核函数对应于对解及其导数的联合分布进行建模，而微分方程的施加则通过“内力” R 与外强迫项之间的匹配条件来实现。
许多现有工作遵循这一总体范式，包括正问题和反问题的方法。根据推断目标的不同，这些方法可在第3节介绍的两种场景中加以解释。对于正问题［23，20，21，19，10］，它们通常归结为同时具有状态观测和导数观测的高斯过程回归，对应于场景二。对于反问题和参数估计［20，2，30］，它们对应于场景一，即在将解视为隐变量的同时推断未知参数。
特别地，文献［20］将参数估计表述为基于算子变换核函数的高斯过程模型的最大边缘似然问题，通过经验贝叶斯给出点估计。而本文提出的统一贝叶斯框架则允许完全概率化的处理，并对参数和解均提供一致的不确定性量化。此外，近期发展将高斯过程与深度学习相结合，在保持算子变换核结构的同时提高了可扩展性和非线性表达能力［25，26，27］。
隐式力模型
隐式力模型［31，1］采用另一种观点，其中解通过逆微分算子的作用（通常通过格林函数表示）来表达：
经过这些修改，统一贝叶斯公式和两种典型场景仍然适用。主要区别在于算子变换后的核项，它们现在具有如下形式：
5 结论
本文提出了高斯过程近似微分方程的统一贝叶斯视角。两种典型场景——即参数估计和解的近似——被证明自然产生于此框架中，并且一系列现有相关方法均可在此框架内加以解释。更广泛地说，这一统一视角有助于对该领域快速增长的文献进行必要的整合。通过阐明共同的结构、联系和关系，它为基于高斯过程的微分方程数据驱动方法的更系统化发展提供了基础。
展望未来，一个主要挑战是维数灾难，这仍然是高斯过程应用于高维偏微分方程时的根本局限。解决这一问题可能需要对高斯过程与深度学习进行有效整合，并发展统计学习和数值分析中相应的理论基础。
原文链接：https://arxiv.org/pdf/2607.06292
热门跟贴