打破细致平衡，调控扩散模型的动力学状态
Steering Dynamical Regimes of Diffusion Models by Breaking Detailed Balance
https://arxiv.org/pdf/2602.15914v1
我们表明，在生成扩散过程中故意打破细致平衡，可以在不改变平稳分布的情况下加速逆向过程。考虑奥恩斯坦-乌伦贝克过程，我们将动力学分解为一个对称分量和一个产生旋转概率流的不可逆反对称分量。然后，我们构建了一个指数最优的不可逆微扰，它在保持平稳目标的同时提高了长时间弛豫率。我们分析了这种不可逆控制如何重塑最近在生成扩散模型中发现的相变的宏观动力学状态。我们推导出了物种形成时间的通用判据，并表明合适的不可逆微扰可以加速物种形成。相比之下，坍缩相变由迹控制的相空间收缩机制支配，该机制由对称分量固定，并且相应的坍缩时间在反对称微扰下保持不变。高斯混合模型上的数值实验支持了这些发现。
I. 引言
扩散模型提供了一种原则性的连续时间生成视角，其动力学最自然地表述为随机微分方程（SDEs）[1-3]。从这个角度来看，前向加噪过程变成了一个具体的非平衡马尔可夫演化，其结构可以用经典工具进行分析。特别是，随机动力学的结构分解[4-6]以及关于不可逆扩散的相关结果[7]表明，广泛的扩散类可以表示为梯度势流加上无散旋转流，再加上噪声。在线性区域，这种视角简化为非平衡奥恩斯坦-乌伦贝克（OU）过程，其中概率流、平稳协方差和熵产生可以显式写出[8, 9]。这种联系促使我们将扩散模型中使用的前向OU动力学重新解释为此类分解的一个显式实例，这为漂移的受控设计奠定了基础。
生成扩散模型中一个常规的建模选择是具有与单位矩阵成比例的各向同性漂移矩阵的OU前向过程。虽然各向同性在分析上很方便，并且通常作为基线效果很好，但它可能与真实数据不一致，真实数据通常是各向异性的，并且通常集中在低维流形附近[10, 11]。在这种情况下，各向同性漂移暗示的均匀恢复力可能成为实际瓶颈，导致对数据景观的探索效率较低，收敛速度比必要的更慢。这促使我们超越平衡态般的各向同性，以更好地反映影响性能[12, 13]的几何和非平衡性质。
为了解决这个问题，我们利用了非可逆线性漂移矩阵 A [5]的更通用公式。具体地，我们将漂移分解为两个可解释的分量，
建立了这种分解后，下一步是以一种与不可逆扩散对齐并产生可证明加速的原则性方式选择 Q。一个关键的指导原则是，违反细致平衡——非可逆动力学的标志——可以加速向平衡的弛豫[14, 15]。在线性扩散模型中，这种加速可以通过漂移算子的谱性质来形式化，特别是通过优化其谱隙[16, 17]。借鉴非平衡涨落理论[8, 18]和最优控制[17]，我们构建了一个指数最优的 Q，它在固定不变测度的约束下最大化渐近收敛率。最后，我们获得了一种受控的、有理论依据的方法来加速前向扩散过程，而无需修改分数学习目标。
最近的统计物理工作实质性地阐明了扩散动力学的宏观行为，并为我们的贡献提供了重要的背景[19, 20]。特别是，Biroli等人[21, 22]的分析识别了生成过程中的临界相变，包括由自发对称性破缺驱动的物种形成相变（speciation transition）[23]和与玻璃化记忆相关的坍缩相变（collapse transition）[24, 25]。结合相关的联想记忆和泛化研究[25-31]，这些工作确立了任何机制理论必须解释的关键现象，并提供了我们的理论目标所需的基准。我们的贡献是互补的：不仅仅是表征固定前向过程的相变，我们引入了一种控制导向的、非可逆的漂移框架，该框架预测如何移动物种形成同时保持坍缩不变。
除了识别相变，并发工作还强调了几何和非平衡可观测量的作用，这进一步激发了我们分析的通用性。最近的研究揭示了这些相变的层次性质及其对数据几何的依赖[12, 32-34]。并行地，非平衡热力学分析表征了训练扩散模型中的产生和概率流[35, 36]，强调动力学不可逆性不仅仅是建模的便利，而是一个可观测的特征。我们的工作通过在更通用的各向异性和非可逆模型中推导相变的精确理论标准来扩展这些见解，这使我们能够量化受控流如何影响宏观行为。我们发现，最优选择的非可逆微扰可以显著加速物种形成相变而不移动坍缩相变，从而将有用的模式分离与记忆边界解耦。
II. 相关工作
A. 非平衡动力学与分解
非平衡扩散理论为我们广义的线性漂移提供了结构基础。特别是，随机动力学分解[4, 5, 7]表明，非常一般的马尔可夫过程可以表示为梯度流、无散旋转流和噪声的总和，这直接激发了我们的参数化方法。专门研究线性情况会产生具有非零概率流的OU（奥恩斯坦-乌伦贝克）型动力学，使得非平衡特征在生成元层面上变得明确。在此基础上，文献[8, 9]对线性扩散相关的非平衡稳态、熵产生和涨落关系进行了详细分析。综上所述，这些经典结果证明了将我们的框架视为“势加环流”动力学在高维扩散模型中的实例是合理的，其中 U U 作为各向异性二次势，而生成旋转非可逆分量。
一个互补的研究方向探讨了如何在控制不变测度的同时，通过调整漂移来加速扩散的收敛。Scaglioni [16] 分析了如何选择漂移和扩散系数以最大化谱隙，从而将加速形式化为一个算子理论优化问题。在一个密切相关的方向上，Lelièvre 等人[17] 推导了设计非可逆微扰的建设性程序，该微扰能够均衡各模式间的衰减率，给出了明确的方案而非抽象的界限。这些结果为从非平衡结构到算法设计提供了自然的桥梁，因为反对称分量可以在不改变平稳密度的情况下重塑弛豫过程。我们对指数最优反对称部分 Q Q 的构建直接受到这种最优控制观点的启发，并将其适应于扩散模型前向过程的特定结构。我们的漂移设计继承了非可逆扩散优化中原则性的加速保证，同时仍然针对扩散动力学进行了定制。
B. 扩散模型中的相变与记忆-泛化
高维统计物理分析已确立相变作为扩散模型生成的组织原则，为我们的工作提供了主要的宏观基准。该研究计划由 Biroli 和 Mézard 在 [22] 中发起，并在 [21] 中得到进一步发展，作者在其中确定了两个关键的动力学状态：物种形成相变（与数据模式之间的对称性破缺相关），以及坍缩相变（与对训练样本的玻璃态记忆相关）。此后，该框架被阐明机制和解释的工作所完善：Raya 和 Ambrogioni 强调了生成动力学中的自发对称性破缺 [23]，而联想记忆观点在 [25, 27, 28] 中得到了发展。同时，可解模型或平均场模型锐化了记忆-泛化边界，并有助于分离出控制参数 [24-26, 29]。这些并发的结果提供了一种连贯的现象学——物种形成与坍缩——这正是我们的理论所针对并旨在通过受控的非可逆性来操纵的。
相关的统计力学工作也将范围扩大到了原始扩散设置之外，强化了相变思维的普遍性。文献 [30] 报告了在相关基于能量的模型训练中类似级联的相变，表明多阶段临界行为可以在相近的生成模型族中出现。此外，文献 [31] 分析了用于图像生成的更一般马尔可夫生成元（包括自旋翻转动力学和扩散过程）的收敛性，强调生成元结构可以强烈约束长时间行为。这些发展通过指出哪些方面在马尔可夫生成机制中是普遍的，哪些方面是依赖于模型的，从而补充了特定于扩散的图景。同时，他们发现改变生成元是一个有意义的干预轴，而不仅仅是一个技术细节。我们专注于通过 Q Q 修改前向生成元，这自然地契合了这种关于生成相变的扩大的马尔可夫过程视角。
除了动力学状态之外，并发的研究还强调了几何和非平衡可观测量的作用，这促使我们明确地分析各向异性和概率流。文献 [12, 32-34] 讨论了数据流形和几何相位在扩散动力学中的作用，强调数据几何可以控制模式如何分离以及相变如何发生。作为补充，文献 [35, 36] 探讨了已训练扩散模型的非平衡物理学，包括熵产生和概率流，使得不可逆性变得可测量，而不仅仅是假设。文献 [37] 提供了对生成扩散模型的更广泛概述，将这些问题置于更广阔的方法论图景中。我们的工作通过将 [21, 22] 的物种形成/坍缩分析扩展到一般的非可逆线性漂移，并理清非可逆性对收敛速度与相变时间的影响，从而融入了这一图景。我们将几何和热力学观点综合成一种漂移控制理论，该理论旨在针对相变时间，而不改变平稳目标。
一项特别相关的研究是 Albrychiewicz 等人 [38] 的近期工作，该工作通过耦合的 OU（奥恩斯坦-乌伦贝克）动力学分析了多模态扩散，并强调了产生不同弛豫通道之间同步间隙的谱层次结构。我们认为他们的框架是互补的，因为干预的方式不同。他们的控制参数是模态间的耦合结构和强度，而我们则是通过添加一个保持不变高斯测度的反对称分量来修改扩散过程的生成元。这种区别对生成过程的两个阶段 [21] 至关重要：
C. 扩散模型的算法加速与替代表述形式
平行的研究领域主要通过算法或架构的改变来加速扩散模型，而不是通过修改漂移矩阵。Pandey 和 Mandt 提出了一种基于相空间朗之万动力学和前向随机微分方程（SDE）灵活设计的相空间生成扩散模型“完整方案”[39]，从而将前向过程的空间扩展到了标准构建之外。其他研究致力于减少推理时的函数评估次数，包括具有次线性复杂度的并行时间采样[40]、基于熵的时间重新参数化[41]以及单步平均流模型[42]。替代表述形式包括谐波路径积分扩散[43]、在像素空间和表征空间过程之间进行插值的统一扩散架构[44]，以及为基于分数（score-based）的扩散模型提供统一视角的“带特威迪（Tweedie）分布的随机游走”观点[45]。
这些进展通常通过改变离散化方案、推理过程或模型参数化来加速扩散，这使得它们自然地与减少采样时的函数评估次数相契合。因此，它们通常较少强调生成元（generator）层面的干预，即明确将平稳目标与瞬态弛豫机制分离开来。我们的贡献是对这一算法研究路线的补充：我们保持分数学习目标和网络架构不变，而是仅通过一个保持不变测度的非可逆分量来修改前向线性漂移。这种生成元设计的观点提供了一种受控的方式来重塑弛豫路径，并预测宏观相变时间如何响应此类干预。
对深度架构的几何和动力系统分析进一步提供了背景，说明了为什么生成元层面的结构可能对可训练性和相变至关重要。相关的几何分析，例如 Transformer 的信号传播动力学，阐明了动力系统工具如何澄清稳定性、可训练性和涌现的相行为[46]。这些见解补充了特定于扩散的加速工作，表明优化和生成过程都可能表现出由谱和几何量控制的状态（regime）变化。这一观点与我们强调的“受控的非可逆性以可测量的方式重塑弛豫路径，而不仅仅是提供一个更快的采样器”相一致。重要的是，我们的贡献在很大程度上与这些算法进展是正交（独立）的：我们保持分数学习目标和网络架构不变，同时仅改变前向线性漂移。我们通过最优控制的非可逆线性漂移提出了一种生成元设计原则，并研究了其对相变现象的影响。
III. 具有非可逆漂移的生成扩散模型
A. 广义前向过程与时间反转
B. 加速收敛的最优控制
引入非可逆分量的主要动机是通过消除可逆弛豫的慢模式瓶颈来加速模型向其平稳分布的收敛。在由势矩阵 U U控制的纯可逆系统中，收敛速率由线性动力学最慢的收缩方向控制。等效地，渐近收敛速率受限于 U U 的最小特征值，因此即使其他方向快速弛豫，弱约束方向也会主导长时间采样。如果势函数是病态的——意味着其特征值跨越几个数量级——这种瓶颈在实践中会导致极其缓慢的采样动力学。理想情况下，加速机制应仅修改瞬态动力学，而不改变 U U 暗示的平稳目标。
最后，渐近最优性并不一定转化为最佳的有限时间性能，因为收敛界限通常除了指数速率外还包括一个乘法前置因子。在非可逆动力学中，较大的渐近速率可能伴随着由于非正规性引起的瞬态放大，这反映在前置因子 C C中。因此，在与采样和相变现象相关的中等时间内的实际加速取决于命题 1 中的最佳指数和 C C 的大小 [17]。在实现最大渐近速率的同时优化 C C 仍然是一个未解决的问题；因此，我们将我们优化的反对称微扰 Q Q 称为 Lelièvre 的指数最优。
IV. 具有非可逆漂移的生成过程中的相变
本节展示了我们的主要理论贡献以及在高斯混合模型上的数值实验，详细分析了广义漂移矩阵 A A 如何影响扩散过程的临界相变。我们关注 Biroli 等人确定的两个关键动力学事件：物种形成（speciation）和坍缩（collapse）[21]。对于每种相变，我们的推导从最一般的非可逆情况开始，随后通过简化为更受限场景下的已知标准，展示了我们的结果如何统一和扩展先前的工作。
A. 物种形成相变
2. 特殊情况下的分析
我们的通用判据提供了一个统一的视角，并且在附加结构下可以优雅地简化为已知的闭式表达式。关键的简化发生在相关矩阵共享特征向量时，使得多维不稳定性简化为沿主对称性破缺方向的标量条件。这种简化不仅仅是技术性的：它阐明了数据空间中的哪个方向控制着模式分离的首次发生。在下文中，我们陈述同时可对角化的情况，然后作为进一步的特例恢复标准的各向同性结果。
B. 坍缩相变
第二个临界事件是坍缩相变，它发生在时间，此时生成过程停止泛化，而是“坍缩”到训练集中的特定数据点上，进入纯粹记忆的机制 [21]。从概念上讲，这种转变标志着反向动力学产生的分布的有效支撑集发生了质的变化：质量不再覆盖一系列合理的连续变化，而是集中在离散的训练样本周围。这种区别至关重要，因为它区分了能够生成新样本的模型和仅仅重现其训练数据的模型。在我们的分析中，坍缩时间将由一个信息论判据来表征，该判据取决于演化分布的熵和存储模式的数量。
1. 基于熵体积论据的通用判据
2. 随机能量模型的分析见解
V. 讨论
我们的结果突出了扩散动力学中非可逆流和熵收缩的作用之间的清晰分离。通过在线性漂移中引入反对称分量 Q，人们可以在保持不变测度固定的同时重塑概率流并提高有效弛豫率。在这一类中，指数最优构造提供了一种可操作的途径来均衡各方向上的衰减率，从而加速长时间混合。在统计物理图像中，这种加速转化为物种形成相变的更早发生，因为对称性破缺不稳定性在绝对时间上更早达到。我们对细致平衡的受控违反提供了一个原则性的且实际可用的旋钮，可以在不改变平稳目标的情况下加速模式分离。
一个互补的信息是，坍缩相变由纯粹的熵相空间收缩机制控制，因此对非可逆微扰具有鲁棒性。因为相关的体积收缩率仅取决于，添加 Q 不会移动由熵体积判据定义的坍缩时间。这种鲁棒性与最近的实证观察一致，即坍缩时间在耦合结构的变化下可以保持稳定，同时仍然允许瞬态轨迹和流有所不同。在这个意义上，非可逆控制可以提高实际的采样和弛豫效率，而不会将系统拉向记忆主导的机制。
这种观点也阐明了我们的结果如何与[38]中报告的同步间隙现象学联系起来。他们的间隙反映了耦合系统不同通道之间由耦合引起的弛豫时间尺度的分离。我们的干预作用在不同的层面：非可逆流在固定的不变测度内重新分配弛豫路径，因此它们可以减少达到物种形成不稳定性所需的绝对时间，而不移动熵坍缩阈值。综合来看，这两种观点为实践提供了一个有用的诊断。
还有几个扩展，这暗示了未来的路线图。首先，我们的分析集中在前向线性过程和理想化的高维数据模型上，因此将相同的控制原理扩展到非线性漂移、学习到的分数网络和真实数据集是重要的下一步。其次，将连续时间指数最优构造更直接地连接到可实现的离散时间采样器，并量化在固定计算预算、离散化误差和数值稳定性下的权衡，将是有价值的。第三，除了优化渐近速率之外，理解和控制有限时间前置因子，例如由非正规瞬态效应引起的常数 C C，对于在与采样和相变现象相关的时间尺度上获得实际收益可能至关重要。
原文链接：https://arxiv.org/pdf/2602.15914v1
热门跟贴