An Adaptive Dropout Approach for High-Dimensional Bayesian Optimization

高维贝叶斯优化的自适应 Dropout 方法

https://arxiv.org/pdf/2504.11353?

摘要
贝叶斯优化（Bayesian Optimization, BO）是一种广泛用于求解昂贵黑盒优化问题的算法。然而，由于采集函数（acquisition function）本身的高维特性，其在高维问题上的性能显著下降。在所提出的算法中，我们沿迭代过程自适应地对采集函数的变量进行丢弃（dropout）。通过逐步降低采集函数的维度，所提出的方法在优化采集函数时面临的困难也越来越小。数值实验表明，AdaDropout 能有效应对高维挑战，在标准贝叶斯优化方法难以处理的问题上提升了求解质量。此外，与当前最先进的高维贝叶斯优化方法相比，该方法也表现出更优的结果。本研究为高维昂贵优化问题提供了一种简单而高效的解决方案。

关键词：贝叶斯优化，昂贵优化，高维优化，自适应丢弃（Adaptive Dropout）

  1. 引言

贝叶斯优化（Bayesian Optimization, BO）[1, 2]，也被称为高效全局优化（Efficient Global Optimization, EGO）[3]，是一种广泛用于求解昂贵黑盒问题的有效优化技术。通过使用高斯过程模型（Gaussian Process model）[4]来近似目标函数，贝叶斯优化能够预测未测试点的函数行为，从而减少昂贵评估的次数。新样本的选择由一个平衡探索与利用的采集函数（acquisition function）引导。常见的采集函数包括期望改进（Expected Improvement）、下置信界（Lower Confidence Bound）和改进概率（Probability of Improvement）[5]。由于使用了高斯过程模型和精心设计的采集函数，贝叶斯优化成为一种极其样本高效的优化方法 [6, 7, 8]。它已被成功应用于广泛的优化问题中，包括多目标优化 [9, 10, 11] 和并行优化 [12, 13, 14, 15]。

然而，在处理高维问题时，贝叶斯优化面临挑战，这是由于搜索空间复杂度增加 [7] 所致，需要更多的样本以保持代理模型的准确性。在高维情况下，采集函数通常表现出高度非线性和多模态行为，并具有许多局部最优，这可能会使优化算法陷入局部最优。这导致贝叶斯优化的样本效率显著下降，因为算法可能在搜索空间的次优区域浪费评估资源。在过去二十年中，各种策略被提出以应对这些挑战，例如变量选择、低维嵌入、加性模型和局部高斯过程模型等 [16]。

第一类方法通过变量选择来降低高维问题的复杂性。Dropout 方法 [17] 在每次迭代中仅优化随机选择的一组维度，而其余变量则通过三种策略进行填充：随机采样、从历史最优解复制值，或混合方法。蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）方法 [18] 动态地将变量划分为重要和不重要的子集，并根据历史评估结果迭代地细化搜索空间，从而提高优化效率。其他有效的变量选择技术包括基于后验的过滤 [19]、结合似然比检验的分层对角采样 [20] 和基于指标的方法 [21]，进一步细化了变量选择的标准。此外，维度调度算法 [22] 通过在每次迭代中仅优化部分维度来减少计算开销，从而加快收敛速度。

另一种提升高维贝叶斯优化（High-Dimensional Bayesian Optimization, HDBO）性能的方法是通过低维子空间嵌入。随机嵌入贝叶斯优化（Random Embedding Bayesian Optimization, REMBO）算法 [23] 使用高斯随机矩阵将高维问题投影到随机选择的低维子空间中。然后在嵌入空间中执行贝叶斯优化，并将解决方案映射回原始空间，从而有效降低计算复杂度。自适应扩展子空间贝叶斯优化（Bayesian Optimization with Adaptively Expanding Subspaces, BAxUS）方法 [24] 从一个小的子空间开始，并在迭代过程中逐步增加其维度，提高了包含全局最优的概率。其他方法如改进核函数 [25]、顺序随机嵌入 [26]、结合Kriging模型的偏最小二乘法 [27]、切片逆回归 [28] 和哈希增强子空间优化 [29] 进一步优化了子空间选择和计算效率。然而，这些基于嵌入的方法假设存在低维结构，这在现实中并不总是成立。它们还存在边界失真的问题。这些限制降低了它们在复杂现实场景中的有效性。

此外，已有多种方法尝试通过加性模型解决HDBO问题。加性高斯过程上置信界（Additive Gaussian Process Upper Confidence Bound, Add-GP-UCB）算法 [30] 假设目标函数可以分解为若干低维子函数之和，每个子函数仅依赖于一小部分变量，从而降低高维问题的复杂性。这种结构允许为每个子函数建立独立的高斯过程模型，使得优化可以在更小且计算可管理的子空间中进行。该思想的扩展包括基于投影的加性模型 [31]、具有重叠加性组的优化 [32] 以及结合批量评估的结构化核学习 [33]。尽管有这些优势，但基于加性模型的方法依赖于目标函数可以被分解为有意义的低维组件这一假设。如果该假设不成立，则这些算法的性能可能会下降。

另外，局部高斯过程（GP）模型提供了一种替代策略，通过聚焦信任域和自适应搜索机制来高效地平衡探索与利用。信任域贝叶斯优化（Trust Region Bayesian Optimization, TuRBO）算法 [34] 通过维护多个信任域，每个信任域都有一个独立的局部GP模型，解决了全局代理建模的局限性。它采用多臂老虎机策略动态分配样本，确保在有效探索的同时精炼有希望的区域。TASBO（Taking-Another-Step Bayesian Optimization）[35] 通过首先使用全局GP识别候选解，然后在其周围训练局部GP以精炼选择，进一步增强了局部搜索，提升了高维空间中的搜索精度。

最后，除了上述主流方法外，还有一些其他方法被开发出来。坐标线贝叶斯优化（Coordinate Line Bayesian Optimization, CoordinateLineBO）[36] 通过将采集函数分解为一系列一维子问题来提高贝叶斯优化的可扩展性。与传统的高维BO方法不同，CoordinateLineBO 将搜索限制在包含当前最优解的精心选择的一维子空间中，从而无需求解高维采集函数优化问题即可实现高效探索。基于圆柱核的贝叶斯优化方法 [37] 使用圆柱核变换搜索空间，改善了核函数的行为并解决了固定点依赖问题。

许多现有的贝叶斯优化方法都对目标函数进行了结构性假设。当底层函数与所假设的模型不一致时，这些假设会显著限制算法的性能。

在本文中，我们提出了适用于高维贝叶斯优化的自适应丢弃（Adaptive Dropout）方法（AdaDropout），该方法不对待优化问题进行结构性假设。我们的主要贡献如下：

  1. 所提出的方法在优化过程中动态地丢弃采集函数中的变量。通过动态调整优化变量的数量，该方法能够在探索与利用之间实现更好的平衡。

  2. 我们进行了数值实验，以评估 AdaDropout 的性能，并将其与标准贝叶斯优化方法及六种最先进的高维贝叶斯优化算法进行比较。实验结果表明，我们的方法在解决高维昂贵优化问题方面，在计算成本和优化效率方面均展现出优越性。

本文其余部分的组织如下：第2节介绍高斯过程模型和贝叶斯优化算法的基础知识；第3节描述基于自适应丢弃的贝叶斯优化算法；第4节展示相应的数值实验；第5节给出结论。

2 背景知识

其中，表示最优解。贝叶斯优化在那些 f(x)评估代价高昂的问题中尤其有价值。该框架通过高效引导对最优解的搜索，力求最小化所需的函数评估次数。

贝叶斯优化过程包含两个核心组成部分：高斯过程（Gaussian Process, GP）模型，作为目标函数的概率代理模型；以及采集函数（acquisition function），利用GP模型在探索（exploration）与利用（exploitation）之间进行权衡。

2.1 高斯过程模型

高斯过程（Gaussian Process，GP）模型被广泛应用于贝叶斯优化中，为代理建模提供了一个灵活且概率化的框架。高斯过程定义了在函数上的一个分布，其中任意有限个点的函数值服从多元高斯分布。高斯过程的预测均值和方差不仅提供了函数值的估计，还提供了不确定性量化，从而能够高效地选择评估点。

在高斯过程（GP）模型中，相关函数定义了不同输入点处函数值之间的依赖关系。常用的相关函数包括径向基函数（RBF）相关函数、周期相关函数和线性相关函数。在本研究中，我们使用径向基函数（RBF）相关函数，其定义如下 [4]：

2.2 采集函数

贝叶斯优化中常用的采集函数包括期望改进（Expected Improvement, EI）[1, 2]、改进概率（Probability of Improvement）[5]和下置信界（Lower Confidence Bound）[5]。在这些采集函数中，EI 因其在探索与利用之间取得了出色的平衡而成为应用最广泛的一种。

直观上，EI 在探索与利用之间进行权衡。第一项表示以概率为权重的改进量，第二项则代表了未探索区域中不确定性的贡献。

图2展示了基于高斯过程模型导出的一维目标函数对应的EI函数。如图所示，EI函数呈现出多模态结构。在已观测样本点处，EI值恰好为零；而在这些样本点之间，EI函数上升，表明这些区域可能带来潜在的改进。

2.3 贝叶斯优化

贝叶斯优化（Bayesian Optimization, BO）是一种用于昂贵黑盒函数的高效优化框架。该过程主要包括两个部分：构建一个概率代理模型（通常使用高斯过程 Gaussian Process, GP）来近似目标函数；以及优化一个采集函数（如期望改进 Expected Improvement, EI），以确定下一个采样点。

初始阶段，选择一组 个初始样本点，并评估其对应的目标函数值。在每次迭代中，BO 使用当前的数据集构建一个GP模型来近似目标函数。随后通过最大化EI采集函数来选择下一个评估点，从而平衡探索与利用。在选定的点处评估目标函数后，数据集将更新并包含新的采样点。这一过程不断重复，直到达到预设的最大评估次数。贝叶斯优化的计算框架总结于算法1中。

贝叶斯优化（BO）特别适用于低维搜索空间的问题。在低维情况下，像EI这样的采集函数相对容易优化。然而随着维度的增加，优化采集函数变得越来越困难，因为搜索空间随着维度呈指数级增长。因此，将贝叶斯优化扩展到高维空间面临的主要挑战之一就是应对采集函数的高维性。

3. 所提出的方法

在本研究中，我们提出了一种自适应丢弃（Adaptive Dropout）方法（AdaDropout）来解决这一问题。与在原始高维空间中选择所有采集点不同，所提出的AdaDropout方法动态地降低采集点的维度，以缓解优化采集函数的难度。该算法的详细内容如下。

3.1 基本思想

AdaDropout 的核心思想是自适应地调整采集函数的维度。初始阶段，算法使用标准的采集函数（例如期望改进 Expected Improvement, EI）在完整的 D 维空间中进行探索。当新采样的点未能改进当前最优解时，这表明高维搜索可能效率低下。在这种情况下，我们丢弃一个变量，将优化的维度从 d减少到 d−1（初始时 d=D）。这一过程可以形式化表示为：

3.2 计算框架

AdaDropout 的计算框架如算法2所示。

标准贝叶斯优化（BO）与所提出的 AdaDropout 的流程图如图3所示。可以观察到，这两种算法的关键区别在于采集函数的优化过程和维度管理。

在每次迭代中，标准BO在完整的D维空间上最大化采集函数，这在高维问题中会导致显著的计算成本和优化困难。

相比之下，AdaDropout 则是在一个降维后的d维子问题上最大化采集函数。此外，在每次迭代之后，AdaDropout 会根据优化进展决定是否进一步丢弃变量。

由于降维后的维度 d远小于原始维度 D，AdaDropout 通过动态调整优化子空间，有效缓解了高维优化所带来的计算负担和优化难度。

3.3 图示示例

图4以一个五维优化问题为例，直观地展示了AdaDropout策略。其过程如下：

综上所述，AdaDropout 算法通过逐步降低优化子空间的维度，智能地融合了全局探索与局部开发。这种自适应策略不仅缓解了高维优化所带来的挑战，还提升了贝叶斯优化过程的效率与效果。

4. 数值实验

在本节中，我们进行了数值实验以评估所提出的自适应丢弃方法（AdaDropout）的性能。我们将 AdaDropout 与标准贝叶斯优化方法以及六种最先进的高维贝叶斯优化（HDBO）算法进行比较，以评估其在处理高维优化问题上的表现。这些实验中使用的 AdaDropout 的 MATLAB 实现代码已公开，可在以下链接获取：
https://github.com/huang-jundi/Adaptive-Dropout

4.1 实验设置

以下是数值实验的设置说明：

  1. 测试问题：我们使用 CEC 2013 测试套件 [39] 和 CEC 2017 测试套件 [40] 中的基准函数来评估 AdaDropout 算法的性能。

  • CEC 2013 测试套件包含 28 个问题，其中 f1 至 f5 是单峰问题，f6 至 f20 是多峰问题，f21 至 f28 是复合问题。

  • CEC 2017 测试套件包含 29 个问题，其中 f1 和 f3 是单峰问题，f4 至 f10 是简单多峰问题，f11 至 f20 是混合问题，f21 至 f30 是复合问题。

实验设计：优化问题的维度设置为 100。为了初始化优化过程，我们使用拉丁超立方采样（Latin Hypercube Sampling, LHS）生成初始样本，样本数量固定为 200。每个实验的最大函数评估次数限制为 1000 次。

高斯过程模型（GP）：在构建高斯过程（Gaussian Process, GP）代理模型时，我们采用径向基函数（RBF）核。核超参数的取值范围被限制在 [0.01, 100] 之间，并使用标准的最大似然估计方法进行训练。

填充点选择：使用遗传算法（Genetic Algorithm, GA）对 ESSI 采集函数进行优化。GA 的参数设置因算法而异：

  • 对于标准 BO 方法，GA 的种群大小设为 200，迭代代数设为 100。

  • 对于 AdaDropout，GA 的种群大小设为 max(10, 4d)（其中 d 为当前优化变量的数量），迭代代数设为 200d / 种群大小。

运行次数：每种算法独立运行 30 次，每次使用不同的初始样本。为了确保公平比较，所有算法在每次实验中使用相同的初始样本集。

实验环境：实验在运行 Windows 10 系统的计算机上进行，配置为 Intel Core i9-10900X CPU 和 64GB 内存。该计算环境确保了算法评估的一致性。

我们将所提出的 AdaDropout 与标准 BO 方法以及六种最先进的高维贝叶斯优化（HDBO）算法进行比较，包括：

  • Add-GP-UCB [30]
  • Dropout [17]
  • CoordinateLineBO [36]
  • TuRBO [34]
  • MCTS-VS [18]
  • TAS-BO [35]

每种算法都采用独特策略来应对高维优化的挑战。以下是对这六种先进算法的简要描述：

  1. Add-GP-UCB：Add-GP-UCB [30] 算法假设目标函数具有加性结构，将其分解为多个低维子函数。然后在这些子空间中执行贝叶斯优化，从而降低复杂性并提高样本效率。然而，其有效性依赖于分解的正确性，若函数并非严格可加，性能可能下降。实验中，低维子空间的维度设置为 5。

  2. Dropout：Dropout [17] 方法通过在每次迭代中随机选择一组变量并仅在该子集内进行优化，以应对高维优化问题。这种方法降低了计算成本，同时保持了探索能力。该方法不依赖于函数结构的严格假设，能够在低维子空间中进行优化。实验中，子空间维度也设置为 5。

  3. CoordinateLineBO：CoordinateLineBO [36] 通过随机顺序逐个坐标进行优化。在实验中，我们使用种群大小为 10、迭代代数为 20 的遗传算法来优化所选坐标。

  4. TuRBO：TuRBO [34] 将信任域策略整合进贝叶斯优化框架，增强了局部搜索能力。通过动态调整信任域的大小和位置，TuRBO 在全局探索与局部开发之间取得平衡，特别适用于具有复杂地形的高维问题。实验中，信任域数量设置为 5，批量评估次数设置为 10。

  5. MCTS-VS：MCTS-VS [18] 使用蒙特卡洛树搜索方法将变量划分为重要变量与不重要变量。通过将优化重点放在重要变量上，MCTS-VS 降低了搜索空间的有效维度，从而实现更高效的探索。

  6. TAS-BO：TAS-BO [35] 通过首先使用全局高斯过程识别一个有希望的候选解，然后在其周围训练局部高斯过程以进一步优化，从而提升优化效果。这种自适应方法在全局探索与局部开发之间取得平衡，提高了高维问题的收敛速度。

4.2 CEC 2013 上的实验结果

为了评估结果的统计显著性，我们在显著性水平 α=0.05下进行了 Wilcoxon 符号秩检验。在表格中：

  • 符号+表示 AdaDropout 的结果显著优于对比算法；

  • 符号−表示其结果显著劣于对比算法；

  • 符号≈表示两者结果相当。

表1报告了 AdaDropout 和七种贝叶斯优化（BO）算法在100维 CEC 2013 基准问题上的平均性能。在这些表格中，目标函数值越低表示优化性能越好。从结果可以看出，AdaDropout 在多数问题上表现出显著优势。

标准 BO 算法在整个优化过程中始终在完整的 D 维空间中优化采集函数，这在高维空间中可能导致采集函数优化效率低下。相比之下，所提出的 AdaDropout 动态调整优化维度，使得在高维空间中可以高效探索，在低维空间中进行精细开发。在 CEC 2013 基准问题上，AdaDropout 在20 个函数上优于标准 BO，在5 个函数上表现相当，仅在3 个函数上落后。

Add-GP-UCB 假设目标函数具有加性结构，并在多个子空间中分别进行优化。虽然该方法在具有强加性分解的问题上表现良好，但当真实目标函数不具备这种结构时，其性能会下降。而 AdaDropout 不依赖此类结构性假设，并能动态调整优化空间。在 CEC 2013 基准问题上，AdaDropout 在24 个函数上优于 Add-GP-UCB，在4 个函数上表现相当。

Dropout 方法通过每次迭代随机选择一组变量进行优化，其余变量保持不变，采用固定维度的优化策略。相比之下，AdaDropout 只有在未观察到目标函数改进时才自适应地减少优化维度。在 CEC 2013 基准问题上，AdaDropout 在17 个函数上优于 Dropout，在7 个函数上表现相当，在4 个函数上落后。

CoordinateLineBO 使用逐坐标优化策略，每次只优化一个维度，其他维度保持不变。虽然这种方法缓解了“维度灾难”，但在变量间存在复杂交互关系的问题中可能表现不佳。相比之下，AdaDropout 保留了更灵活的降维策略，在优化初期保持较高的探索效率，并在后期阶段进行精细化开发。在 CEC 2013 基准问题上，AdaDropout 在15 个函数上优于 CoordinateLineBO，在11 个函数上表现相当，仅在2 个函数上落后。

TuRBO 使用多个局部信任域进行优化，在处理高维空间方面效果良好，但可能限制全局探索能力。相比之下，AdaDropout 自适应调整优化维度，在探索与利用之间取得平衡，从而展现出更优性能。在 CEC 2013 基准问题上，AdaDropout 在20 个函数上优于 TuRBO，在6 个函数上表现相当，仅在2 个函数上落后。

MCTS-VS 使用蒙特卡洛树搜索方法将变量划分为重要和不重要的两类，集中优化重要变量以有效降低搜索空间维度。然而，在变量交互复杂的问题中，它可能面临挑战。在 CEC 2013 基准问题上，AdaDropout 在21 个函数上优于 MCTS-VS，在7 个函数上表现相当，没有一个问题落后。

TAS-BO 采用两步优化策略：首先使用全局 GP 模型识别候选点，然后使用局部 GP 进行精调后再评估。这种方法增强了局部搜索能力，提升了贝叶斯优化在高维问题上的有效性。然而，TAS-BO 仍在完整 D 维空间中进行评估，而 AdaDropout 则动态减少优化维度，进一步提高了效率。在 CEC 2013 基准问题上，AdaDropout 在14 个函数上优于 TAS-BO，在8 个函数上表现相当，在6 个函数上落后。

图5展示了在 CEC 2013 测试套件中选取的六个函数 f1、f2、f6、f11、f17 和 f19 上的收敛历史，绘制了30次独立运行的平均性能。从收敛曲线可以看出，AdaDropout 在大多数测试问题上展现出优越的性能。

例如，在 f2、f6 和 f11 函数上，AdaDropout 在早期迭代中 fmin（当前最优值）迅速下降，随后进入稳定持续改进阶段。这表明，AdaDropout 能够在初始的高维优化阶段实现快速性能提升，同时在后续阶段保持稳定的进步，最终超越其他算法。

与标准贝叶斯优化相比，AdaDropout 在初始阶段表现略差，这可能是由于早期迭代中采集函数维度逐步减少所致。然而在后期阶段，AdaDropout 表现出稳步提升，而标准 BO 因受高维优化“诅咒”影响，出现性能停滞。这种自适应降维机制使 AdaDropout 在许多基准问题上实现了整体性能的显著提升。

与其他最先进的方法相比，AdaDropout 在优化初期展现出明显优势，这从收敛曲线的快速下降可以明显看出。这一优势来源于我们提出的自适应丢弃机制：该机制从在完整的 D 维空间中进行优化开始，并在进展缓慢时逐步减少优化变量的数量。通过迭代地丢弃信息量较少的变量，并在低维子空间中细化搜索，AdaDropout 缓解了高维优化带来的挑战，并在整个优化过程中保持了稳定的性能提升。

在大多数基准问题上，AdaDropout 在不同的优化阶段都取得了极具竞争力的结果。它能够在早期探索与后期开发之间取得良好平衡，体现了其在识别最优解方面的适应性和精确性。

4.3 CEC 2017 上的实验结果

为了进一步评估 AdaDropout 的性能，我们在 100 维的 CEC 2017 基准问题上进行了测试，并在表2中展示了平均优化结果。使用显著性水平为 α=0.05的 Wilcoxon 符号秩检验来判断统计显著性。在表格中：

  • 表示 AdaDropout 的性能显著优于对比方法；

  • 表示其性能显著劣于；

  • 表示两者性能相当。

表2 显示，AdaDropout 在这些高维问题上表现出色。具体来说，它在28 个基准函数上优于标准 BO；
在29 个函数上优于 Add-GP-UCB；
在19 个函数上优于 Dropout；
在22 个函数上优于 CoordinateLineBO；
在24 个函数上优于 TuRBO；
在27 个函数上优于 MCTS-VS；
在15 个函数上优于 TAS-BO，表明其相对于各种最先进方法的有效性。

图6 展示了所选 CEC 2017 函数上各算法的收敛历史。值得注意的是，在如 f1、f6、f12 和 f24 等函数上，AdaDropout 在早期迭代中目标函数值迅速下降，随后进入稳定而持续的改进阶段。这种行为凸显了自适应降维机制的优势：在初始阶段，完整 D 维空间中的全局探索能够快速定位有希望的区域，之后在低维子空间中逐步细化搜索。

综上所述，CEC 2017 基准测试的结果证实了 AdaDropout 中的自适应降维机制不仅加速了高维空间中的初始下降过程，还在后续迭代中确保了持续的性能提升。这种在全局探索与局部开发之间的平衡，使得 AdaDropout 相较于标准贝叶斯优化以及其他最先进的高维贝叶斯优化方法，整体表现更为优越。

5. 结论

在本研究中，我们提出了一种新颖且高效的贝叶斯优化扩展方法，用于解决高维优化问题。本文将所提出的方法称为自适应丢弃（Adaptive Dropout, AdaDropout）。

该方法通过在迭代过程中自适应地对采集函数的变量进行“丢弃”，从而逐步降低优化问题的维度。与标准贝叶斯优化（BO）算法以及多种最先进的高维贝叶斯优化方法相比，AdaDropout 展现出了极具竞争力的性能。

然而，目前的方法尚未考虑昂贵约束或多个优化目标的情况。将 AdaDropout 框架拓展至处理约束优化和多目标优化问题，将是未来研究与发展的有前景方向。

原文链接： https://arxiv.org/pdf/2504.11353?