2023年，一家做推荐系统的团队花了47万美元云计算费用，只为找到一组最优超参数。三个月后，隔壁组用贝叶斯优化跑了同样的实验，账单：4.2万。差距不在代码质量，在搜索策略。
超参数调优（Hyperparameter Tuning）是机器学习里最像"炼丹"的环节。模型结构定好了，数据清洗完了，最后卡在"学习率设0.001还是0.0001""批量大小用32还是256"这类问题上。传统做法是网格搜索（Grid Search）或随机搜索（Random Search）——前者像把地图切成格子挨个踩，后者像蒙眼扔飞镖。两种方法都烧算力，且越复杂的模型烧得越狠。
贝叶斯优化（Bayesian Optimization）换了一套思路：不盲目试错，而是用概率模型预测"哪块地最可能埋着金子"。它把每次实验的结果喂给高斯过程（Gaussian Process，一种统计模型），算出下一组该测什么参数。有点像老司机找停车位——不会把停车场转三遍，而是根据空位分布规律直奔目标区域。
高斯过程：用概率画一张"可能性地图"
高斯过程的核心假设是：相似的输入会产生相似的输出。如果学习率0.001效果很差，0.0011大概率也好不到哪去。基于这个假设，它能对整个参数空间做"置信度填充"——没测过的地方也能猜个大概，同时标出不确定性。
这张图（脚本自动插入）展示了二维参数空间的搜索过程。暖色区域是模型预测的高性能区，冷色是低性能区，虚线圆圈代表不确定性。贝叶斯优化的每一步都在" exploitation"（开发已知好区域）和"exploration"（探索未知高不确定性区域）之间做权衡。
采集函数（Acquisition Function）就是这个权衡的操盘手。最常见的是期望改进（Expected Improvement, EI）：计算"下一组参数比当前最好结果强多少"的期望值。它自动避开两种坑——已经在谷底还往下挖，以及明明旁边有高山却不敢迈腿。
从理论到落地：三个让工程师头疼的细节
第一，高斯过程的计算复杂度是O(n³)，n是已评估点数。跑100轮还好，跑到1000轮矩阵求逆能把CPU卡死。实际工程里常用稀疏高斯过程或树形结构代理模型（如TPE，Tree-structured Parzen Estimator）做替代。TPE把高斯过程换成核密度估计，复杂度降到线性，牺牲了一点精度换速度。
第二，参数类型混杂。学习率是连续值，优化器选Adam还是SGD是离散值，网络层数又是整数。高斯过程天生擅长连续空间，处理混合类型需要额外技巧。一种做法是对离散变量做 one-hot 编码，另一种是不同变量类型用不同代理模型。
第三，噪声问题。深度学习训练本身带随机性——同样的参数跑两遍，验证准确率可能差0.5%。贝叶斯优化需要把这种噪声建模进观测值，否则高斯过程会过度拟合（Overfitting）到某次运气好的结果上。
Google的Vizier系统、Facebook的Ax、Uber的Orion，内部调参平台都在用这套框架。Vizier的论文提到，他们每天处理数千个调参任务，平均把实验次数从人工设定的几百组压到几十组。
随机搜索还没死，但场景在收缩
贝叶斯优化不是万能药。它的优势区间是"评估代价高、参数维度低"。如果训练一个模型只要30秒，随机搜索简单粗暴反而更快——构建概率模型的 overhead 省下来直接跑实验更划算。
但大模型时代，这个前提正在瓦解。GPT-3级别的训练单次成本以百万美元计，参数空间动辄十几维。2022年DeepMind的Chinchilla论文（脚本自动插入）用贝叶斯优化确定了模型规模和训练数据量的最优配比，直接推翻"模型越大越好"的惯性认知。这个结论影响了后续一系列大模型的资源分配策略。
另一个战场是神经架构搜索（Neural Architecture Search, NAS）。以前NAS靠强化学习或进化算法，算力消耗惊人。2018年后，DARTS等可微分方法把架构搜索变成梯度优化问题，但超参数 still 需要调。贝叶斯优化+NAS的组合现在成了标准 pipeline，把端到端的搜索成本从几千GPU天降到几百。
开源工具链也在成熟。Optuna（Python库）把TPE实现得足够易用，三行代码就能包一层贝叶斯优化。Hyperopt、BoTorch、Scikit-optimize各有侧重，但核心API趋同：定义搜索空间、选采集函数、跑循环。
一个反直觉的发现：先验知识比算法更重要
贝叶斯优化的"贝叶斯"体现在先验（Prior）的设定上。如果对参数空间完全无知，高斯过程的起始猜测就是瞎蒙。但实际工程里，没人从零开始——学习率通常在对数尺度上搜，批量大小按2的幂次取，这些 domain knowledge 写进先验能大幅加速收敛。
2021年一项针对Kaggle比赛的复盘显示，顶尖选手用贝叶斯优化的平均迭代次数是47轮，新手用同样工具要跑120轮。差距不在代码，在谁更懂"这个模型对哪个参数最敏感"。
这也解释了为什么自动化机器学习（AutoML）平台总是"看起来很美，用起来想摔键盘"。平台能替你选算法，但给不出先验。调参终究是业务理解和技术工具的结合，工具越智能，人对先验的依赖反而越隐蔽——藏得深不等于不存在。
那套花了47万美元的团队，后来把搜索策略换成贝叶斯优化，但没改先验设定。第二轮账单：38万。问题出在他们把学习率当线性变量搜，而实际最优值在对数空间的某个角落。概率模型再聪明，也救不了错误的参数化方式。
工具解放的是重复劳动，不是思考本身。当算力成本从"能省则省"变成"决定生死"，搜索策略的进化才刚刚开始——下一个被颠覆的，会不会是"炼丹"这个比喻本身？
热门跟贴