“深度跃升”：即使使用最笨的优化器，神经网络仍能泛化
“Deep lifts”: Neural networks can generalize even with the dumbest optimizer
https://arxiv.org/pdf/2610.23009v2
摘要
1 引言
现代深度学习的泛化能力对经典统计学习理论（SLT）提出了挑战。SLT 通常根据底层假设类的复杂度来表述泛化界，但过参数化神经网络所实现的函数类足够复杂，甚至可以拟合随机分配的标签（Zhang 等，2017）。
人们普遍认为，这种明显矛盾的解释在于：现代学习流程隐式地约束了学习到的深度神经网络（DNN），使其保持“简单”（Valle-Pérez 等，2019；Berchenko，2024；Wilson，2025）。最近的大量工作致力于在用于训练 DNN 的优化器中寻找这种简单性偏置（simplicity bias）。例如，研究表明，基于梯度的方法配合特定的损失函数，会优先选择低范数/低秩（Gunasekar 等，2017, 2018；Arora 等，2019）、最大间隔（Soudry 等，2018；Lyu 和 Li，2020；Chizat 和 Bach，2020）或平坦/稳定（Mulayoff 和 Michaeli，2020；Arora 等，2022；Qiao 等，2024；Liang 等，2025）的解，即使其周围的假设类中包含远为复杂的替代方案。
与此同时，深度神经网络（DNN）的泛化现象在许多损失函数和优化器的选择下都能稳健地出现，目前尚不清楚优化器层面的分析是否过度强调了特定优化器/损失函数组合的特性（Chiang 等，2023）。我们对这样一个问题感兴趣：
优化器是否需要成为“隐藏的天才”才能实现泛化？
考虑将另一种“学习算法”作为研究对象，该算法从那些能够插值（拟合）训练标签的参数中，均匀随机地选择一个宽度为 W W、深度为 D D 的 DNN 的参数。尽管这种学习器在计算上不可行，但它代表了“最笨”的学习规则，因为它在选择插值参数时完全不考虑简单性。我们研究这种笨学习器的泛化性质，目的是分离出那些独立于优化器偏置的泛化方面。
然而，这一方向的现有工作至少存在两个局限性。第一个局限性是假设参数是从离散值集合中抽取的；这一假设在先前的工作中至关重要，因为在连续测度下，等效的“提升”参数集合通常具有零概率。第二个局限性是假设数据是无噪声且可实现的（realizable）——这是存在一个既能插值又能泛化的小型 DNN 的必要权宜之计。尽管存在解决这些局限性的结果，但它们依赖于对架构或数据模型的进一步限制（例如浅层或布尔 DNN（Buzaglo 等，2024；Harel 等，2024））。
我们将深度提升技术扩展为：(i) 涵盖具有从有界区间均匀抽取的连续参数的任意深度 DNN，以及 (ii) 处理标签噪声和不可实现性（unrealizability）。
连续设置引入的基本困难是生成具有正测度的"深度提升"集合。虽然在离散情况下，可以冻结见证网络参数的某个子集同时保持指数级的提升质量，但连续情况要求每个权重在见证中对应权重的邻域内变化。为了使见证行为在权重的这种扰动下得以保留，我们确定了一个充分条件，我们称之为"结构化稳定性（structured stability）"，我们也将其与见证拒绝在每一层注入的小扰动的能力联系起来。
1.1 相关工作
Valle-Pérez 等（2019）和 De Palma 等（2019）提供了早期证据，表明参数上的均匀分布会推前（push forward）为所实现函数上的非均匀分布；Mingard 等（2021, 2025）相应地从贝叶斯采样的视角分析了 SGD。Berchenko（2024）表明，随机构造在过参数化模型中也能表现出简单性偏置。与上述大多数工作不同，我们特别考虑以插值为条件的均匀性。与我们工作最相关的是：Buzaglo 等（2024），他们证明了在来自可实现真实分布的无噪声数据情况下，随机采样的 DNN 同样能够泛化；Harel 等（2024），他们表明该分析可以扩展到含噪声的二分类问题，但仅考虑权重为二值的 DNN；以及 Dziugaite 和 Roy（2025），他们重构了 Buzaglo 等（2024）的证明技术，并考虑从基于损失的玻尔兹曼分布中抽取的 DNN，而不仅仅是插值 DNN。据我们所知，先前的工作尚未涵盖具有连续权重的深度网络，或一般设置下的标签噪声。关于相关工作的扩展讨论见附录 A。
2 预备知识
3 回归设置
3.1 无噪声且可实现数据的回归
3.2 带有损坏标签的回归
3.3 具有不可实现真实函数的回归
4 证明概要
我们现在概述定理 3 和定理 6 的证明。正式证明推迟到附录中。
5 结论
我们扩展了 Buzaglo 等（2024）的技术以处理连续权重和标签噪声，在过参数化泛化与狭窄、稳定的见证（witnesses）的存在之间建立了联系。这项工作的主要局限性在于我们分析了一种不切实际的学习规则；然而，分析均匀随机的插值参数使我们能够分离出那些明确归因于深度神经网络架构而非优化器偏置的泛化方面。这项工作的一个关键技术启示是，逼近论保证可以转化为泛化保证，这可能取决于逼近器的细粒度稳定性性质。
原文链接： https://arxiv.org/pdf/2610.23009v2
热门跟贴