Nat Mach Intell | 随机初始化为何让模型“自信过头”？|初始化|可靠性|神经网络|置信度

认知神经科学前沿文献分享

基本信息

Title:Brain-inspired warm-up training with random noise for uncertainty calibration

发表时间:2026-04-09

发表期刊:Nature Machine Intelligence

获取原文:

1. 添加小助手:PSY-Brain-Frontier即可获取PDF版本

引言

对很多实际部署中的人工智能系统来说，真正决定能否被信任的，往往不只是“答得对不对”，还包括“它是否知道自己有多确定”。一辆自动驾驶汽车是否该减速，一套医学影像模型给出的结论是否值得医生进一步采纳，乃至大语言模型生成的回答能否被直接引用，背后都牵涉同一个问题：模型给出的置信度，能不能真实反映它答对的概率。若二者不匹配，系统就可能在最不该自信的时候显得异常笃定。

这正是不确定性校准（uncertainty calibration）要解决的核心问题。理想情况下，模型说自己有 80% 把握时，长期统计上就应当接近 80% 正确；但现实中的深度神经网络经常不是这样。它们在分布内数据上可能已经表现出“置信度高于正确率”的过度自信，面对分布外（out-of-distribution, OOD）输入时也常把“没见过”误判成“很确定”。过去已有不少方法尝试修正这一问题，但许多做法集中在预处理或后处理环节，往往依赖额外计算、辅助模型，或把分布内与分布外样本分开处理。换句话说，这些方法更像是在输出端补救，而不是追问失准究竟从哪里开始。

实验设计与方法逻辑

文章的主分析对象是一个用于 CIFAR-10 十分类的多层前馈神经网络，采用 He 初始化、ReLU 和 batch normalization，并系统改变网络深度与训练数据规模，以观察校准误差如何随模型复杂度和样本量变化。核心干预是在真实数据训练前增加一段“随机噪声热身”：输入为与图像同尺寸的高斯噪声，标签从均匀分布随机采样，输入与标签不配对。

核心发现

发现一：常规随机初始化并非中性起点，而是过度自信的重要来源，且在“模型更复杂、数据更少”时更严重

论文先用 Figure 1c 和 Figure 1d 立住了问题本身。Figure 1c 的可靠性图显示，理想校准应贴近对角线，但实际网络的 accuracy 普遍低于 confidence，说明模型在常见训练设置下存在系统性过度自信。Figure 1d 更关键，它把这种偏差放到“网络深度 × 训练数据规模”的条件网格中考察，显示 ECE 会随着训练样本减少、模型复杂度提高而加重。也就是说，失准并不是零散现象，而与现代深度学习常见的“大模型配有限数据”条件密切相关。

Figure 1. Confidence miscalibration in artificial neural networks

发现二：随机噪声热身能显著改善校准，并在不同架构与训练场景中保持效果

Figure 2 系统回答了这套方法是否真正有效。Figure 2d 显示，在热身阶段，网络损失下降但准确率停留在机会水平；而切换到真实数据后，热身组的测试损失进一步降得更充分。更直接的证据来自 Figure 2e：加入热身后，可靠性图明显更靠近理想对角线，插图中的 ECE 也显著下降。Figure 2f 则说明这种改善并非只在单一设定成立，而是在不同深度、不同数据规模下都能观察到，且在“小数据、深网络”这些本来更容易失准的条件下尤其明显。

Figure 2. Warm-up training with random noise enables confidence calibration in neural networks

发现三：热身之所以有效，是因为它先把初始化阶段的高置信度与类别偏置压回机会水平

论文最有价值的部分之一，是它没有停在“方法有效”，而继续追问“为什么有效”。Figure 3b 在二维 toy model 中可视化输入空间后发现：未经训练、只做常规随机初始化的网络，并不是均匀中性的，它已经在大片区域上表现出明显高置信度；而热身之后，这种分布变得更均匀，更接近机会水平。Figure 3c 和 Figure 3d 进一步表明，热身不仅降低了整体 confidence bias，也减轻了对特定输出类别的初始偏向。

Figure 3. Random noise pre-calibrates neural network uncertainty over input space

发现四：预校准会重塑后续学习轨迹，并提升对分布外输入的识别能力

Figure 4 和 Figure 5 把方法的意义从“初始状态改变”延伸到了“后续行为改变”。Figure 4a–c 显示，无论是在相同准确率下比较，还是在相同训练轮次下比较，热身组都拥有更好的可靠性图和更低的 ECE，说明这不是一次性修补，而是改变了学习动力学。Figure 4d–f 更进一步表明，热身组在训练过程中能让 confidence 与 accuracy 持续贴近理想对角线，而未热身组则长期存在“置信度跑在正确率前面”的偏差。

Figure 4. Pre-calibration enables learning with matching confidence and accuracy

Figure 5. OOD detection using calibrated network confidence

归纳总结和点评

这篇工作最强的贡献，是把“不确定性校准”从常见的输出修正问题，前移为一个初始化与学习动力学问题：作者认为，深度网络的过度自信并非只在训练后形成，常规随机初始化本身就可能让模型在尚未理解数据前先显得“太确定”；而一次简短的随机噪声热身，则能把这种初始置信度预先拉回机会水平，使后续真实任务训练中的 confidence–accuracy 对齐更稳定，并在分布外样本识别上带来收益。论文的优点在于证据链完整，从失准现象、方法效果，到 toy model 机制解释，再到训练轨迹与 OOD 检测，形成了较清晰的闭环，也把发育神经科学中的自发活动与机器学习中的模型可靠性建立了有启发性的联系。与此同时，它的边界也应被认真看待：文中虽已扩展到多类视觉架构，并补充展示了语言生成等任务线索，但关于更大规模系统、尤其是复杂现实部署和大语言模型场景的系统验证，仍有待后续研究补足，因此目前更适合把它理解为一种有机制支撑的训练起点策略，而非已经对所有 AI 系统普遍成立的最终答案。