这项由奥地利科学技术大学和兰卡斯特大学共同完成的研究发表于2025年2月3日的预印本论文（arXiv:2602.02016v1），感兴趣的读者可以通过该论文编号查询完整研究内容。研究团队还包括了Red Hat AI的合作专家，共同开发了一个名为DASH的突破性优化器。
在人工智能模型的训练过程中，优化器就像是厨师手中的调料勺，负责不断调整模型的参数，让AI变得越来越聪明。传统的优化器虽然能完成任务，但速度往往让人着急——就像用小火慢炖一样耗时费力。而这次研究团队推出的DASH优化器，却能让AI训练的速度提升近5倍，就好比把传统的小火慢炖升级成了高效的压力锅烹饪。
要理解这项突破的意义，我们先得明白什么是Shampoo优化器。如果把AI训练比作学习过程，那么普通的优化器就像是用统一的方法教所有学生，而Shampoo优化器则更像是针对每个学生的特点制定个性化的学习计划。它不仅能让AI学得更快，还能学得更好，甚至在后期的模型压缩和量化过程中表现更加稳定。
然而，Shampoo优化器虽然效果优秀，却有一个致命缺陷——运行速度实在太慢了。这就好比虽然个性化教学效果很好，但准备每个学生的专属教材需要花费大量时间。具体来说，Shampoo需要进行复杂的矩阵运算，特别是计算矩阵的逆根运算，这个过程就像要为每道菜都重新磨制专属调料一样繁琐。
DASH的核心突破在于两个关键创新。首先，研究团队发明了一种"批量处理"的方法，把原本需要一个个单独处理的矩阵块堆叠成三维张量，然后同时处理多个块。这就像是把原本需要一个个炒制的菜品改为用大号炒锅同时烹饪，充分利用了现代GPU的并行计算能力。这种方法不仅提高了GPU的利用率，还支持半精度浮点数运算，进一步加快了计算速度。
其次，研究团队开发了两种全新的矩阵逆根计算方法——Newton-DB迭代法和Chebyshev多项式近似法。传统方法就像是用复杂的手工工艺制作精密零件，而这两种新方法更像是用高效的自动化机械完成同样的任务。特别是Newton-DB方法，不仅计算速度更快，还能在训练过程中获得更低的验证困惑度，意味着AI模型的学习效果更好。
在实际的算法分析中，研究团队发现了一个重要问题。传统Shampoo使用的矩阵缩放方法就像是用错误的温度计测量水温——虽然能用，但会导致迭代收敛速度变慢。他们发现，使用Frobenius范数进行缩放会将特征值推向零，这就像是把火力调得过小，需要更多时间才能达到理想的烹饪效果。为了解决这个问题，研究团队引入了多重幂迭代法，这是一种高效的半精度实现，能够稳定估计矩阵的谱半径，为预处理器块提供最优的缩放比例。
从技术实现的角度来看，DASH的批量处理策略就像是重新设计了整个厨房的工作流程。传统的分布式Shampoo需要按顺序处理每个矩阵块，就像是一个个单独烹饪不同的菜品。而DASH则将相同大小的矩阵块堆叠成三维张量，利用批量矩阵乘法一次性处理多个块，大大提高了计算效率。这种方法不仅减少了内存碎片，还能更好地利用现代GPU的张量核心。
在具体的实验验证中，研究团队使用了一个9.53亿参数的Llama模型进行测试。实验结果显示，DASH在几乎所有配置下都能匹配传统分布式Shampoo的性能，同时将优化器步骤的运行时间减少了高达4.83倍。更令人惊喜的是，使用Newton-DB方法的DASH在某些设置下甚至比传统的特征值分解方法获得了更低的验证困惑度。
在不同的逆根计算方法对比中，EVD（特征值分解）方法虽然精度最高，但计算速度最慢，就像是用最精细的手工工艺制作产品。CN（耦合牛顿）方法是之前的改进版本，速度有所提升但仍有局限。而DASH引入的Newton-DB方法则在速度和精度之间找到了最佳平衡点，不仅计算更快，还能获得更好的模型性能。
值得注意的是，研究团队在矩阵缩放方面的发现具有重要意义。他们通过数值实验证实了一个假设：较小的特征值需要更多的迭代步骤才能收敛到目标精度。这就像是温度越低的食材需要更长时间才能烹饪成熟。当使用Frobenius范数进行缩放时，特征值会被推向更小的值，从而需要更多的迭代次数。相比之下，使用幂迭代法估计的谱半径进行缩放，能让特征值保持在更合适的范围内，显著减少所需的迭代次数。
在内存使用方面，DASH也表现出色。传统的分布式Shampoo需要为每个矩阵块单独分配内存，就像是为每道菜准备独立的容器。而DASH的堆叠策略避免了内存碎片化，实现了更好的内存利用率。在8个GPU的设置下，传统方法每个GPU需要76GB内存，而DASH只需要71-73GB，节省了宝贵的内存资源。
研究团队还发现了Newton-DB和耦合牛顿方法在不同数值区间的有趣行为差异。在某个特定区间内，耦合牛顿方法需要更多迭代步骤才能收敛，而Newton-DB方法则表现更加稳定。这种差异解释了为什么Newton-DB方法在实际应用中能够获得更好的模型性能。
除了核心算法改进，DASH还继承了分布式Shampoo的许多优秀特性，如Adam嫁接技术和负载平衡策略。Adam嫁接就像是将两种不同的调料混合，既保持了Shampoo的优化方向，又使用了已经调试好的Adam学习率计划。负载平衡策略则确保每个GPU都能均匀分担计算任务，避免某些GPU闲置而其他GPU过载的情况。
在半精度计算的探索中，研究团队发现了一个有趣现象。对于耦合牛顿方法，使用FP16半精度不仅能提高计算速度，还不会损失模型性能。然而，对于Newton-DB方法，半精度计算会导致数值不稳定性。这就像是某些烹饪方法可以用快速加热，而另一些则需要精确的温度控制。
研究的实际意义远超技术层面的改进。在现实的模型训练中，优化器的运行时间占据了训练总时间的重要比例。以他们的实验为例，每个前向传播需要1000毫秒，反向传播需要3000毫秒，而优化器步骤可能需要数百毫秒。DASH的加速效果能够显著减少整体训练时间，对于需要大量计算资源的大型模型训练来说，这种改进具有巨大的经济价值。
当我们把目光投向更广阔的应用前景时，DASH的意义就更加明显了。随着AI模型规模的不断增长，训练效率成为了制约技术发展的重要瓶颈。DASH不仅提供了当前的解决方案，还为未来的研究指明了方向。比如，动态选择最适合当前矩阵块的逆根计算方法，或者进一步优化Newton-DB方法在低精度下的数值稳定性。
说到底，DASH的出现就像是为AI训练领域带来了一次工业革命。它不是简单的性能提升，而是从根本上重新思考了如何更高效地利用现代计算硬件。通过巧妙的算法设计和系统优化，DASH让原本昂贵且耗时的二阶优化方法变得实用可行。这种突破不仅对学术研究有重要价值，更为工业界的AI应用提供了强有力的工具。
归根结底，这项研究展示了理论创新与工程实践结合的巨大威力。研究团队不满足于算法的理论优越性，而是深入到实现细节，解决了阻碍Shampoo广泛应用的关键问题。他们的工作证明了，有时候真正的突破不在于发明全新的理论，而在于找到更聪明的方式来实现已知的优秀思想。对于普通用户来说，这意味着未来的AI应用将能够更快速、更高效地学习和进化，为我们带来更强大、更智能的人工智能服务。感兴趣的读者可以通过论文编号arXiv:2602.02016v1查阅完整的技术细节和实验结果。
Q&A
Q1：DASH优化器相比传统方法能快多少？
A：DASH优化器在实验中最高可以将优化器步骤的运行时间减少4.83倍，这意味着原本需要几个小时的AI模型训练现在可能只需要不到一个小时就能完成。具体的加速效果取决于硬件配置和模型大小，但普遍都能获得3-5倍的性能提升。
Q2：Newton-DB方法和传统EVD方法有什么区别？
A：EVD方法虽然精度最高但计算极慢，就像手工制作精密零件。Newton-DB方法则像高效的自动化机械，不仅计算速度更快，还能获得更低的验证困惑度，意味着AI模型的学习效果更好。Newton-DB特别适合现代GPU的并行计算架构。
Q3：普通开发者能使用DASH优化器吗？
A：是的，研究团队已经将DASH的代码开源在GitHub上，任何开发者都可以免费使用。不过使用DASH需要一定的深度学习基础和GPU硬件支持。对于大部分个人开发者来说，主要受益将体现在使用基于DASH训练的预训练模型时获得更好的性能。
热门跟贴