这项由加拿大蒙特利尔人工智能研究所（Mila）与康奈尔大学联合完成的研究，于2026年6月22日发布在预印本平台arXiv，论文编号为arXiv:2606.23670v1，研究方向归属于计算机科学中的机器学习领域。对于想深入了解这项工作的读者，可通过上述编号在arXiv平台直接检索完整论文。
当我们谈论人工智能语言模型——比如那些能聊天、写作、回答问题的AI——大多数人首先想到的是"更大更好"：更多的参数、更多的数据、更强的计算能力。然而这项研究提出了一个截然不同的角度：在参数总量和计算量完全不变的前提下，仅仅通过改变参数在模型各层之间的**分配方式**，就能让模型表现得明显更好。这不是魔法，而是一个被忽视了将近十年的结构性漏洞——或者说，一扇一直开着却没人走进去的门。
研究者把这种方法命名为"渐缩语言模型"（Tapered Language Models，简称TLMs）。核心思路出奇地简单：把更多的"计算能力"分配给模型靠前的层，靠后的层则相应减少，但总量保持不变。研究团队在四种主流模型架构、三种不同规模（4.4亿、7.6亿、13亿参数）上验证了这一原则，结果发现它在每一种情况下都稳定地带来了性能提升——困惑度（衡量语言模型预测质量的核心指标，数值越低越好）下降，常识推理类任务的准确率上升，而且这一切都是零额外成本的。
一、一个沿用了近十年的"懒惰默认值"
要理解这项研究的意义，得先搞清楚现代语言模型的基本构造。
几乎所有主流的大语言模型，无论是基于注意力机制的Transformer、带门控的变体，还是基于记忆机制的新型架构，骨子里都长得一样：把若干个结构相同的"积木块"堆叠起来，每块积木里包含两个关键部件，一个负责让不同位置的信息互相"交流"，另一个是一个全连接网络（在论文里叫MLP或FFN），负责在每个位置独立地处理信息、存储知识。
把这些积木块堆叠起来，就形成了模型的"深度"，每一块对应一"层"。现在的问题是：这些层的参数是怎么分配的？答案几乎从来都是——**均匀分配**。每一层的MLP都有完全相同的宽度（也就是内部计算通道的数量），无论这一层处于模型的早期、中期还是末期，待遇完全一样。
这个均匀分配的设计并非经过深思熟虑的选择，而是从2017年谷歌发布初版Transformer以来一直沿用至今的"默认设置"，从未被系统性地质疑过。就好像你装修房子，每个房间用完全一样的电力配额，不管那个房间是厨房还是储物间——仅仅是因为第一套房子这样装，之后的房子就都跟着这样装了。
然而，越来越多的研究表明，模型的不同层对最终结果的贡献并不相同。有研究发现，很多时候模型的预测在到达最后一层之前就已经"成形"了，后面几层只是在做微调。还有研究发现，把模型后面几层的部分层直接删掉，性能下降幅度出人意料地小。从内容理解的角度看，靠前的层往往在处理语法和词汇层面的浅层模式，靠后的层则在做更抽象的语义推理——但重要的是，后面的层做的事情似乎越来越像是"确认已经知道的东西"，而不是在计算新内容。
既然各层的重要程度不同，为什么却给每一层分配完全相同的"预算"？这正是这项研究的出发点。
二、一个简单实验揭示的惊人不对称性
为了验证参数分配方向是否真的重要，研究团队在一个4.4亿参数的Transformer上做了一组对照实验。
他们把模型的所有层分成三等份：早期层、中期层、晚期层。然后在保持总参数量完全不变的前提下，尝试把MLP的宽度向不同位置倾斜。具体来说，他们测试了四种方案：标准的均匀分配，作为基准；"前宽后窄"，即早期层MLP宽度是基准的1.5倍，晚期层缩减到0.5倍；"前窄后宽"，即反过来；以及"中间宽两头窄"。
结果非常清晰。"前宽后窄"方案获得了15.96的困惑度，比均匀基准的16.28低了0.32个点。而"前窄后宽"方案的困惑度直接飙到了17.29，比均匀基准差了整整一个点以上。"中间宽两头窄"的结果是16.61，同样不如均匀基准。
这个对称性破缺非常引人注目。在总参数量完全相同的情况下，仅仅是把参数挪到不同位置，困惑度的变化幅度就超过了一整个点——而这个量级的差距在语言模型训练中通常需要增加大量计算资源才能实现。更重要的是，方向本身就决定了成败：往前放，好；往后放，坏；往中间集中，也不如均匀。
这个粗糙的三段式实验只是开场白。它确认了方向的重要性，但三段式的边界太硬，过渡太突然。于是研究团队开始思考：如果用更光滑、更连续的方式来实现这种从前到后的递减，效果会怎样？
三、给模型做一个"锥形"设计
渐缩语言模型（TLMs）的核心思路可以用一个直觉性的画面来理解：把模型的MLP宽度看成一个从前到后逐渐变窄的锥形，而不是一个等宽的圆柱。前面的层"胖"，后面的层"瘦"，但整体用的材料总量不变。
从技术上说，这个设计需要确定两件事：一是用什么样的曲线来描述这个从宽到窄的变化过程，二是起点和终点的宽度差距应该有多大。
关于变化曲线，研究团队考察了三种方式。第一种是线性衰减，也就是宽度从头到尾匀速下降，每一层比上一层窄同样的量——这是最直观的方案。第二种是余弦衰减，宽度的变化遵循一条余弦曲线：在最开始和最末尾变化得很慢，在中间部分变化得比较快——这就好像一个慢启动、慢刹车的变速过程。第三种是Sigmoid衰减，宽度的变化集中在中间一个窄窗口里，在中间突然从宽变窄，而两端几乎保持不变——这接近于一个开关式的阶跃。
三种曲线都满足同一个约束条件：所有层的MLP宽度平均下来等于原始的均匀宽度。这样一来，总参数量和总计算量就完全不变。
研究团队还需要决定"锥形"的程度，也就是起点宽度和终点宽度的比值。他们测试了五组配置，从轻微的"1.25倍到0.75倍"（起点比均匀宽25%，终点比均匀窄25%），一直到激进的"1.75倍到0.25倍"（起点比均匀宽75%，终点缩减到均匀的四分之一）。
结果揭示了一个清晰的规律。在三种曲线的横向比较中，余弦衰减在所有五组宽度配置下都是最好的，线性衰减其次，Sigmoid最差——这个排序没有例外。甚至连余弦衰减最差的那个配置（极端的1.75倍到0.25倍），困惑度是15.49，都比线性衰减最好的配置（14.625倍到0.375倍）的15.64还要低。
为什么余弦会赢？这和曲线的几何形状有关。线性衰减在两端没有"缓冲区"，每一层的变化幅度完全一样，但这意味着最早几层和最末几层也在快速变化。Sigmoid衰减把几乎所有变化都挤在中间一小段，大部分层要么很宽要么很窄，相当于一个粗糙的两段式方案。而余弦衰减恰好在两端都有缓慢渐变的"软着陆"区，同时在中间有较快的过渡，让更多层处于中间的过渡状态——这种设计既避免了最早几层参数分配过于激进的跳变，也让整个递减过程更平滑。
在宽度比例上，困惑度随着锥形程度的加大先下降后上升，形成一个U形曲线，最低点在"1.5倍到0.5倍"这个配置上，对应困惑度14.44，比均匀基准的16.28低了1.84个点。这是一个相当可观的改进。锥形太浅，参数重分配效果有限；锥形太深，后期层被压缩得太厉害，反而开始出现问题。
最终，研究团队选定了余弦衰减、起点1.5倍、终点0.5倍这个组合，作为后续所有实验的统一配置。
四、在四种架构和两种规模上的全面验证
光在一个模型上表现好还不够。研究团队把这个固定配置搬到了四种完全不同的架构上，并在7.6亿和13亿参数两个规模分别进行验证，以测试这个原则是否真的具有普适性。
这四种架构代表了当前语言模型的主要技术路线。标准Transformer使用经典的软最大值注意力机制，是整个领域的基础架构。门控注意力模型（Gated Attention）在标准注意力的基础上加了一个输出门控机制，可以减少注意力分布过于集中在特定位置（即"注意力陷阱"）的问题，提升稀疏性。Hope-attention是一种嵌套学习架构，内置了一种自我修改的记忆机制，能在多个频率维度上操作信息。Titans则在注意力机制之外附加了一个神经长期记忆模块，可以在推理过程中实时学习和记忆新内容。这四种架构在信息混合方式上有本质区别，但都共享同样的MLP结构。
在7.6亿参数、训练500亿个词符的规模上，四种架构在应用渐缩设计之后，平均常识推理准确率全部上升，无一例外。LAMBADA困惑度（一个测试模型对长文本依赖理解能力的基准）在所有四个架构上都有改善。WikiText困惑度（衡量通用语言建模质量）在四个架构中有三个改善，一个几乎持平。
在13亿参数、训练1000亿个词符的规模上，同样的规律再次出现。四种架构的平均常识推理准确率全部在渐缩版本上有所提高。LAMBADA困惑度四个均有改善，WikiText困惑度三个改善，一个几乎持平（在该处是Hope-attention出现了极小幅度的反向波动，但同一架构的LAMBADA和推理任务表现仍然更好）。
具体看一些数字来感受量级。在7.6亿规模上，标准Transformer的平均常识推理准确率从52.25提升到52.84；门控注意力从52.61提升到52.88；Hope-attention从53.69提升到54.05；Titans从52.30提升到53.29。在13亿规模上，改善同样稳定，Titans的平均推理准确率从56.73提升到57.08，门控注意力从56.51提升到56.80。
这些提升的绝对数值看起来不大，但要强调的是：这一切都是在参数总量和训练计算量完全不变的前提下获得的。通常意义上，要得到这样幅度的性能提升，需要增加模型规模或训练数据——而这里什么都没有增加，只是改变了参数的分布形态。
值得一提的是，研究团队还额外测试了渐缩设计对长文本检索能力的影响。他们用"大海捞针"类型的实验（在长文本中隐藏一段信息，看模型能否找到）测试了在4K、8K和16K长度下的检索准确率。结果显示，渐缩版本的表现与均匀版本持平或略有提升，没有出现任何退化。这排除了一个潜在的担忧：改变各层的容量分配会不会损害模型处理长文本的能力？答案是不会。
五、为什么前面的层更值钱？一个机制层面的解释
实验结果告诉我们渐缩有效，但没有直接解释为什么。研究团队进一步挖掘了机制层面的原因。
他们提出了一个直觉性的假说：如果越靠后的层做的事情越是在"重复已知内容"而非"计算新内容"，那么给这些层分配过多的参数本质上是一种浪费。为了验证这个假说，他们需要一种方法来量化每一层"计算了多少新东西"。
他们选择的工具是余弦相似度。余弦相似度是一个衡量两个向量方向有多相似的指标，数值在-1到1之间，越接近1说明两个向量方向越一致，越接近0说明越"正交"（互相垂直，互相独立）。
具体来说，他们测量了每一层输出的更新量（也就是这一层往残差流里"写入"的新内容）与该层输入（即这一层接收到的已有内容）之间的余弦相似度。如果这个相似度接近0，说明这一层在计算的是全新的、与原有内容无关的信息——这是真正有价值的工作。如果相似度很高，接近1，说明这一层在强化、放大原有残差流里已经存在的方向——它基本上是在说"我也同意这个方向"，而不是在贡献新视角。
他们在GPT-2系列模型（从1.24亿到15亿参数）的预训练权重上测量了这个指标，观察它如何随层深变化。结果与假说高度吻合：这个相似度值在早期和中期层通常处于较低水平，然后在网络后半段开始持续攀升。也就是说，越靠后的层，它们的输出与已有残差流越"同向"，换句话说，它们越来越像是在"点头称是"，而非在贡献新信息。
这个模式在GPT-2的各个规模上都一致存在，更重要的是，MLP单独测量的信号比整个层的信号更为清晰——MLP的余弦相似度随深度增加的趋势更单调、更规律。Pearson相关系数（衡量线性趋势强弱的统计量，绝对值越大说明趋势越稳定）在MLP测量上达到0.49到0.71，在整个层的测量上为0.27到0.71——MLP的信号更强。
这直接解释了渐缩设计的逻辑：在均匀分配下，后面的层有很多参数，但这些参数产生的输出大部分只是在强化已有内容，并非在计算新特征。把这些参数移到前面，早期层的MLP有更多空间来处理它们确实需要处理的内容——而早期层的余弦相似度恰好处于低位，说明它们确实在输出与原有残差流正交的新内容。参数在那里是真正被用到的。
这个发现还有一个额外的含义：这种余弦相似度随深度上升的模式不只出现在MLP，在整个层的测量上也是如此——这意味着这种"后期层趋于冗余"的规律可能延伸到注意力头、键值维度、循环状态大小等其他参数维度。研究者认为，这些维度理论上也都可以应用类似的渐缩原则，只是本文专注于MLP，把其他方向留给后续工作。
六、这项研究的边界与它没有解决的问题
一项严肃的研究应该清楚地说明自己的局限性，这项工作也不例外。
最显著的约束是：整个超参数搜索（即选择哪种曲线形状、多大的宽度比例）只在4.4亿参数的Transformer上进行，然后把得到的最优配置（余弦衰减，1.5倍到0.5倍）直接搬到所有其他架构和规模上，没有做针对性的重新调优。
这个设计是刻意的——它是在测试这个配置作为"通用默认值"的可转移性。结果表明它确实在各处都带来了提升，但这并不意味着这就是每种情况下的最优解。实际上，最优的渐缩程度可能取决于模型深度、隐层维度、MLP占总参数的比例、所用的注意力机制类型，乃至训练的词符数量。在更大规模或完全不同的架构上，最佳的宽度起点和终点可能会有所不同，潜在的增益可能比这里报告的还要大——也就是说，本文的结果很可能是一个下界估计，而非上界。
此外，这项研究专注于解码器类型的语言模型，在视觉模型、扩散模型、多模态模型等其他领域是否同样适用，目前还没有系统验证，只是理论上存在这个可能性。
归根结底，这项研究做了一件很有意思的事：它把一个几乎所有人都默认接受的设计假设拿出来仔细审视了一遍，发现这个假设不对，然后提出了一个极其简单的修正方案，并用详尽的实验证明了它的有效性。
说到底，这件事的意义在于：在一个通常靠"堆料"来提升性能的领域，这项研究展示了仅靠"重新分配"就能提升性能。参数总量没有变，训练算力没有变，推理算力也没有变——变的只是哪些层分到了更多资源、哪些层分到了更少。结果是，模型在语言预测和常识推理上都表现得更好。
这背后的物理图像其实不复杂：模型靠前的层在做最有价值的特征提取工作，靠后的层越来越像是在对已有内容做强化确认而非新计算。给前面的层更多资源，给后面的层少一些，让参数去它们最有用的地方——这是一个与模型实际运作方式更匹配的设计。
对于普通读者来说，这项研究的影响可能体现在你今后与AI助手交互的质量上：当工程师按照这种原则设计下一代语言模型时，同样的硬件成本可以换来更好的结果，或者同样的性能目标可以用更少的资源达到。在算力成本高企、能源消耗备受关注的今天，这种"不增加成本就提升效率"的思路有相当现实的工程价值。
如果你对这项工作的完整技术细节感兴趣，可以在arXiv平台通过编号arXiv:2606.23670查阅原文。
Q&A
Q1：渐缩语言模型（TLMs）是否需要重新训练现有模型？
A：是的，渐缩语言模型需要从头训练，而不是对已有模型进行改造。它是一种预训练阶段的架构设计原则，通过在训练前调整每一层MLP的宽度来实现，无法通过微调或后处理应用到已训练好的均匀宽度模型上。
Q2：渐缩设计会不会让模型在某些任务上变差？
A：根据论文中的实验，渐缩模型在语言困惑度、常识推理和长文本检索三类任务上均未出现系统性退步。在16个主要对比中，常识推理准确率全部上升，LAMBADA困惑度全部改善，WikiText困惑度15个改善、1个几乎持平，长文本检索也是持平或略有提升。
Q3：为什么MLP宽度用余弦衰减比线性衰减效果更好？
A：余弦衰减在模型最早几层和最后几层的变化速度都比较缓慢，只在中间段较快过渡，让更多层处于中间宽度状态，避免了最两端出现过于激进的突变。线性衰减则每层变化幅度完全一致，Sigmoid衰减把几乎所有变化压缩在中间一个窄段，效果接近粗糙的两段式分配。实验显示在所有五种宽度比例配置下，余弦衰减均优于另外两种，且优势明显。
热门跟贴