Qwen3.8-27B最激进4bit量化开源，权重显存暴降2.9倍！|上下文|多模态模型|张量|量化开源

智猩猩AI整理

编辑：没方

混合大语言模型同时使用 Softmax Attention 与 Gated DeltaNet（GDN）等线性注意力结构。其中，GDN 层通过固定大小的循环状态，对此前上下文进行压缩表征。

考察 Qwen3.8-27B 公开的量化方案，GDN 基本都保留在 8-bit 或 16-bit，尤其是控制遗忘和写入的门控投影，更是尽量不做低比特量化。这是因为 GDN 的状态会一路传过很长的上下文，如果每一步都带进一点量化误差，大家自然会担心这些误差越积越多。

针对这一问题，minima-ai团队将 Qwen3.8-27B 主干中的全部 496 个线性层统一量化为 NVFP4 W4A4，连 GDN 的 a、b 门控投影也不例外。

结果五项任务平均分相比 BF16 仅下降 0.52 分，权重显存从 50.13 GiB 降至 17.53 GiB，32K 输入的 TTFT 从 6.90 秒缩短到 4.03 秒。更关键的是，对 32K token 序列的机制实验发现，GDN 的循环状态误差并没有一路累积。

研究团队量化后的模型权重已开源。

Gated DeltaNet 基础

Qwen3.8‑27B 为混合架构，64 层中 48 层是 GDN 层，仅 16 层为标准 Softmax 注意力。GDN 会对残差流进行多组线性投影，包括 qkv 投影、输出门 z，以及两个逐头标量门控投影 a、b，最终再通过 out_proj 输出。

门控在对数空间参数化：

循环状态更新遵循 Gated Delta 规则，key、query 经过 L2 归一化：

其中，αₜ 为遗忘门， βₜ 控制写入强度；该算子不会直接累加 vₜ，而是修正状态对当前 key 的预测值。输出经过门控与输出投影传回残差流。

NVFP4 量化格式

NVFP4 采用 E2M1 存储 4bit 数值，每 16 个元素设置一个 E4M3 块缩放因子，张量还附带全局 FP32 缩放系数。W4A4 代表权重、激活全部做该粒度量化，可利用硬件原生 4bit 张量核计算。块缩放将异常值的误差限制在所属 16 元素块内，不会污染整个张量。

Minima 模型构建

使用llm‑compressor工具，除 embedding、lm_head、卷积、归一化层以外，将 Qwen3.8‑27B 全部 496 个线性层统一 NVFP4 W4A4 量化，覆盖 GDN 全部投影层。标定集使用 128 条样本，每条样本长度 32K token。

针对模块独立标定与 vLLM 融合 GEMM 的全局缩放不匹配问题做修复：GDN 会把多个线性层融合为单个矩阵乘法，如果融合时直接采用组内最大的全局尺度，却没有同步重标定块级尺度，就会造成权重缩放失真，影响门控计算。

研究团队将融合组内张量统一到同一个全局缩放，把缩放比例折叠进块级 E4M3 缩放因子，完成 checkpoint 侧修复。

Minima+scales 变体额外为 16 层注意力层启用静态标定 FP8 KV‑Cache 缩放系数，张量计算、权重量化逻辑不变。

对比实验与结果分析

全部模型使用单张 96 GB RTX PRO 6000、vLLM 0.27.1、TP=1、0.85 的 GPU 利用率配置，生成长度上限为 32K。

除 KV 精度消融外，统一采用 FP8 KV 缓存，并从多模态检查点提取纯文本模型，以减少服务路径差异。

基线包括未量化的 BF16，以及 Unsloth Dynamic v3、RadixArk ModelOpt 两个社区 NVFP4 检查点。后两者主要在 MLP 上使用 NVFP4，GDN 和全注意力投影总体保留 FP8，a、b 门控投影保留 BF16。更细的区别是：Unsloth 的最后八层 MLP 与 lm_head 使用 FP8；RadixArk 的 MLP 与 lm_head 使用 NVFP4。

主要实验结果如表所示：