内存压缩 6 倍、速度提升 8 倍,零精度损失——TurboQuant 重写 AI 法则 Google Research 悄然发布了一篇注定要在 AI 工程圈引发地震的研究——TurboQuant。没有铺天盖地的发布会,没有华丽的宣传 PPT,只有一套扎实到骨子里的数学推导。然而仅在 24 小时内,这项研究就让内存芯片巨头 Micron 和 Western Digital 的股价同步下跌,Cloudflare CEO 将其称为"Google 的 DeepSeek 时刻",科技圈的讨论蔓延至每一个大模型推理团队的群聊。 TurboQuant 的三剑客:PolarQuant、QJL 与 TurboQuant PolarQuant:零开销的极坐标压缩传统量化的量化常数问题,根源在于它工作在笛卡尔坐标系中:每个维度都需要独立的缩放因子。PolarQuant 的解法是切换坐标系——将向量从笛卡尔坐标转换为极坐标表示。 QJL:用约翰逊–林登施特劳斯变换消除偏差 QJL(Quantized Johnson-Lindenstrauss)借助约翰逊–林登施特劳斯变换(JLT)解决这一问题。JLT 是一种数学技术,能够将高维数据投影到低维空间,同时保留数据点之间的相对距离关系。QJL 将每个向量元素降至单个符号位(+1 或 -1),并使用特殊估计器将高精度查询与低精度存储结合,实现数学可证明的无偏内积估计。 在 NVIDIA H100 GPU 上的性能测试中,4-bit TurboQuant 相较于 FP32 精度的原始 Key 计算,Attention logit 计算速度提升了 8 倍,同时内存减少至少 6 倍。这意味着同等显存预算下,可支持的上下文长度扩展了 6 倍以上。亮点 · 向量搜索表现 TurboQuant 不仅在 LLM KV Cache 压缩中表现优异, 在向量搜索场景同样出色。在 GloVe 数据集(d=200)的 Top-k 召回评测中,TurboQuant 在不依赖大型码本、 不需要数据特定调优的情况下,召回率超越 Product Quantization 和 RaBitQ 等经典基线。 更值得关注的是其索引速度:对 1536 维向量, TurboQuant 的索引时间仅需 0.0013 秒, 几乎实现了"即时索引"
内存压缩 6 倍、速度提升 8 倍,零精度损失——TurboQuant 重写 AI 法则 Google Research 悄然发布了一篇注定要在 AI 工程圈引发地震的研究——TurboQuant。没有铺天盖地的发布会,没有华丽的宣传 PPT,只有一套扎实到骨子里的数学推导。然而仅在 24 小时内,这项研究就让内存芯片巨头 Micron 和 Western Digital 的股价同步下跌,Cloudflare CEO 将其称为"Google 的 DeepSeek 时刻",科技圈的讨论蔓延至每一个大模型推理团队的群聊。 TurboQuant 的三剑客:PolarQuant、QJL 与 TurboQuant PolarQuant:零开销的极坐标压缩传统量化的量化常数问题,根源在于它工作在笛卡尔坐标系中:每个维度都需要独立的缩放因子。PolarQuant 的解法是切换坐标系——将向量从笛卡尔坐标转换为极坐标表示。 QJL:用约翰逊–林登施特劳斯变换消除偏差 QJL(Quantized Johnson-Lindenstrauss)借助约翰逊–林登施特劳斯变换(JLT)解决这一问题。JLT 是一种数学技术,能够将高维数据投影到低维空间,同时保留数据点之间的相对距离关系。QJL 将每个向量元素降至单个符号位(+1 或 -1),并使用特殊估计器将高精度查询与低精度存储结合,实现数学可证明的无偏内积估计。 在 NVIDIA H100 GPU 上的性能测试中,4-bit TurboQuant 相较于 FP32 精度的原始 Key 计算,Attention logit 计算速度提升了 8 倍,同时内存减少至少 6 倍。这意味着同等显存预算下,可支持的上下文长度扩展了 6 倍以上。亮点 · 向量搜索表现 TurboQuant 不仅在 LLM KV Cache 压缩中表现优异, 在向量搜索场景同样出色。在 GloVe 数据集(d=200)的 Top-k 召回评测中,TurboQuant 在不依赖大型码本、 不需要数据特定调优的情况下,召回率超越 Product Quantization 和 RaBitQ 等经典基线。 更值得关注的是其索引速度:对 1536 维向量, TurboQuant 的索引时间仅需 0.0013 秒, 几乎实现了"即时索引"

PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
JPG
长图
PNG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
GIF
长图
PNG
长图
PNG
长图
PNG
长图
JPG
长图
JPG
长图
PNG
长图
JPG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
PNG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
PNG
长图
PNG
长图
PNG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图
JPG
长图