为什么长上下文推理一到显存就卡住?答案藏在自回归解码的一个朴素想法里:K 和 V 一旦算出来就不变,存下来复用。

这就是 KV Cache。生成每个新 token 时,模型本需要重新计算对所有先前 token 的依赖关系;把这些已经计算过的键值对保存下来,之后的计算就能靠查找完成。每步只算新 token 的 Q、K、V,再和缓存里的 K、V 做 attention,算量从 O(n²) 降到每步 O(n)。

省了计算,账却记到了显存上。KV 数据的大小与序列长度成正比,序列越长,占用越夸张。

一个具体例子:4K token 的序列,在 Llama-2-7B 的配置下,单条数据就需要 2GB 左右的显存。面对超长文档,或者要同时处理多条长序列,这个数字会迅速超过单卡容量。

问题还不只是"大"。传统方式把 KV 按序列连续存储,空闲空间被浪费,碎片随之产生——容量明明还有,却拼不出足够长的连续区域。

vLLM 的 PagedAttention 换了个思路:KV 不再按序列连续存,切成固定大小的块(比如一块 16 个 token),用一张块表(block table)做映射。

  • 分块:数据拆成固定大小的块,不再要求整段连续
  • 按需分配:用多少给多少,不提前占坑
  • 块回收:用完的块可以重新分配
  • 块共享:相同内容的块可以被多条序列共用

分页存储加块映射,消掉的是碎片,换来的是同样的显存容量下能跑更多、更长的序列。

回头看这条链路:KV Cache 用存储换计算,把每步的算量压到 O(n);PagedAttention 用分页管理把这份存储的利用率提上来。长上下文推理的瓶颈,一半在算力,另一半就卡在这张块表上。