DGX Spark 上的可用 KV Cache 从 11.2 GiB 变成 67.6 GiB。vLLM v0.34.0 修掉一个计量 Bug,报告的 token 容量从 42,130 涨到 253,952,约 6 倍。

这个 Bug 出在 KV Cache 的计量环节。缓存本身没变多,是之前算少了——把能用的容量报成了 11.2 GiB。修正之后,同一台机器上能装下的 token 数直接翻了约 6 倍。

对跑长上下文推理的人来说,这属于"硬件没换、账先算对了"的收益。容量报错会连带影响调度和批处理决策,报少了就等于自己给自己设了个低天花板。

第二个改动是给 Qwen3.8-Flash-Next 加了 Engram 磁盘卸载。做法是把大型查找表放到 NVMe 上,按需检索,从而减轻对内存的依赖,节省 27 GiB 内存。

思路不复杂:内存放不下的东西,挪到盘上,用的时候再取。代价是检索路径变长,收益是内存占用降下来,给别的部分腾地方。

第三项针对 AMD Strix Halo 做了优化。在 Qwen3-4B、Qwen3-8B 和 Gemma 4 31B 三个模型上,first-token 时延降低 21–26%。

三项改进指向同一个方向:不改模型,改推理栈里的计量、存储分层和硬件适配。缓存账算对了,内存压力卸掉一部分,首 token 再快一点——这些都不需要换卡。