vLLM 0.34.0 把 KV 缓存加载的单次调度时间,从 47.2ms 压到了 5.4ms。
按这个数字看,提升幅度约 8-10 倍。对做 LLM 推理优化的人来说,调度环节的这点时间,直接关系到请求排队的节奏。
这次改动落在 KV 缓存加载上。缓存加载是推理服务里绕不开的一步,单次调度省下的几十毫秒,会随着请求量累积。
版本号只前进了一小格,数字变化却很直接:47.2ms 到 5.4ms。
vLLM 0.34.0 把 KV 缓存加载的单次调度时间,从 47.2ms 压到了 5.4ms。
按这个数字看,提升幅度约 8-10 倍。对做 LLM 推理优化的人来说,调度环节的这点时间,直接关系到请求排队的节奏。
这次改动落在 KV 缓存加载上。缓存加载是推理服务里绕不开的一步,单次调度省下的几十毫秒,会随着请求量累积。
版本号只前进了一小格,数字变化却很直接:47.2ms 到 5.4ms。
热门跟贴