在2026 CCF高性能计算大会上，联想集团首席科学家肖利民发表演讲时表示：“借助内存池实现KV复用，相比完全重计算，首Token延迟加速12至28倍”。
这一判断指向大模型推理当前面临的关键瓶颈之一：KV Cache快速增长带来的“内存墙”难题。随着上下文长度增加，KV Cache占用持续上升，推理系统需要在内存容量、带宽和数据搬运之间寻找平衡。肖利民在演讲中介绍了联想在CXL内存池与近存计算融合方面的探索实践。
KV Cache增长与“内存墙”
在大模型推理中，KV Cache用于缓存注意力机制中的键值状态，以避免逐步重计算。行业常识是，上下文越长，KV Cache规模越大，对显存和内存系统形成的压力越明显。肖利民指出，大模型推理面临KV Cache快速增长带来的“内存墙”难题。这一表述将问题聚焦在内存侧：当计算能力持续提升时，数据存储与搬运可能成为限制推理延迟和吞吐的重要因素。
联想方案的思路并非只做单点优化，而是围绕内存池与近存计算融合展开。根据演讲内容，其具体路径包括将KV Cache分层存储、多实例共享公共前缀，并把Attention计算下沉至内存侧，减少数据搬运。这些措施共同指向一个目标：让KV数据在更合适的位置被存储、复用和计算。
CXL内存池与近存计算融合
CXL内存池与近存计算是当前算力系统关注的两个方向。CXL可用于内存扩展与池化，近存计算则尝试把计算能力放到更靠近数据的位置，以降低访问延迟和搬运开销。联想此次介绍的探索实践，将二者结合，在内存池层面处理KV复用与Attention计算。
其中，“多实例共享公共前缀”对应的是推理服务中常见的公共上下文复用需求。若多个请求共享相同或相似前缀，通过内存池实现KV复用，可以减少重复计算。而将Attention计算下沉至内存侧，则有助于减少数据在计算单元与内存之间的往返。肖利民所引用的金句，正是对这一路径在首Token延迟上的验证结果。
验证数据与Token成本
根据演讲中披露的验证数据，借助内存池实现KV复用，相比完全重计算，首Token延迟加速12至28倍；对比RDMA内存池，端到端推理延迟加速2至3倍，系统吞吐量随上下文变长提升6至20倍。
这些数据覆盖首Token延迟、端到端推理延迟和系统吞吐量三个维度，指向大模型推理服务中的实际体验与成本问题。对于通信与算力产业而言，Token综合成本直接影响大模型服务的规模化能力。肖利民介绍的方案，为降低Token综合成本提供了可行路径。
从行业视角看，内存池、近存计算与KV Cache管理的结合，仍取决于生态、标准与工程成熟度。但此次演讲披露的验证数据，为观察CXL内存池与近存计算融合在推理加速中的价值，提供了一个具体参考。
热门跟贴