近日，DeepSeek团队联合清华大学、北京大学计算机学院发表名为《DualPath：突破智能体LLM推理中的存储带宽瓶颈》的论文，将研究方向投向了决定大模型实际应用落地的关键一环——推理速度，为日益复杂的AI智能体，提供一套高效的底层系统解决方案。

具体来说，新论文介绍了一个名为DualPath的创新推理系统，专门针对智能体工作负载下的大模型（LLM）推理性能进行优化。通过引入“双路径读取KV-Cache（类似记忆缓存）”机制，重新分配存储网络负载，将离线推理吞吐量最高提升1.87倍，在线服务的每秒智能体运行数平均提升1.96倍。

打开网易新闻 查看精彩图片