国家知识产权局信息显示,记忆张量(上海)科技有限公司申请一项名为“一种基于旋转前分页缓存的大语言模型推理方法、系统、设备及存储介质”的专利,公开号CN123138150A,申请日期为2026年10月。
专利摘要显示,本发明公开了一种基于旋转前分页缓存的大语言模型推理方法、系统、设备及存储介质,涉及人工智能推理加速技术领域。该方法在预填充阶段和解码阶段将未经旋转位置编码处理的原始键值张量以分页方式写入并管理KV缓存,记录各逻辑块的序号及块内偏移;在注意力计算时,由注意力内核在线依据逻辑块序号和块内偏移对键向量施加旋转位置编码,实现位置编码与缓存解耦。该方案使不同批次的张量块可跨请求复用同一物理块,支持前缀共享与块级缓存复用,解决了现有在线施加位置编码方案中块复用受限、共享前缀管理复杂的问题,显著降低显存占用和重复计算,提升推理吞吐,可用于多轮对话、长文本生成等场景。
天眼查资料显示,记忆张量(上海)科技有限公司,成立于2024年,位于上海市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本641.666万人民币。通过天眼查大数据分析,记忆张量(上海)科技有限公司共对外投资了1家企业,参与招投标项目2次,财产线索方面有商标信息15条,专利信息13条。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴