国家知识产权局信息显示,北京微核芯科技有限公司申请一项名为“基于访问模式感知的KV Cache近存协同处理方法”的专利,公开号CN122817126A,申请日期为2026年8月。
专利摘要显示,本发明涉及处理器领域,提供了一种基于访问模式感知的KV Cache近存协同处理方法,该方法包括:获取处理器执行注意力计算过程中产生的键值缓存KV Cache访问信息;根据键值缓存访问信息识别访问模式,并生成对应的访问特征信息,根据访问特征信息生成键值缓存处理策略;根据键值缓存处理策略生成键值缓存处理任务描述信息,并发送至近存处理单元;由近存处理单元对目标键值缓存数据执行预取、重排或者预取与重排协同处理,并将处理后的数据存储至目标存储区域,以供处理器后续推理使用。本发明能够根据大模型推理过程中键值缓存访问模式动态完成近存协同优化,降低数据搬移开销和访存延迟,提高键值缓存访问效率及大模型推理性能。
天眼查资料显示,北京微核芯科技有限公司,成立于2020年,位于北京市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本161.175616万人民币。通过天眼查大数据分析,北京微核芯科技有限公司参与招投标项目8次,财产线索方面有商标信息16条,专利信息141条,此外企业还拥有行政许可2个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴