金融界2025年6月10日消息，国家知识产权局信息显示，中国地质大学（武汉）;浪潮网络科技（山东）有限公司申请一项名为“基于智能网卡的大语言模型推理KV预取方法及系统”的专利，公开号CN120123112A，申请日期为2025年01月。

专利摘要显示，本发明公开了一种基于智能网卡的大语言模型推理KV预取方法及系统，涉及机器学习领域，基于智能网卡的大语言模型推理KV预取方法主要包括：将历史KV缓存迁移到远程存储设备，在本地GPU设置KV预取窗口，根据当前等待的模型推理任务信息决定下一个调入KV预取窗口的历史KV缓存，将远程存储设备上的历史KV缓存直接取到KV预取窗口；复用KV预取窗口的历史KV缓存执行推理任务，更新KV缓存数据及对应状态，并将其更新至远程存储设备上。

本文源自：金融界

作者：情报员