国家知识产权局信息显示,摩尔线程智能科技(上海)有限责任公司申请一项名为“张量缓存的传输方法、装置、设备及存储介质”的专利,公开号CN122884707A,申请日期为2026年9月。
专利摘要显示,本申请公开了一种张量缓存的传输方法、装置、设备及存储介质,属于人工智能技术领域。所述方法包括:接收缓存传输请求,缓存传输请求用于请求传输张量缓存,张量缓存用于缓存LLM推理过程中产生的K张量和V张量中的至少一种;将张量缓存通过中转的方式从CPU的主机内存传输至加速设备的设备内存;或,将张量缓存通过中转的方式从加速设备的设备内存传输至CPU的主机内存;其中,加速设备用于加速LLM的推理过程。本申请可以规避直接解引用CPU主机指针引入的张量缓存传输风险。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴