金融界2025年7月17日消息，国家知识产权局信息显示，戴尔产品有限公司申请一项名为“用于缓存的方法、设备和计算机程序产品”的专利，公开号CN120316137A，申请日期为2024年01月。

专利摘要显示，本公开的实施例涉及用于缓存的方法、设备和计算机程序产品。该方法包括确定待处理的词元序列的长度是否大于与KV数据缓存相关联的缓存长度阈值。该方法还包括响应于待处理的词元序列的长度大于缓存长度阈值，基于待处理的词元序列中超出缓存长度阈值的词元序列，确定目标KV数据。此外，该方法还包括基于待处理的词元序列、KV数据缓存以及目标KV数据来确定目标词元。通过本公开的实施例的缓存方案，在词元长度大于缓存长度阈值时，对于未超出阈值的部分启用KV数据缓存，对于超出阈值的部分计算相应的KV数据，从而在缓存空间不足时，仍然能够对模型推理进行加速。

本文源自：金融界

作者：情报员