金融界2025年4月21日消息，国家知识产权局信息显示，支付宝（杭州）信息技术有限公司申请一项名为“大模型推理中的缓存优化方法及装置”的专利，公开号CN119847437A，申请日期为2024年12月。

专利摘要显示，本说明书实施例提供一种大模型推理中的缓存优化方法，包括：在预填充阶段，针对大模型中的多个注意力层，逐层进行缓存操作，其中，针对任意第i层的缓存操作包括：获取第i层的目标注意力矩阵。分别根据目标注意力矩阵行数据和列数据的分布，确定第一指标值和第二指标值。根据第一指标值和第二指标值，确定第i层对应的第i偏好分数。根据第i偏好分数，确定在总缓存区中为第i层分配的目标缓存区域，并在其中存储输入文本中目标字符的注意力数据。根据第i偏好分数，更新在第i层之前的各个层的在先缓存区域，以及更新其中存储的字符的注意力数据。

天眼查资料显示，支付宝（杭州）信息技术有限公司，成立于2016年，位于杭州市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本10000万人民币。通过天眼查大数据分析，支付宝（杭州）信息技术有限公司共对外投资了12家企业，参与招投标项目37次，专利信息5000条，此外企业还拥有行政许可57个。

本文源自：金融界

作者：情报员