金融界2025年6月17日消息，国家知识产权局信息显示，浙江网商银行股份有限公司申请一项名为“大模型推理加速方法、装置、存储介质以及终端”的专利，公开号CN120163246A，申请日期为2025年02月。

专利摘要显示，本说明书实施例公开了一种大模型推理加速方法、装置、存储介质以及终端。将大模型中的多个注意力层划分为几个选择传播层集合，每个集合中第一层为选择层，剩下的为后续层；在每个选择层中都使用全部token的KV进行计算，同时还选择出预填充token中的重要token；在其对应的后续层中，仅使用这些重要token对应的KV子集进行计算即可，不再需要用到全量的预填充token。由于相近的层与层之间具有稀疏模式相似性，对这些层来说重要token也是相近的，因此当在前面的选择层选择出重要token后，其后续的多层都可以直接使用被选择出的重要token，从而在降低了模型对token的使用开销的同时保证模型的性能不受影响。

天眼查资料显示，浙江网商银行股份有限公司，成立于2015年，位于杭州市，是一家以从事货币金融服务为主的企业。企业注册资本657140万人民币。通过天眼查大数据分析，浙江网商银行股份有限公司参与招投标项目235次，财产线索方面有商标信息18条，专利信息417条，此外企业还拥有行政许可20个。

本文源自：金融界

作者：情报员