国家知识产权局信息显示,杭州海康威视数字技术股份有限公司申请一项名为“KV缓存数据量化设备及方法”的专利,公开号CN121031682A,申请日期为2025年8月。

专利摘要显示,本申请提供一种KV缓存数据量化设备,包括精度决策接口、压缩器和存储接口,精度决策接口用于结合token量化难度确定每个token的量化精度标记,根据所有token对应的量化精度标记生成混合量化精度指令;压缩器,用于获取每个token对应的浮点Key值和/或浮点Value值,基于精度决策接口下发的混合量化精度指令对浮点Key值和/或浮点Value值量化,生成带有每个token的缩放因子和零点的元数据,以及相应的量化数据;存储接口,用于将低精度位宽的量化精度标记对应的量化数据两两合并,将量化数据与元数据通过地址映射表关联,对量化数据与元数据分离存储。本申请能够减小KV缓存所占用的存储空间,提高模型的推理速度。

天眼查资料显示,杭州海康威视数字技术股份有限公司,成立于2001年,位于杭州市,是一家以从事计算机、通信和其他电子设备制造业为主的企业。企业注册资本916487.155万人民币。通过天眼查大数据分析,杭州海康威视数字技术股份有限公司共对外投资了67家企业,参与招投标项目5000次,财产线索方面有商标信息833条,专利信息5000条,此外企业还拥有行政许可579个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员