国家知识产权局信息显示,天翼云科技有限公司申请一项名为“KV缓存管理方法、装置、设备及存储介质”的专利,公开号CN121919124A,申请日期为2025年12月。

专利摘要显示,本申请公开了一种KV缓存管理方法、装置、电子设备及存储介质。一种KV缓存管理方法包括:目标模型的每一层预先分配有用于存储KV缓存的N个固定大小的内存块;针对目标模型的每一层,为目标推理请求按需分配一个或多个内存块,并建立目标推理请求与内存块之间的映射关系;在当前层,将基于目标推理请求的词元生成的KV缓存,存储于相应的内存块中,并记录每个内存块中KV缓存的逻辑位置偏移量;在当前层,根据映射关系以及逻辑位置偏移量,获取KV缓存序列;在目标推理请求推理完成后,释放分配给目标推理请求的内存块。应用本申请所提供的技术方案,可以有效减少内部内存碎片和外部内存碎片,提高内存利用率,有助于提升系统吞吐量。

天眼查资料显示,天翼云科技有限公司,成立于2021年,位于北京市,是一家以从事互联网和相关服务为主的企业。企业注册资本476399万人民币。通过天眼查大数据分析,天翼云科技有限公司共对外投资了5家企业,参与招投标项目2785次,财产线索方面有商标信息17条,专利信息5000条,此外企业还拥有行政许可15个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员