国家知识产权局信息显示,上海星之湖星流科技有限公司申请一项名为“基于Agent语义的三级分层KV缓存智能调度方法及系统”的专利,公开号CN122861850A,申请日期为2026年7月。
专利摘要显示,本发明提供了一种基于Agent语义的三级分层KV缓存智能调度方法及系统,方法包括:构建包括L0 HBM热池、L1 DDR5近温层和L1.5 CXL扩展温层的三级分层KV缓存环境,并通过Device‑DAX将所述L1.5 CXL扩展温层映射为KV缓存专用存储区域;获取各Agent的运行事件、空闲时长、业务优先级及唤醒相关数据,确定生命周期状态和唤醒预测概率,建立Agent标识、会话标识与KV缓存块句柄集合之间的语义映射;根据生命周期状态、业务优先级和唤醒预测概率确定KV缓存的目标驻留层级并生成tier hint;依据所述tier hint执行KV缓存块级跨层迁移、Agent唤醒恢复及模型版本、tokenizer标识、提示词哈希值和数据校验值的一致性校验;采集各层级容量占用、迁移状态、Prefix热区命中情况及唤醒延迟。
天眼查资料显示,上海星之湖星流科技有限公司,成立于2026年,位于上海市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本1000万人民币。通过天眼查大数据分析,上海星之湖星流科技有限公司。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴