国家知识产权局信息显示,杭州智源开物科技有限公司申请一项名为“大语言模型推理算力调度方法及系统”的专利,公开号CN123114729A,申请日期为2026年7月。

专利摘要显示,本发明公开了大语言模型推理算力调度方法及系统。所述方法包括:获取携带会话标识与提示词的大模型推理请求;基于全局缓存索引计算提示词与各节点的前缀匹配度并排序,生成第一候选列表;根据会话类型确定资源否决阈值,结合节点资源状态指标,按序剔除超标节点生成第二候选列表;若第二列表中存在前缀匹配度相近的节点,则依据绿色成本信息选取目标节点,否则选取排序最前的节点;将请求路由至目标节点,并建立或更新会话标识与目标节点的映射关系。通过实施本发明的方法在确保KV Cache最高命中率的前提下,实现推理集群负载均衡与绿色能源利用率的全局最优。

天眼查资料显示,杭州智源开物科技有限公司,成立于2024年,位于杭州市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本100万人民币。通过天眼查大数据分析,杭州智源开物科技有限公司。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员