国家知识产权局信息显示,北京九章云极科技股份有限公司申请一项名为“智能计算云平台通过算力实现大模型热前缀预填充结果的调度方法及装置”的专利,公开号CN122476073A,申请日期为2026年6月。
专利摘要显示,本发明提供智能计算云平台通过算力实现大模型热前缀预填充结果的调度方法及装置,涉及智能计算中心、智算中心、算力基础设施和智算云技术领域,包括:步骤S1、对智能计算云平台中大模型在算力调度场景下的历史推理请求消息结构化展开和前缀规范化处理得到候选热前缀;步骤S2、根据候选热前缀在统计窗口内的缓存收益指标计算收益分数;步骤S3、响应于收益分数大于分数阈值,在共享缓存层和至少一个解码节点上缓存候选热前缀的预填充结果;步骤S4、确定当前推理请求消息的前缀所命中的第一候选热前缀以及命中类型;步骤S5、根据命中类型对当前推理请求消息执行旁路调度。本发明能大大降低智能计算中心云平台在前缀预填充结果调度过程中的算力开销。
天眼查资料显示,北京九章云极科技股份有限公司,成立于2013年,位于北京市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本5373.1601万人民币。通过天眼查大数据分析,北京九章云极科技股份有限公司共对外投资了14家企业,参与招投标项目153次,财产线索方面有商标信息170条,专利信息348条,此外企业还拥有行政许可3个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴