国家知识产权局信息显示,北京共绩科技有限公司申请一项名为“基于SLA约束的分布式推理任务动态调度方法及系统”的专利,公开号CN123092500A,申请日期为2026年10月。
专利摘要显示,本发明涉及分布式推理调度技术领域,具体涉及基于SLA约束的分布式推理任务动态调度方法及系统,该方法包括接收推理请求,读取首令牌时延上限和令牌间时延上限并预测输出令牌长度;根据键值缓存块需求量筛选候选推理实例,通过迭代时延模型计算预测令牌间时延和预测首令牌时延,根据最小SLA松弛度确定目标推理实例;在每个迭代周期根据迭代时延预算计算预填充令牌预算,按照首令牌截止时刻顺序生成预填充分块并执行推理迭代;计算各推理实例的SLA违约风险值,在风险值大于风险阈值时迁移请求及其键值缓存。本发明能够在动态负载下同时满足首令牌时延与令牌间时延约束,提高SLA达成率和显存资源利用率。
天眼查资料显示,北京共绩科技有限公司,成立于2023年,位于北京市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本155.826118万人民币。通过天眼查大数据分析,北京共绩科技有限公司共对外投资了10家企业,参与招投标项目3次,财产线索方面有商标信息55条,专利信息17条,此外企业还拥有行政许可1个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴