国家知识产权局信息显示,华为技术有限公司申请一项名为“推理调度方法、装置、集群及存储介质”的专利,公开号CN122759346A,申请日期为2025年3月。
专利摘要显示,公开了一种推理模型的推理调度方法、装置、集群及存储介质,涉及人工智能技术领域,有助于从时延性能或吞吐性能中的至少一个方面提升推理模型的推理性能。方法包括:预测第一队列和第二队列的性能指标,第一队列中包括推理请求对应的预填充子请求,用于请求推理模型执行预填充阶段,以获取中间数据;第二队列中包括推理请求对应的解码子请求,用于请求推理模型执行解码阶段,以获取推理请求的反馈结果,性能指标包括时延松弛度和/或吞吐开销,时延松弛度用于表征对应队列的调度紧急度,吞吐开销用于表征调度对应队列造成的空等开销;基于第一队列的性能指标和第二队列的性能指标,从第一队列和第二队列中选择优先调度的目标队列。
天眼查资料显示,华为技术有限公司,成立于1987年,位于深圳市,是一家以从事计算机、通信和其他电子设备制造业为主的企业。企业注册资本4114113.182万人民币。通过天眼查大数据分析,华为技术有限公司共对外投资了51家企业,参与招投标项目45252次,财产线索方面有商标信息14540条,专利信息129490条,此外企业还拥有行政许可1732个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴