国家知识产权局信息显示,上海德吾信息科技有限公司申请一项名为“模型推理调度方法、系统、设备、存储介质及程序产品”的专利,公开号CN122861994A,申请日期为2026年7月。

专利摘要显示,本申请涉及电子设备技术领域,公开了一种模型推理调度方法、系统、设备、存储介质及程序产品。方法具体包括:获取多个推理服务各自对应的推理进程的进程状态信息,根据各推理进程的进程状态信息确定出多个候选推理进程,并基于各候选推理进程的进程状态信息计算对应的调度分数,选取调度分数最高的推理进程作为目标推理进程,将其对应目标推理服务对应的目标模型的参数由中央处理器迁移至图形处理器,待该目标推理服务完成推理后,再将目标模型的参数从图形处理器再迁移到中央处理器。如此,仅在推理执行阶段,由被调度的目标推理服务临时占用GPU显存,推理完成后立即释放,从而大幅减少多推理服务部署所需的显存资源,有效提升GPU显存的利用率。

天眼查资料显示,上海德吾信息科技有限公司,成立于2019年,位于上海市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本300万人民币。通过天眼查大数据分析,上海德吾信息科技有限公司共对外投资了1家企业,专利信息40条,此外企业还拥有行政许可5个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员