国家知识产权局信息显示,武汉新致数字科技有限公司申请一项名为“一种模型推理部署方法、装置、电子设备及可读存储介质”的专利,公开号CN122925566A,申请日期为2026年8月。
专利摘要显示,本申请提供了一种模型推理部署方法、装置、电子设备及可读存储介质,其中,该方法包括:接收模型部署请求,包括目标GPU数量;采集服务器集群中各节点的可用GPU数量、型号、CPU核数、内存、网络拓扑和带宽;当单节点可用GPU均不足时,生成跨节点候选节点组合及其GPU分配数量;根据模型结构特征向量和可用资源信息评分,确定目标节点组合;计算各节点的CPU和内存配额;生成推理并行参数和分布式集群配置参数;将上述结果转化为部署对象,在各节点创建Pod以运行模型推理服务。通过该方法提高大模型推理服务的自动部署效率。
天眼查资料显示,武汉新致数字科技有限公司,成立于2017年,位于武汉市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本1000万人民币。通过天眼查大数据分析,武汉新致数字科技有限公司共对外投资了4家企业,参与招投标项目8次,专利信息39条,此外企业还拥有行政许可7个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴