金融界2025年4月19日消息，国家知识产权局信息显示，浪潮云信息技术股份公司申请一项名为“一种基于多机多卡大模型的训练方法和系统”的专利，公开号CN119808895A，申请日期为2025年1月。

专利摘要显示，本发明提供了一种基于多机多卡大模型的训练方法和系统。其中，该方法的实现包括：在多个计算节点上配置有多台服务器，并且每台服务器配置有多个显卡，形成多机多卡算力集群。通过数据分发模块将接收到的训练数据分发到各计算节点上进行处理。同时将大模型划分为多个子模型，并分配到不同的计算节点上基于深度学习框架 Deepspeed 进行并行训练，而中心节点是用于对各计算节点的训练工作进行协调，可利用梯度合并模块对中心节点上各个计算节点的梯度信息进行合并获取梯度信息平均值，最后再通过优化器模块和深度学习框架 Deepspeed 的 ZeRO 优化器，基于获取到的梯度信息平均值对模型参数进行更新。通过上述训练过程，可以提高大模型的训练效率。

天眼查资料显示，浪潮云信息技术股份公司，成立于2015年，位于济南市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本36214.8272万人民币。通过天眼查大数据分析，浪潮云信息技术股份公司共对外投资了89家企业，参与招投标项目2167次，财产线索方面有商标信息22条，专利信息3306条，此外企业还拥有行政许可11个。

本文源自：金融界

作者：情报员