国家知识产权局信息显示,深圳市曼德勃罗科技有限公司申请一项名为“一种大语言模型训练方法、装置、设备及存储介质”的专利,公开号CN121562704A,申请日期为2025年10月。

专利摘要显示,本申请提供了一种大语言模型训练方法、装置、设备及存储介质,该方法包括获取预训练大模型中零值权重参数的第一总数;根据所述第一总数构建总损失函数;基于所述总损失函数更新权重参数,得到更新后的预训练大模型;当所述更新后的预训练大模型满足预设训练终止条件时,生成目标大模型,所述目标大模型用于进行自然语言处理。通过本申请方案的实施,将权重零值个数纳入损失函数,可以在保证文本生成精度的同时,主动增加权重零值个数并让零值规律分布,既减少反向传播的无效梯度计算成本,实现效率高、收敛快的训练目标。

天眼查资料显示,深圳市曼德勃罗科技有限公司,成立于2024年,位于深圳市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本200万人民币。通过天眼查大数据分析,深圳市曼德勃罗科技有限公司专利信息2条,此外企业还拥有行政许可2个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员