国家知识产权局信息显示,深圳元智信息技术开发有限公司申请一项名为“大语言底座模型增量训练方法、设备及储存介质”的专利,公开号CN121561435A,申请日期为2025年10月。

专利摘要显示,本申请公开了一种大语言底座模型增量训练方法、设备及储存介质,包括获取初始化模型;根据优化器与第一训练数据集对初始化模型进行第一训练处理以得到第一底座模型及第一优化器状态;获取第一底座模型的模型效果信息,并根据模型效果信息,将新增训练样本数据与第一训练数据集混合得到第二训练数据集,最后根据第一优化器状态及第二训练数据集对第一底座模型进行第二训练处理,得到第二底座模型。本申请基于模型效果动态调整训练数据集,在第二训练过程中沿用第一优化器状态并对学习率进行合理设置,克服了传统全量一体化再训练成本高且周期长的问题,在降低计算资源与训练成本的同时,保证了模型的训练效果不差于从零开始训练的模型。

天眼查资料显示,深圳元智信息技术开发有限公司,成立于2023年,位于深圳市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本4600万美元。通过天眼查大数据分析,深圳元智信息技术开发有限公司共对外投资了1家企业,参与招投标项目2次,专利信息3条,此外企业还拥有行政许可3个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员