金融界2025年4月21日消息，国家知识产权局信息显示，山东亚微软件股份有限公司申请一项名为“基于动态资源分配与知识蒸馏的高效大模型训练优化方法”的专利，公开号CN119849594A，申请日期为2025年3月。

专利摘要显示，本发明涉及机器学习技术领域，具体地说，涉及基于动态资源分配与知识蒸馏的高效大模型训练优化方法。其包括如下步骤：识别学生模型的知识瓶颈层，通过计算教师和学生模型在知识瓶颈层上的注意力分布的差异得到KL散度，并将KL散度作为蒸馏损失项，然后获取训练过程中的资源利用率，将资源利用率与蒸馏损失项权重结合，构建帕累托多目标优化函数，采用近端策略优化算法训练资源分配智能体；当教师模型的某个模块对学生模型的贡献度低于阈值时，则冻结该模块并停止其前向计算。该方法确保模型在训练收敛速度、计算资源利用率和蒸馏效果之间取得最优平衡，不仅提高了训练效率，还增强了大模型在有限资源下的适应能力。

天眼查资料显示，山东亚微软件股份有限公司，成立于2004年，位于青岛市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本2670.5703万人民币。通过天眼查大数据分析，山东亚微软件股份有限公司共对外投资了8家企业，参与招投标项目1261次，财产线索方面有商标信息2条，专利信息6条，此外企业还拥有行政许可9个。

本文源自：金融界

作者：情报员