金融界2025年3月26日消息，国家知识产权局信息显示，深圳市灵智数字科技有限公司申请一项名为“一种模型知识蒸馏方法、装置、电子设备及可读存储介质”的专利，公开号 CN 119670806 A，申请日期为2025年2月。

专利摘要显示，本申请提供了一种模型知识蒸馏方法、装置、电子设备及可读存储介质。所述方法包括：获取教师模型的第一预测结果和学生模型输出的第二预测结果；针对各时刻，利用第一函数根据各词所属的部分确定各部分的差异值，以及利用第二函数根据第一概率分布、第二概率分布和各部分的差异值确定时刻的动态散度；利用第三函数根据各时刻的动态散度第二预测结果和标签确定总损失值根据总损失值更新学生模型的参数；当训练次数达到预设次数，获得训练后学生模型。本申请结合教师模型和学生模型的每个时刻的预测结果之间的动态散度、学生模型的输出结果、标签计算损失，对学生模型进行知识蒸馏，提高知识蒸馏效果。

天眼查资料显示，深圳市灵智数字科技有限公司，成立于2019年，位于深圳市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本2597.61万人民币，实缴资本2597.61万人民币。通过天眼查大数据分析，深圳市灵智数字科技有限公司参与招投标项目6次，财产线索方面有商标信息16条，专利信息33条，此外企业还拥有行政许可10个。

本文源自：金融界

作者：情报员