金融界2024年12月18日消息，国家知识产权局信息显示，北京汽车制造厂（青岛）有限公司申请一项名为“一种基于混合粒度知识蒸馏的车载大模型部署方法”的专利，公开号CN 119129651 A，申请日期为2024年9月。

专利摘要显示，本发明公开了一种基于混合粒度知识蒸馏的车载大模型部署方法，包括：对预训练大模型中的粗颗粒和细颗粒度的结构进行掩码的初始化；初始化低秩矩阵，这些矩阵用于在蒸馏训练过程中替代模型的原始权重参数进行更新；设置模型损失函数，包括知识蒸馏损失和正则化损失；模型训练过程中，保持预训练模型的参数不变，仅更新低秩矩阵和掩码参数；训练完成后进行模型评估，检查知识蒸馏后的模型是否满足性能要求；如果评估结果不满意，返回至训练步骤进一步优化；将低秩矩阵和掩码参数固定，将这些参数依据掩码融入到原始模型中。通过本发明知识蒸馏后的模型可以以小尺寸获得大模型的能力，更适合部署在资源受限的车载系统中，以提供高效的计算性能。

本文源自：金融界

作者：情报员