金融界2025年6月25日消息，国家知识产权局信息显示，重庆理工大学、重庆师范大学、重庆领略科技有限公司申请一项名为“基于逆向特征融合及分类器复用的知识蒸馏方法”的专利，公开号CN120197669A，申请日期为2025年01月。

专利摘要显示，本发明公开了基于逆向特征融合及分类器复用的知识蒸馏方法，涉及计算机技术领域。本发明至少包括以下步骤：S1：获取原始数据集，将其划分为训练集和测试集；S2：对原始数据集进行预处理；S3：使用训练集对教师网络模型进行预训练，保存训练好的教师网络模型；S4：通过冻结教师网络预训练权重，在学生网络中引入解耦注意力投影模块和逆向特征融合模块，并复用教师分类器与特征距离损失函数训练学生模型；S5：在推理阶段，保留学生网络架构和教师分类器层的参数。本发明通过方法的设计，能够克服师生中间特征表达差异较大，导致学生网络难以充分学习教师网络中间层特征隐含知识的问题。并通过复用教师分类器，得到更接近教师的输出分布。

本文源自：金融界

作者：情报员