金融界2025年7月21日消息,国家知识产权局信息显示,中山大学;善思开悟科技(成都)有限公司申请一项名为“混合专家模型的微调方法、装置、设备、介质及程序产品”的专利,公开号CN120337983A,申请日期为2025年03月。

专利摘要显示,本申请公开了一种混合专家模型的微调方法、装置、设备、介质及程序产品,涉及模型微调技术领域,包括:在确定的映射关系下,将加载混合专家层与模型微调相关数据的数据加载过程,按照与下一计算过程的重叠关系,划分为阶段间加载、模型层间加载和专家间加载;结合专家流行度以及亲和性,确定阶段间加载、模型层间加载和专家间加载的加载决策,其中,专家流行度为混合专家模型中不同专家被激活的频率,亲和性为在离线阶段确定计算负载与硬件设备的亲和性;调度加载决策,在阶段间加载、模型层间加载和专家间加载,分别加载混合专家层与模型微调相关的数据。

本文源自:金融界

作者:情报员