金融界2025年6月2日消息,国家知识产权局信息显示,山东制创数字技术有限公司申请一项名为“基于联邦学习的大语言模型微调方法、装置、设备及介质”的专利,公开号CN120069081A,申请日期为2025年02月。
专利摘要显示,本申请公开了基于联邦学习的大语言模型微调方法、装置、设备及介质,涉及联邦学习技术领域,应用于服务端,包括:获取联邦微调任务,并利用预设经验指导模型对联邦微调任务中的数据分别进行处理以得到相应的特征向量;将特征向量、预设经验指导模型以及基础大语言模型下发至各客户端,以便各所述客户端基于本地微调数据集、特征向量、预设经验指导模型对基础大语言模型进行模型微调处理以得到微调后大语言模型,并对微调后大语言模型进行聚合处理以得到新的特征向量,然后跳转至所述特征向量、预设经验指导模型以及基础大语言模型下发至各客户端的步骤直至满足预设微调训练结束条件。如此一来,通过个性化联邦学习实现了大语言模型的微调。
本文源自:金融界
作者:情报员
热门跟贴