国家知识产权局信息显示,深圳云天励飞技术股份有限公司申请一项名为“混合专家模型剪枝方法、装置和终端设备”的专利,公开号CN122819345A,申请日期为2026年6月。
专利摘要显示,本申请涉及一种混合专家模型剪枝方法、装置和终端设备,该方法包括:控制目标混合专家MoE模型进行前向推理,所述目标MoE模型包括多个MoE层;获取每个所述MoE层中的所有词元的平均路由熵;在所述目标MoE模型的目标剪枝数量的约束下,基于每个所述MoE层的所述平均路由熵,为各所述MoE层分配层剪枝数量,所述层剪枝数量与所述平均路由熵呈正相关关系;基于每个所述MoE层的所述层剪枝数量,对所述目标MoE模型进行专家剪枝,得到剪枝后MoE模型。通过本申请,解决了均匀专家剪枝会降低MoE模型的性能或无法充分压缩MoE模型的问题,实现了降低专家剪枝对MoE模型带来的性能损失的技术效果。
天眼查资料显示,深圳云天励飞技术股份有限公司,成立于2014年,位于深圳市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本35960.338万人民币。通过天眼查大数据分析,深圳云天励飞技术股份有限公司共对外投资了31家企业,参与招投标项目278次,财产线索方面有商标信息468条,专利信息1991条,此外企业还拥有行政许可37个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴