金融界2024年12月24日消息，国家知识产权局信息显示，上海天数智芯半导体有限公司申请一项名为“混合专家模型的部署方法、装置、电子设备及存储介质”的专利，公开号CN 119167988 A，申请日期为2024年7月。

专利摘要显示，本申请提供一种混合专家模型的部署方法、装置、电子设备及存储介质。混合专家模型包括多个transformer模块，每个transformer模块包括归一化层、压缩的多头注意力机制层和多层分级混合专家层；压缩的多头注意力机制层包括编解码器、多头注意力机制模块和位置编码器；多层分级混合专家层包括多级混合专家架构；部署方法包括：获取待部署的多个层级的硬件设备；将多级混合专家架构按照层级由高到低部署在硬件设备中对应层级中；低层级的硬件设备中部署的混合专家架构的层级不高于高层级的硬件设备中部署的混合专家架构的层级。通过基于硬件设备的层级和混合专家架构的层级进行对应部署，优化了集群中不同层级硬件带宽的使用，提高了混合专家模型的计算性能。

本文源自：金融界

作者：情报员