国家知识产权局信息显示,北京趋境科技有限责任公司申请一项名为“混合专家模型的推理加速方法、装置、设备以及存储介质”的专利,公开号CN122759405A,申请日期为2026年7月。

专利摘要显示,本申请实施例提供一种混合专家模型的推理加速方法、装置、设备以及存储介质,包括在网络层推理过程中,获取与待推理词元对应的隐藏状态结果、专家网络的路由结果以及低比特格式存储的权重;根据预设分块,读取对应的低比特格式存储的权重,并反量化生成与预设分块对应的高比特格式存储的权重;根据高比特格式存储的权重以及隐藏状态结果进行路由到的专家网络进行计算,得到计算结果;根据路由结果中的路由到的专家网络以及对应的门控权重,对计算结果进行聚合确定出网络层的输出结果。使得保持社区主流低比特权重的量化模型精度和迁移便利性的前提下,降低专家权重显存占用,减少前馈网络内多阶段执行的中间数据搬运和核函数调度开销,提升效率。

天眼查资料显示,北京趋境科技有限责任公司,成立于2023年,位于北京市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本800.0213万人民币。通过天眼查大数据分析,北京趋境科技有限责任公司共对外投资了6家企业,参与招投标项目2次,财产线索方面有商标信息4条,专利信息20条,此外企业还拥有行政许可1个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员