国家知识产权局信息显示,后摩智能科技股份有限公司申请一项名为“面向NPU的大语言模型提示感知分层量化压缩及推理加速方法及系统”的专利,公开号CN122759371A,申请日期为2026年6月。

专利摘要显示,本申请涉及人工智能模型部署与推理加速技术领域,公开了一种面向NPU的大语言模型提示感知分层量化压缩及推理加速方法、系统、设备和存储介质。该方法将低比特主量化数据、异常残差码本索引、残差触发条件及执行策略元数据封装为NPU原生量化压缩packet并经DMA流式加载;在推理过程中采集在线统计特征,从多个预生成执行策略中选择当前执行策略;在NPU上对packet进行流式解包、反量化和矩阵计算,并在残差触发条件满足时将残差结果回注到主量化计算结果中。该方法有助于降低NPU推理带宽压力,在NPU主路径连续性约束下提高量化鲁棒性。

天眼查资料显示,后摩智能科技股份有限公司,成立于2020年,位于北京市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本2302.0307万人民币。通过天眼查大数据分析,后摩智能科技股份有限公司共对外投资了6家企业,参与招投标项目1次,财产线索方面有商标信息63条,专利信息122条,此外企业还拥有行政许可13个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员