国家知识产权局信息显示,江苏清微智能科技有限公司申请一项名为“大语言模型量化方法、装置、电子设备和存储介质”的专利,公开号CN121981279A,申请日期为2026年4月。

专利摘要显示,本发明公开了大语言模型量化方法、装置、电子设备和存储介质,方法包括:对指定大语言模型的各可量化层分别自适应确定各自的目标量化粒度;基于各目标量化粒度,在第一量化精度下对大语言模型执行分组量化,以获得第一量化模型;利用预设验证数据集,在目标硬件设备上对第一量化模型进行推理精度验证;若推理精度未达到预设阈值,则识别敏感层,并将敏感层的量化精度从所述第一量化精度调整至第二量化精度,以获得第二量化模型;对第二量化模型进行推理精度验证,并根据验证结果迭代执行敏感层识别与量化精度调整操作,直至推理精度达到预设阈值,输出最终量化模型。本发明能够兼顾大语言模型在实际部署中的推理精度与硬件效率。

天眼查资料显示,江苏清微智能科技有限公司,成立于2019年,位于南京市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本3500万人民币。通过天眼查大数据分析,江苏清微智能科技有限公司共对外投资了1家企业,专利信息40条,此外企业还拥有行政许可5个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员