国家知识产权局信息显示,上海应用技术大学、浪潮计算机科技有限公司申请一项名为“一种面向大语言模型的混合精度量化与推理优化方法”的专利,公开号CN123050640A,申请日期为2026年8月。专利摘要显示,本发明公开了一种面向大语言模型的混合精度量化与推理优化方法,属于人工智能模型压缩与推理加速技术领域。该方法基于校准数据集提取激活统计信息构建权重重要性矩阵,以块级对称量化方式完成模型权重的混合精度量化;在异构计算平台上加载量化后模型并执行推理,推理过程中动态构建计算图,根据节点张量属性、计算代价和执行上下文评估节点相似性,当相似性满足预设条件时,以已执行节点的计算结果作为当前节点的计算结果;推理结束后输出推理结果。本发明通过基于激活信息的混合精度量化与推理过程中冗余计算消除的协同优化,能够降低模型存储开销,减少重复运算,提升大语言模型在资源受限平台上的推理效率。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员