国家知识产权局信息显示,后摩智能科技股份有限公司申请一项名为“大语言模型的后训练量化方法及系统”的专利,公开号CN122819343A,申请日期为2026年7月。

专利摘要显示,本申请涉及人工智能模型压缩技术领域,公开了一种大语言模型的后训练量化方法及系统。该方法逐Transformer块执行量化,并在级联量化输入下缓存浮点隐状态输出;对中间块,基于量化与浮点隐状态输出的残差计算hidden空间对齐损失,并结合残差分布在均方误差损失与Huber损失之间自适应选择;对最后一个块,经最终归一化层与词表投影头映射为概率分布后,按浮点概率降序取头部频带、聚合尾桶并重归一化构造band分布,于band单纯形上计算分布对齐损失。由此使中间层对齐与末层分布对齐相互配合,改善低比特量化下的级联误差传递稳定性与分布一致性。

天眼查资料显示,后摩智能科技股份有限公司,成立于2020年,位于北京市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本2362.6942万人民币。通过天眼查大数据分析,后摩智能科技股份有限公司共对外投资了6家企业,财产线索方面有商标信息63条,专利信息128条,此外企业还拥有行政许可13个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员