国家知识产权局信息显示，紫光恒越技术有限公司申请一项名为“一种大模型推理加速方法和系统”的专利，公开号CN121920550A，申请日期为2026年3月。

专利摘要显示，本申请提供一种大模型推理加速方法和系统，人工智能技术领域，本申请通过在大模型进行长文本推理的过程中，获取当前Transformer层和前一Transformer层的输出特征向量，以及缓存存储器的缓存未命中率；通过计算输出特征向量之间的夹角余弦值，得到层间相似度；在缓存未命中率大于预设拥塞阈值且层间相似度处于冗余区间时，重构得到低秩权重矩阵；通过令牌合并将当前Transformer层的输入词元序列中每个词元映射至根据低秩权重矩阵定义的低维子空间中，得到目标词元序列；将目标词元序列输入至当前Transformer层，以完成当前Transformer层的推理加速，实现了大模型的高效加速推理。

天眼查资料显示，紫光恒越技术有限公司，成立于2012年，位于北京市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本50000万人民币。通过天眼查大数据分析，紫光恒越技术有限公司共对外投资了3家企业，参与招投标项目408次，财产线索方面有商标信息8条，专利信息202条，此外企业还拥有行政许可5个。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。

本文源自：市场资讯

作者：情报员