国家知识产权局信息显示,浪潮云信息技术股份公司申请一项名为“一种基于大模型实现的推理性能优化方法及系统”的专利,公开号CN121390303A,申请日期为2025年10月。

专利摘要显示,本发明涉及大模型推理技术领域,具体为一种基于大模型实现的推理性能优化方法及系统,包括以下步骤:初始化推理性能优化智能体;实时采集硬件环境指标,包括显存利用率、CPU交换数、剩余显卡资源、存储IOPS及网络吞吐量;有益效果为:通过对业务系统中各模型的相关统计指标进行全面采集和分析,包括模型类型、模型权重文件总体积、模型平均序列长度、模型输出的每秒token数、模型的首次token时间、模型占用的显卡清单、KVcache块的大小、KVcache的滑动窗口大小等,实现了对系统性能的全面评估,克服了现有技术中性能评估不全面、缺乏对内存占用、网络带宽等关键指标的实时监测机制的不足。

天眼查资料显示,浪潮云信息技术股份公司,成立于2015年,位于济南市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本36214.8272万人民币。通过天眼查大数据分析,浪潮云信息技术股份公司共对外投资了89家企业,参与招投标项目4048次,财产线索方面有商标信息22条,专利信息4285条,此外企业还拥有行政许可11个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员