国家知识产权局信息显示,阿里巴巴(中国)有限公司申请一项名为“大语言模型推理引擎的配置参数优化方法和优化装置”的专利,公开号CN122947898A,申请日期为2026年6月。

专利摘要显示,本申请公开了一种大语言模型推理引擎的配置参数优化方法和优化装置。本申请确定预定服务器集群的配置参数和大语言模型的推理引擎的历史负载追踪数据后,根据历史负载追踪数据确定该集群的目标负载追踪数据,进而在各周期根据该集群在在前周期的性能评估结果更新配置参数的取值,直至迭代终止,进而确定配置参数的取值。在本发明实施例中,目标负载追踪数据根据与预定服务器集群的负载特征向量的匹配度确定,并通过对于目标负载追踪数据预先回放,并记录回放参数,在后续的配置参数调节过程中,根据回放参数仅需要回放部分目标负载追踪数据,由此本发明实施例能够通过优化配置参数有效提升推理引擎性能,同时降低参数优化对运算资源的消耗。

天眼查资料显示,阿里巴巴(中国)有限公司,成立于2007年,位于杭州市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本15460.55039万美元。通过天眼查大数据分析,阿里巴巴(中国)有限公司共对外投资了59家企业,参与招投标项目89次,财产线索方面有商标信息11130条,专利信息8260条,此外企业还拥有行政许可20个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员