国家知识产权局信息显示，中兴通讯股份有限公司申请一项名为“大语言模型推理的智能并发控制方法及系统”的专利，公开号CN121858254A，申请日期为2026年3月。

专利摘要显示，本发明公开了一种大语言模型推理的智能并发控制方法及系统，该方法针对待部署模型与推理场景，枚举可行配置组合并基于单目标或多目标回归模型，实现对吞吐量、首令牌延迟和令牌生成延迟等性能指标的预测；单目标优化选择性能最优配置，多目标优化采用帕累托优化方法获得权衡解集，从而实现并发控制参数的自动化配置推荐。本发明无需依赖模型内部结构参数和试错调参，也无需对Transformer各层的计算负载和通信开销进行显式分析，具有良好的通用性，可有效提升大语言模型推理服务的性能与资源利用效率。

声明：市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。

本文源自：市场资讯

作者：情报员