国家知识产权局信息显示,南方电网科学研究院有限责任公司申请一项名为“基于硬件约束分块的大模型批量推理调度方法和相关设备”的专利,公开号CN122777275A,申请日期为2026年7月。

专利摘要显示,本发明公开了一种基于硬件约束分块的大模型批量推理调度方法和相关设备,包括:接收大语言模型的批量推理任务,并生成所述批量推理任务的不规则输入张量信息;从预设的分块配置候选池中筛选出与所述不规则输入张量信息在张量维度上匹配的至少一个可行分块配置;对各所述可行分块配置执行基于硬件资源约束的并行度优化处理,确定目标分块配置;基于所述目标分块配置,对所述不规则输入张量信息进行计算调度处理,聚合输出与所述批量推理任务关联的张量计算结果用于。本发明能够有效解决固定分块造成的硬件资源超限、性能断崖衰减问题,大幅提升硬件资源利用率与批量推理吞吐效率,可广泛应用于大语言模型推理优化技术领域。

天眼查资料显示,南方电网科学研究院有限责任公司,成立于2010年,位于广州市,是一家以从事电力、热力生产和供应业为主的企业。企业注册资本10000万人民币。通过天眼查大数据分析,南方电网科学研究院有限责任公司共对外投资了5家企业,参与招投标项目10012次,财产线索方面有商标信息111条,专利信息12450条,此外企业还拥有行政许可14个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员