国家知识产权局信息显示,上海曲速超为技术有限公司申请一项名为“一种基于GPU和LPU的LLM推理方法及异构系统”的专利,公开号CN122779291A,申请日期为2026年7月。
专利摘要显示,本发明公开了一种基于GPU和LPU的LLM推理方法及异构系统,该方法应用于部署有GPU计算单元、由多张LPU卡构成的LPU计算单元和RDMA通信网络的主机服务器,包括:将大语言模型按算子类型拆分部署,注意力相关算子部署于GPU计算单元,前馈网络层权重按切分策略预加载至各LPU卡的板载存储器;GPU计算单元执行注意力计算生成注意力中间结果,经GPU侧网卡以远程直接内存访问方式将其经光纤直接写入LPU侧网卡所连的板载存储器而不经主机的中央处理器和系统内存;各LPU卡基于相匹配的输入数据分片和权重分片并行执行前馈网络计算并将输出分片回传,由GPU计算单元汇聚后逐层循环输出推理结果。本发明降低了单GPU显存需求与硬件成本,提升解码吞吐量,并避免主机中转通信开销。
天眼查资料显示,上海曲速超为技术有限公司,成立于2023年,位于上海市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本1000万人民币。通过天眼查大数据分析,上海曲速超为技术有限公司财产线索方面有商标信息11条,专利信息54条。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴