国家知识产权局信息显示,北京趋境科技有限责任公司申请一项名为“一种大模型异构推理方法和系统”的专利,公开号CN121387532A,申请日期为2025年10月。
专利摘要显示,本发明公开了一种大模型异构推理方法和系统。该方法包括:针对大模型,根据计算与存储特性确定待卸载的目标组件和保留组件,所述目标组件是存储密集且计算强度低于设定标准的组件,所述保留组件是计算密集型组件;将所述目标组件卸载至不同于GPU的异构处理单元执行相关任务,将所述保留组件的相关任务分配给GPU执行,并协同并行调度策略和量化存储策略对所述异构处理单元执行的任务进行加速处理,进而获得推理结果。本发明降低了对GPU显存的依赖和推理成本,并提升了吞吐量。
天眼查资料显示,北京趋境科技有限责任公司,成立于2023年,位于北京市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本500.028万人民币。通过天眼查大数据分析,北京趋境科技有限责任公司共对外投资了1家企业,财产线索方面有商标信息2条,专利信息3条,此外企业还拥有行政许可1个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴