国家知识产权局信息显示,安易享(深圳)科技有限公司申请一项名为“LLM推理单机PCIe-SSD零显存并发处理方法”的专利,公开号CN121326243A,申请日期为2025年10月。
专利摘要显示,本发明公开了LLM推理单机PCIe‑SSD零显存并发处理方法,包括以下步骤:S1、初始化推理所需核心组件;S2、处理LLM推理请求的Token流;S3、执行零系统调用的事件通知与数据调度;S4、执行LLM推理与结果反馈,涉及大语言模型推理技术领域,通过mmap将KV‑Cache驻留于PCIe‑SSD,实现GPU显存占用量为0MB,相比传统的vLLM框架,显存占用降低100%,从而突破GPU显存容量对并发数的限制,进而支持更多并发推理session,大幅提升单机推理服务容量,缓解了目前的显存瓶颈问题。
天眼查资料显示,安易享(深圳)科技有限公司,成立于2018年,位于深圳市,是一家以从事专业技术服务业为主的企业。企业注册资本100万人民币。通过天眼查大数据分析,安易享(深圳)科技有限公司财产线索方面有商标信息10条,专利信息7条,此外企业还拥有行政许可2个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴