国家知识产权局信息显示,北京无问芯穹科技有限公司申请一项名为“分布式大语言模型推理系统”的专利,公开号CN121413773A,申请日期为2025年11月。
专利摘要显示,公开了一种分布式大语言模型推理系统。该系统包括:调度子系统和推理引擎,调度子系统包括:任务管理器,用于将获取的多个用户请求作为多个推理任务送入构造的任务队列,其中,每个用户请求对应于一个推理任务;批调度器,用于根据所述推理引擎单元的当前工作内存使用情况对所述任务队列中的多个推理任务的待处理内容进行打包以生成待处理批次;及分块管理模块,用于根据所述推理引擎的当前KV缓存使用情况,对KV缓存中的内存块进行分配和回收。该系统采用功能模块解耦的分层设计,通过在调度子系统与推理引擎之间建立高效的协同机制,实现推理资源的动态分配与任务的高效调度。
天眼查资料显示,北京无问芯穹科技有限公司,成立于2023年,位于北京市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本26000万人民币。通过天眼查大数据分析,北京无问芯穹科技有限公司共对外投资了2家企业,参与招投标项目1次,专利信息22条,此外企业还拥有行政许可2个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴