国家知识产权局信息显示,北京无问芯穹科技有限公司申请一项名为“大语言模型推理方法和系统”的专利,公开号CN121581184A,申请日期为2025年9月。
专利摘要显示,本公开提出了一种LLM推理方法和系统,适用于具有多个计算设备的计算集群。该方法包括:根据多个计算设备的通信连接关系生成拓扑图,并对拓扑图进行哈密顿分解以获取彼此正交的多个有向环路,其中,每个计算设备对应于拓扑图中的一个顶点,每两个计算设备之间满足预定条件的通信连接对应于拓扑图中的边;为每个计算设备分配查询序列段和原始KV缓存分块;在后续迭代中,每个计算设备在多个有向环路同时进行KV缓存子分块的传递与接收。本公开利用哈密顿分解将多个计算设备之间的单个环形通信转换为多个并行的环形通信,提升计算设备之间的通信效率和网络资源利用率,并能通过序列段的对称性分布,实现因果掩码下的负载平衡。
天眼查资料显示,北京无问芯穹科技有限公司,成立于2023年,位于北京市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本26000万人民币。通过天眼查大数据分析,北京无问芯穹科技有限公司共对外投资了2家企业,参与招投标项目1次,专利信息25条,此外企业还拥有行政许可2个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴