金融界 2024 年 11 月 27 日消息，国家知识产权局信息显示，北京苹芯科技有限公司申请一项名为“大语言模型的运算节点、层集群、加速器”的专利，公开号 CN 119025468 A，申请日期为 2024 年 7 月。

专利摘要显示，本发明涉及人工智能硬件平台中智能集成电路、智能芯片、AI 芯片；人工智能通用技术中深度神经网络、多层神经网络、卷积神经网络等领域，尤其涉及一种大语言模型的运算节点、层集群、加速器。本发明大语言模型运算节点包括：至少 1 个计算单元和第一存储单元，两者位于同一设计架构内，其中：计算单元，用于进行计算；第一存储单元，用于驻留大语言模型运算过程中的静态权重数据；第二存储单元，设置于设计结构的外部，用于存储大语言模型运算过程中 KV cache 数据。本发明有效避免了传统外存静态权重数据读取所带来的高功耗和高延迟问题相比于传统的 HBM 方案，本发明在性能功耗和成本上均具有明显优势。

本文源自：金融界

作者：情报员