项目还在早期阶段。
文丨李安琪
编辑丨龚方毅
我们从多个信源处获悉，理想汽车正在探索自研云端推理芯片，将采用与智驾芯片相同的数据流架构，项目还在早期阶段。
AI 数据中心普遍使用 GPU 完成模型训练和推理，也有数据中心部署云端推理芯片。一位芯片行业人士说，云端推理芯片可以承接部分原本在 GPU 上运行的推理任务，例如智驾模型的数据处理、测试、仿真，以及大语言模型的请求处理。模型训练中涉及参数更新的部分仍需训练芯片。
我们从业内人士处了解到，数据流架构从车端走向云端在技术上可行。一种路径是复用车端 NPU（AI 处理器）的计算设计，将多个 AI 计算晶粒封装在一起，配套高带宽内存和高速互联，组成规模更大的推理芯片。车端和云端由此可以复用部分设计和软件工具，分摊研发成本。
但云端芯片不是车端芯片的简单放大。车端模型、传感器输入和运行节奏相对固定，主要追求低功耗、低延迟和稳定执行；云端需要同时处理更多模型，模型更新更快，输入长度和并发请求波动更大，还涉及高带宽内存、多芯片互联、动态批处理和集群调度。
“一颗芯片做到某个性能指标不是最难的，真正困难的是让整套推理成本具备竞争力。“这位人士说。数据流架构从车端延伸到云端能否形成成本优势，取决于模型适配能力和系统运行效率。
SambaNova、Groq、Tenstorrent 等海外公司也在探索数据流架构。SambaNova 和 Groq 的核心团队分别来自斯坦福和谷歌 TPU（张量处理单元）项目，Tenstorrent 由曾负责特斯拉自动驾驶芯片的 Jim Keller 领导。与 GPU 相比，数据流架构在模型通用性、软件生态和规模化部署方面仍需验证。
在理想推进云端推理芯片的同时，《晚点 Auto》也从多渠道确认，理想芯片的软件研发负责人金一华和芯片前端设计一组负责人戴颉已经离职。两人此前均向算力单元负责人罗旻汇报，罗旻则向集团 CTO 谢炎汇报。
目前尚不清楚上述变动人事变动是否会影响云端推理芯片项目的进度。
题图来源：理想汽车
热门跟贴