【CNMO科技消息】8月14日，据《晚点Auto》报道，其从多个信源处获悉，理想汽车正在探索自研云端推理芯片，将采用与智驾芯片相同的数据流架构，项目还在早期阶段。
打开网易新闻 查看精彩图片
AI数据中心普遍使用GPU完成模型训练和推理，也有数据中心部署云端推理芯片。一位芯片行业人士说，云端推理芯片可以承接部分原本在GPU上运行的推理任务，例如智驾模型的数据处理、测试、仿真，以及大语言模型的请求处理。模型训练中涉及参数更新的部分仍需训练芯片。
《晚点Auto》表示，数据流架构从车端走向云端在技术上可行。一种路径是复用车端NPU（AI处理器）的计算设计，将多个AI计算晶粒封装在一起，配套高带宽内存和高速互联，组成规模更大的推理芯片。车端和云端由此可以复用部分设计和软件工具，分摊研发成本。
但云端芯片不是车端芯片的简单放大。车端模型、传感器输入和运行节奏相对固定，主要追求低功耗、低延迟和稳定执行；云端需要同时处理更多模型，模型更新更快，输入长度和并发请求波动更大，还涉及高带宽内存、多芯片互联、动态批处理和集群调度。
值得一提的是，在理想推进云端推理芯片的同时，《晚点Auto》也从多渠道确认，理想芯片的软件研发负责人金一华和芯片前端设计一组负责人戴颉已经离职。两人此前均向算力单元负责人罗旻汇报，最终向集团CTO谢炎汇报罗旻则向集团CTO谢炎汇报。
热门跟贴