“切换任务的瞬间,任务就已经完成了。”OpenAI研究员Jeffrey Wang这样形容AMD与Cerebras联合打造的AI推理硬件方案带给他的体验。他在社交平台上表示,以前可能需要等几分钟才能完成的推理任务,现在几乎不再有等待感,效率被大幅推高。
这套方案的目标场景是超低延迟AI推理。它把AMD的Helios机架级方案和Cerebras的晶圆级引擎(Wafer-Scale Engine)做了分工:Helios机架负责吞吐量大、对上下文窗口要求高的提示词处理,充当高性能吞吐引擎;Cerebras的芯片则聚焦Token生成与解码,这一过程对内存带宽和时延极其敏感,由专用硬件跑更合理。双方还结合两个计算引擎,整体设计追求每瓦每秒能产出更多Token。
打开网易新闻 查看精彩图片
官方给出的预估数据是,每瓦每秒Token吞吐可提升5倍。这背后是Cerebras晶圆级架构在面对生成式任务时,在带宽和延迟上的天生优势。OpenAI已经在Cerebras芯片上内部运行了部分自有模型,Jeffrey Wang的评价是“表现非常出色,推理速度非常亮眼”。
此次合作也直接指向了当前AI推理市场的竞争格局。就在不久前,英伟达与Groq已经在低延迟推理上联手,而AMD与Cerebras的组合被视为另一种解题思路:用分离式引擎承担推理流程中不同环节的计算特性,试图在功耗和时延上找到新平衡。Jeffrey Wang的发声,无疑给这套方案增加了一层来自顶尖AI实验室的实际验证。
热门跟贴