AI芯片公司Cerebras System于当地时间周二发布全新机架式AI系统CS-4,并直接对标英伟达。公司方面称,在单用户场景下,CS-4每秒输出token的能力可达传统GPU服务器的30倍。
推理专用设计
打开网易新闻 查看精彩图片
业内指出,这套系统面向AI推理,而非模型训练。在存储方案上,CS-4采用了静态随机存取存储器(SRAM),而不是行业常见的动态随机存取存储器(DRAM)。
打开网易新闻 查看精彩图片
核心硬件参数
CS-4内部搭载了3颗WSE-3 Turbo晶圆级处理器。Cerebras表示,WSE-3 Turbo是迄今为止规模最大的AI处理器,集成了4万亿个晶体管。这样的芯片规模,为系统在推理环节的性能表现提供了支撑。
打开网易新闻 查看精彩图片
从公布的信息来看,30倍的速度对比基于单用户负载。需要强调的是,这一数据限定在单用户场景,对于理解该系统的实际表现至关重要。如果该数据在实际部署中得到验证,意味着在特定推理任务中,CS-4能够显著降低生成响应的等待时间。
此次发布的CS-4定位明确,就是要在AI推理市场与英伟达的GPU方案展开竞争。相比传统GPU服务器,CS-4选择了不同的技术路线,包括晶圆级处理器和SRAM存储。
热门跟贴