高通当地时间本月17日宣布,携手AI私有云企业Cirrascale,向部分客户开放Dragonfly(飞龙)AI200推理加速器的评估。客户可通过云环境,探索自身AI工作负载在这款芯片上的表现。
打开网易新闻 查看精彩图片
Dragonfly AI200是高通的第一款机架级人工智能解决方案。单卡配备768GB LPDDR5X内存,支持PCIe Gen6纵向扩展、RoCE横向扩展。
规模上,每个140kW液冷ORv3机架由56卡组成,总内存达43TB,提供0.414 PB/s内存带宽。按高通的描述,这一配置可在单一机架中运行10T级超大模型的推理,并提供更低的总持有成本。
对客户而言,评估走的是云环境这条路——不必先采购硬件,就能先看自家负载跑在这套机架级方案上的实际表现。
热门跟贴