建十万张卡的集群,难在哪?很多人以为就是砸钱买显卡。但最近曙光八千系列的一个动作,把国产算力真正的瓶颈亮了出来。
第一重门,存算网效率。简单说,卡够多了,但存和算之间、机器和机器之间协同跑不起来。卡间互联带宽不够,数据存取延迟高,集群规模上去后性能反而可能跌。
打开网易新闻 查看精彩图片
第二重门,生态碎片化。国产芯片路线不一,框架适配各自为战,开发者得在好几套环境里来回折腾。没有统一生态,十万卡集群的战斗力会大打折扣。
第三重门,Token 生产力。这是最近才被行业挂嘴边的指标。集群建好了,产出的有效 Token 多不多、成本能不能压下去,直接决定商业上成不成立。曙光八千系列用十万卡集群做了一次联合示范,试图把这三扇门一起推开。
值得注意的是,这已经不单单是硬件能力竞赛了。存储架构、网络架构和底层软件栈的协同设计,才是把十万卡真正“盘活”的关键。有业内人士把这类协同称为算力集群的“操作系统”,虽然还不够成熟,但路径已经在曙光这个项目里看到了雏形。
热门跟贴