AI工厂的规模正在超出传统数据中心的框架。模型越做越大,分布式推理从概念走向部署,支撑这些模型的基础设施必须横跨机架、站点,甚至那些零散分布的电力来源。
戴尔科技公司(Dell Technologies Inc.)押注的答案是做完整系统而非零部件,从机架级管理到全液冷设计。戴尔AI、计算与网络业务高级副总裁兼首席技术官伊哈布·塔拉齐(Ihab Tarazi)表示,现代AI集群的规模远超以往高性能计算处理过的任何东西。
“AI的不同之处在于规模极其庞大。数万、数十万块GPU全部挂在单一网络上。它可能是多个集群,但最终会汇成一张单一网络。”塔拉齐说。
塔拉齐在SC26大会期间接受theCUBE Research的约翰·弗里尔(John Furrier)和丽贝卡·奈特(Rebecca Knight)采访,对话在SiliconANGLE Media的直播工作室theCUBE独家播出。双方讨论了戴尔的100%液冷网络系统、分布式推理,以及把搁置能源转化为AI算力。
液冷为分布式推理铺路
戴尔最新的动作把液冷从GPU延伸到更外围。塔拉齐介绍,公司正在交付其所说的首个100%液冷网络系统,交换机、光模块和线缆在工厂内完成预测试,以单一机架形式交付。
“它作为单机架系统经过预测试,意味着不必在现场组装数百个部件、再花两三周去找问题,整套设备进来、装好,我们几个小时就能点亮。”塔拉齐说。
这次网络产品发布,紧随戴尔此前为AI机架推出的液冷存储。计算、网络和存储现在共用同一套冷却与供电规格。塔拉齐表示,在运营方围绕水冷设计新设施时,这一点很关键。
“不用建两个数据中心——一个给GPU、一个给网络——能合成一个,对我们来说时间和成本都是大幅缩减。”塔拉齐说。
软件是分布式推理的下一个抓手。塔拉齐提到,客户想要一个统一的控制平面,能跨不同GPU和CPU工作,并把多达1000个各自拥有部分闲置电力的小型站点连接起来。对于无法快速建成大型数据中心的企业,这种做法能把搁置能源转化为AI算力。
“电力可用性的含义会让你吃惊。”塔拉齐说,“它不只是说你的门店里有电,也可能意味着冒出来的甲烷——一切可能的电力来源。人们在往回找:‘我怎么把这种电力用于计算,以分布式方式支撑推理?’”
按照塔拉齐的描述,这套思路的落点是把分散在各处的电力就地变成推理能力,而不是等着集中式大机房建成。计算、网络、存储共用一套液冷与供电规格,再叠加一个能管住上千个小站点的控制平面,构成了戴尔对AI工厂规模扩张给出的系统级回答。
热门跟贴