推理正在往企业AI支出的中心挪,而AI数据层正在成为决定这笔钱花得值不值的那一环。GPU成本往上走,零部件短缺又没缓解,AI背后的架构正从少数几个巨型设施,转向由更小站点组成的分布式网络。
这个转向,把有高性能计算底子的存储公司推到了AI话题的中央。DataDirect Networks(DDN)联合创始人兼首席执行官亚历克斯·布扎里(Alex Bouzari)的说法是:以可接受的成本把数据变成洞察,如今取决于一个为GPU效率而生的、有韧性且安全的数据引擎。
“推理在利用率上已经爆表,真正拉开差距的是数据层,”布扎里说,“成本在飞涨。GPU越来越强,也越来越贵。”
布扎里是在SC26期间接受theCUBE Research的约翰·弗里尔(John Furrier)和丽贝卡·奈特(Rebecca Knight)采访时说这番话的,节目在SiliconANGLE Media的直播工作室theCUBE播出。话题围绕推理、成本压力和短缺如何重塑AI基础设施展开。
推理为什么把数据层推向分布式
第一波AI建设把GPU集中塞进耗电巨大的大型设施里。布扎里解释,推理改变了这笔账,因为它需要跑在离用户和数据更近的地方。他还提到,社区也在对巨型单体数据中心表达反对。
“现在推理带来的变化是,你得用更小的占地来补充。就叫它们数据中心吧,1兆瓦、2兆瓦、5兆瓦。这些设施需要待在事情发生的地方——自动驾驶发生的地方、物理AI发生的地方、传感器数据所在的地方,”布扎里说。
把这些小节点接回大型AI工厂,需要对数据换一套打法。DDN正在做一个能跨多种硬件的软件层,近期把EXAScaler文件系统从DDN自家硬件上解绑,就是这个方向的体现。布扎里的说法是,目标是让非常昂贵的设备被榨出更多使用价值。
“这是一个需要适配不同硬件的软件层,因为成本实在太高了,人们希望能在更长的时间里把利用率最大化,就像高性能计算里那样,”布扎里说。
支出的量级已经变了。布扎里提到,过去两亿美元能资助世界上最快的超级计算机,现在只够买15到20个机柜的设备。GPU、内存和固态硬盘的短缺,正撞上更紧的预算审视。
“一边是预算约束,以及从投资里尽可能多榨出价值的需要,”布扎里说,“另一边是短缺。所以一个能用少得多的基础设施做多得多的事的数据层,那个更小的占地,价值极高。”
这套思路也延伸到了企业侧。DDN的Enterprise AI HyperPOD把CPU、GPU、网络和存储打包进一个机柜,可以塞进有可用电力的现有企业场地。布扎里解释,把pod留在本地,也让企业对自家数据有更紧的控制。
“我认为我们正在进入一个时代,全球企业里会大量部署更小占地的pod,”布扎里说。
布扎里把AI数据层摆在了加速计算的对位:英伟达(Nvidia Corp.)提供算力,DDN提供数据。他说,随着推理和智能体接手,数据这一侧的份量更重了:“两边都得有才能成。但数据引擎,我认为在推理和智能体真正成为使用AI、从中获取价值的主流方式之后,正变得越来越重要。”
热门跟贴