企业争相建设AI工厂、把推理能力推向边缘现场,却在同一个地方卡住:买GPU反而是最容易的一步。真正决定这些昂贵系统是产出智能还是闲置吃灰的,是电力、冷却和网络吞吐。
这一判断来自SHI国际公司先进增长技术副总裁杰克·霍根(Jack Hogan)。他在SC26大会期间接受theCUBE采访时说,客户最容易在这里翻车——GPU能买到,但供不上电,也散不了热。他还补了一句:这些系统本身并不便宜,采购基础设施只是起点。
霍根提到的变化有具体刻度:机架密度过去大约停在10千瓦,如今正朝1兆瓦的方向走。这个台阶式跃升,逼着企业把目光投向传统网络、存储、计算三层之外的上下两端。
衡量方式也跟着变了。企业过去按机架单元或整机架来规划部署,现在整个数据中心被当作一个带共享内存的单一系统来运行,每一块GPU都必须被“喂饱”,才对得起它的成本。霍根说,讨论的单位已经从机架、整排,走到数据中心规模,现在用兆瓦来量。兆瓦成了人们开始能 grasp 的尺子:这一兆瓦能跑出多少算力,处理token能有多快。
SHI在这类系统的全生命周期里都有角色。公司有37年行业积累,在全球的集成设施里做定制机架,并在设备到场前完成现场评估,让系统一到就能上电。霍根举了一个新泽西项目的例子:SHI在自己的数据中心里托管并运营客户的系统。
边缘场景里,位置同样关键。视频输入这类工作负载产生的数据必须在原地处理。霍根的解释很直接:这些数据没法回传,网络未必是搬运它们的合适方式。SHI想搭的场景,是把超大规模数据中心和边缘推理两头连起来。
GPU忙着,不等于在产出。霍根说,SHI每次合作都先问客户想达成什么,再倒推该用哪种模型——是需要前沿智能,还是在边缘设备上跑一个小语言模型。芯片选择遵循同一套逻辑:GPU、较新的CPU、推理专用芯片和神经处理单元,都会在公司的AI与网络安全实验室里做验证。
霍根对token的看法也落在同一处:重点不在token的成本,不在减少token数量,也不在找更便宜的token,而在于优化并确保这些token转化成业务价值。
热门跟贴