据外媒报道,微软公司和OpenAI正在计划一个可能耗资高达1000亿美元的数据中心项目,该项目包括一个名为“星际之门”(Stargate)的人工智能超级计算机,预计将在2028年启动。
报道指出,微软公司可能会为该项目提供资金支持,预计其成本将是一些现有最大数据中心的100倍。这个拟议中的美国本土超级计算机将是这两家公司计划在未来六年内建设的一系列超级计算机中最大的一个。
报道还提到,微软和OpenAI目前正在进行五阶段计划的第三阶段,接下来的两个阶段的大部分成本将涉及获取所需的人工智能芯片。芯片通常价格昂贵,芯片制造商英伟达(Nvidia)的首席执行官黄仁勋在3月早些时候表示,最新的"Blackwell" B200人工智能芯片的价格将在3万至4万美元之间。微软公司也在去年底宣布了两款定制设计的计算芯片。新项目将被设计为能够与不同供应商的芯片协同工作。
报道还指出,该计划的费用可能超过1150亿美元,这比微软去年在服务器、建筑和其他设备上的资本支出高出三倍以上
对于芯片OpenAI不会仅仅押宝于英伟达,另外一家晶圆级人工智能芯片公司Cerebras Systems最近推出的cs3人工智能芯片OpenAI也在接触
CS-3 能够以无与伦比的 AI 计算性能在单位时间内测试更多想法。 CS-3 通过更节省空间和更节能的封装提供了性能提升。对于当今运行的典型客户工作负载,CS-3 比 GPU 提供了大约几个数量级的挂钟计算优势,而功耗仅为 GPU 的一小部分
CS-3是第三代晶圆级 AI 加速器,专门用于训练最先进的 AI 模型。 CS-3 拥有超过 4 万亿个晶体管(比最大 GPU 多出 57 倍),速度比其前身快 2 倍,并在训练大型语言和多模态模型方面创下了纪录。 CS-3 是按比例构建的:使用的下一代 SwarmX 互连,最多可以将 2048 个 CS-3 系统连接在一起,以构建高达四分之一 zettaflops (10^21) 的超大规模 AI 超级计算机。 CS-3 可配置高达 1,200 TB 的外部存储器,允许单个系统训练多达 24 万亿个参数的模型,为机器学习研究人员构建比 GPT-4 和 Claude 大 10 倍的模型铺平道路。 CS-3 现已发货给客户。 Condor Galaxy 3 – 与 G42 合作构建的第一台 CS-3 驱动的人工智能超级计算机,将于 2024 年第二季度投入运行
Cerebras 与高通合作开发了一个用于训练和推理的联合人工智能平台。独特的架构功能(例如非结构化稀疏性)在 CS-3 上训练的模型可以在 Qualcomm AI 100 Ultra 推理加速器上加速。总的来说,LLM 推理吞吐量提高了 10 倍
也就是说,对于未来的超级计算机,OpenAI可能采用微软自研芯片,英伟达芯片,Cerebras 公司的人工智能芯片
热门跟贴