公众号记得加星标⭐️,第一时间看推送不会错过。

多少高带宽内存(HBM)才够用?对于 Meta 来说,答案显然是大约 0.5 TB,这也是它今天发布的新型 AI 加速器之一计划采用的 HBM 容量。

拥有 Facebook 和 Instagram 的Meta 公司今天宣布推出四款全新的 Meta 训练和推理加速器 (MTIA:Meta Training and Inference Accelerator) 产品线芯片。这些自主研发的芯片由 Meta 与合作伙伴博通 (Broadcom ) 共同开发,旨在处理这家社交媒体巨头的一系列计算密集型任务,包括排名和推荐 (R&R) 训练和推理工作负载,以及训练基础 AI 模型并在推理模式下运行这些模型。

每款芯片都旨在加速处理特定任务。例如,新款 MTIA 300 包含两个 RISC-V 内核以及多个采用芯片组设计组装的专用处理单元 (PE),专为 R&R 训练而设计。基于 MTIA 300 设计的 MTIA 400 则面向通用的元工作负载。MTIA 450 和 MTIA 500 是 MTIA 300 的升级版,它们引入了新的芯片组配置、更多的处理单元以及对新数据类型的支持,旨在应对规模最大、最复杂的 AI 工作负载。

Meta特别注重提升内存和处理器之间的数据传输速度,这通常是GenAI工作负载的瓶颈所在。MTIA配备了288GB HBM,HBM带宽为9.2TB/s;而同样拥有288GB HBM的MTIA 450,其内存带宽翻倍,达到18.4TB/s;MTIA 500则配备了384GB至512GB的HBM,内存带宽更是高达惊人的27.6TB/s。

打开网易新闻 查看精彩图片

计划于 2027 年应用于元数据中心的 MTIA 500 芯片,其 MX4(即 MXFP4,或微缩 4 位浮点运算)推理性能将达到 30 petaflops,而 MTIA 450 芯片的 MX4 推理性能为 21 petaflops。此外,MTIA 500 的热设计功耗 (TDP) 为 1700 瓦,而 MTIA 450 和 MTIA 400 的 TDP 分别为 1400 瓦和 1200 瓦。

这些数据与英伟达及其即将推出的 Rubin GPU 相比毫不逊色。Rubin 将提供每秒 22 TB 的 HBM4 带宽,比 Meta 声称其 MTIA 500 的带宽低 5 TB/s。在性能方面,英伟达表示 Rubin 将提供 35 petaflops 的 NVP4 训练能力和 50 petaflops 的 NVP4 推理能力。NVFP4 是英伟达去年为 Blackwell 架构推出的一种新的低精度数据类型,据称它能提供更高的精度和更低的量化误差,但代价是更高的复杂性和更低的压缩率。

Meta公司表示,MTIA 400是其首款自主研发的芯片,旨在与市场上速度最快的AI加速器竞争。该公司在今天发布的一篇博文中写道:“它结合了两个计算芯片,使计算密度翻倍,并且还支持增强版的MX8和MX4,这两种格式对于高效的GenAI推理至关重要,属于低精度格式。一个机架包含72个MTIA 400设备,通过交换式背板连接,即可构成一个单一的扩展域。”

该公司表示,MTIA 450 在 MTIA 400 的基础上增加了内存带宽,MX4 容量增加了 75%,新增了用于注意力机制和前馈网络 (FFN) 计算的硬件加速功能,并且能够有效地支持混合低精度计算。

打开网易新闻 查看精彩图片

MTIA 500 除了提供更高的原始 HBM 和内存带宽外,还进行了一些设计创新。例如,在 MTIA 500 中,Meta 将采用 2×2 配置,其中较小的计算芯片组“被多个 HBM 堆栈和两个网络芯片组以及一个提供 PCIe 连接到主机 CPU 和横向扩展网卡的 SoC 芯片组所环绕”。

MTIA 400、450 和 500 均采用相同的机箱、机架和网络基础设施,这使得芯片升级变得极其便捷。“我们将加速器架构设计为芯片组系统——这些独立的、可重复使用的构建模块用于计算、I/O 和网络,”Meta 写道。“由于每个芯片组都可以单独升级,我们可以在几个月内而非几年内完成改进。此外,不同的芯片组可以在不同的工艺节点上制造,从而在满足性能和功耗要求的同时,最大限度地降低成本。”

虽然 Meta 与 Broadcom 合作打造了自己的定制芯片,但它也是英伟达最大的客户之一,多年来购买了数百万块英伟达 GPU,包括 Grace、Blackwell 和即将推出的 Rubin GPU。

https://www.hpcwire.com/2026/03/11/meta-packs-gobs-of-hbm-into-homegrown-ai-accelerators/

(来源:编译自hpcwire)

*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第4343内容,欢迎关注。

加星标⭐️第一时间看推送

求推荐