公众号记得加星标⭐️，第一时间看推送不会错过。
周二，Astera Labs 推出了一款可替代英伟达 NVSwitch 的产品，用于构建机架级 AI 系统，并声称该产品几乎可以与任何加速器配合使用。
这款代号为 Scorpio X 的 AI 架构交换机，将 320 条 PCIe 6.0 连接通道集成到单个 ASIC 中，双向带宽为 5.12 TB/s。
从历史上看，PCIe交换机已被用于各种应用，包括横向扩展计算架构。单靠CPU提供的通道数量不足或速度不够快，无法满足所有GPU、网卡和存储设备的需求。因此，与其将所有设备都连接到CPU上，不如使用PCIe交换机（通常集成在网卡中）将所有设备连接起来。
Astera 认为，对于足够大的交换机，PCIe 可以作为 NVLink 等互连技术的可行替代方案，用于扩展架构，使数十个或更多 GPU 的行为更像一个大型 GPU，而无需重新设计其加速器。
然而，Astera 并非仅仅打造了一款更大的 PCIe 交换机。Scorpio 还配备了与 Nvidia 的 NVSwitch 相同的许多网络内计算功能，这有助于加速集体通信。
这些通信对于生成式人工智能推理尤为重要。随着专家混合（MoE）架构的普及，大型语言模型从网络角度来看变得相当活跃。
MoE模型由多个称为专家的子模型组成。对于生成的每个标记，可以使用不同的专家模型组合，这些模型可能运行在不同的GPU上。
通过将集体通信转移到交换机，GPU 可以减少等待网络响应的时间，从而有更多时间生产代币。
Astera 甚至开发了一种针对 MoE 推理优化的多播操作，并将其称为 Hypercast。
Astera 产品管理副总裁 Ahmad Danesh 告诉 El Reg：“标准组播的局限性之一是实际可支持的组的数量，以及混合专家模型需要动态地随时更改这些组的特性。 ”
虽然使用 PCIe 作为芯片间互连具有明显的优势，但 Scorpio 并不能完全取代英伟达的 NVSwitch 芯片。NVSwitch 6 于今年 1 月的 CES 展会上发布，其带宽高达 14.4 TB/s，几乎是 Scorpio 的三倍。
然而，Astera 并不需要与 NVSwitch 直接竞争。事实上，Astera 早在去年春天就宣布了扩展对 NVLink Fusion 支持的计划，NVLink Fusion 是英伟达旨在将其高速互连技术开放给更广泛生态系统的尝试。
相反，Scorpio 的定位更像是与厂商无关的替代方案。像 NVLink Fusion 或新兴的 UALink 协议这样的技术正在获得越来越多的关注，但芯片的设计需要围绕这些技术展开。
PCIe几乎可以兼容所有设备，因为它本身就用于加速器的数据传输。例如，如果您想将32张或更多Nvidia RTX Pro 6000 Server显卡连接起来，则需要一个PCIe交换机，因为这些GPU根本不支持NVLink。
PCIe 还使得混合搭配芯片以构建解耦推理架构变得更加容易，就像我们看到的 Nvidia 和 Groq、AWS 和 Cerebras，或者 Intel 和 SambaNova 一样。
这些架构采用一种加速器进行计算密集型的预填充操作，另一种加速器进行带宽密集型的解码操作。为了实现这一点，芯片之间必须相互连接。许多人工智能芯片制造商目前使用以太网进行连接，但 PCIe 连接会更加直接。
除了 Scorpio X 系列芯片外，Astera 还推出了 Scorpio P 系列交换机，其型号的 PCIe 连接通道数从 32 条到 320 条不等。
所有这些交换机都与 COSMOS 管理套件配合使用，这是一个硬件监控平台，旨在帮助追踪和解决整个网络结构中的问题。
Astera全新升级的Scorpio交换机目前正在进行样品测试，预计将于2026年下半年开始量产。
Astera Labs Scorpio 320通道PCIe交换机更新
Astera Labs即将推出Scorpio的最新更新，但我们应该关注的并非又一次AI架构的品牌宣传。关键在于320条PCIe通道。在如今的PCIe交换机市场，这已经算是相当大了，更多的通道意味着系统设计人员可以用更少的交换芯片和更少的跳数连接更多的设备。
之所以要提及较早的 Scorpio 架构，是因为 PCIe 交换是服务器设计中非常实用的一部分。CPU 平台拥有的 PCIe 通道数量有限。GPU、网卡、NVMe SSD、DPU 和其他加速器都需要连接。更大的交换机为设计人员提供了更多连接这些设备的选择，可以将系统划分为不同的拓扑结构，并避免小型交换机级联带来的不便。
对于目前的市场而言，320通道的交换机算是相当大的。也很容易理解为什么Astera能以这个数量领先。每个PCIe设备16条通道，20个设备正好是320条通道。
Astera 的幻灯片显示，Scorpio X 系列 320 通道 AI 交换矩阵交换机现已开始向领先的超大规模数据中心发货。幻灯片还指出，更广泛的 Scorpio P 系列交换机通道数范围已扩展至 320 通道。这一范围至关重要，因为并非所有设计都需要最大容量的产品。有些系统只需较小的 PCIe 交换机即可实现网卡扩展或 SSD 扩展。而另一些系统则需要容量更大的交换机，才能将多个加速器集成到单个机箱或交换矩阵域中。
Astera 发给我们的演示文稿中最有用的幻灯片是 144 通道和 320 通道的对比。除了带宽更大之外，更大的交换机意味着实现大型拓扑结构所需的交换机总数更少。这就像我们在网络交换机中讨论的基数一样。
Astera展示了一些案例，说明了新型交换机在不同拓扑结构中的应用价值。通常情况下，如果你在Astera Labs的幻灯片上看到这类交换机，就意味着某个超大规模数据中心、人工智能芯片/系统设计公司或类似类型的客户正在寻求部署此类系统。
Hypercast 是 Astera 的数据复制引擎，用于执行诸如全集、全分散和全连接等操作；而网络内计算则针对诸如全缩减和缩减分散等操作。大型 GPU 系统不仅需要进行计算，还需要花费大量时间在数据传输上。如果交换机能够减少重复流量或辅助执行集体操作，那么该网络架构就能提高每瓦令牌数。NVIDIA 和 Broadcom 就是在网络领域践行这一理念的典型例子。
服务器的 PCIe/CXL 连接芯片构成了一个完整的芯片领域，而且这个领域正在快速增长。博通多年来一直主导着这个领域，但 Astera Labs 凭借 PCIe 重定时器芯片站稳了脚跟，并已开始向其他设备领域拓展。十年前，320 通道交换机或许还只是个新鲜事物，而不是人们认为的明确需求。
（来源： 编译自theregister）
*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第4398内容，欢迎关注。
加星标⭐️第一时间看推送
求推荐
热门跟贴