英伟达在其数据中心架构的设计上采取了一项颠覆性措施——摒弃部分光模块，转而采用铜缆进行内部互联，这到底是怎么回事？看到网上有人说搞了几十年的光进铜退，现在要反着来吗？那么光模块数量的需求会减少吗？根据其描述，基于最新一代 NVLink Switch 芯片，GB200 可实现576颗 Blackwell GPU 组成计算集群，超越上一代 GH200 支持的 256 颗集群规模。在GB200方案中，其单台机架中配置了36颗GRACE CPU和72颗Blackwell GPU，通过铜缆的方案将该72颗 Blackwell GPU 进行互联。
GB200 单机柜方案中采用铜缆进行互联
针对网上狼来了的看法，不禁用两个但是但是，上一代GH200机柜内部不也是用的铜缆而非光模块么，所以GB200单机柜内部采用NVLink5.0铜缆电连接并不稀奇。综合英伟达的方案，我们分析：小于72个GPU以内的小型集群，英伟达可以全部采用铜缆进行内部互联，无需使用光模块。但是当GPU数量上升至72-576个区间时，也就是跨机柜场景（单机内部还是铜互联），必须大量使用光模块了，无论是800G还是未来的1.6T。对于超过576个GPU的集群的外部互联，第三层网络采用InfiniBand技术。由于NVLink5.0双向带宽已提升至1800GB，对应单向带宽为900GB，若采用800G光模块传输+2层网络架构，（900GB*8/800Gb）*2=18个，即GB200与800G光模块的配比关系为1:18；如果采用1.6T光模块，配比关系为1:9.
数据中心高速铜缆未来可期
如上提到200G铜缆支持7米，400G铜缆为2.5米，800G铜缆则限于1米；由于机柜功耗的限制，服务器到交换机的连接距离很多场景下往往需要达到甚至超过7m，所以早期25G服务器到交换机连接的方式以有源光缆为主，而直连铜缆方案，由于理论上只能支持到5m的应用，使得其应用大为受限。在保证低成本的前提下，如何延长铜缆连接距离，有效的方式有两种：一种是基于信号时钟恢复的Retimer方案，一种是基于信号放大的Redriver方案，根据信号传输的特点，近几年芯片公司都有结合硬件对软件进行了优化，包括成本包括线缆材料选择包括接口方案等，外部线目前的技术硬件前提下，IEEE802.3cd要求50G PAM4调制下的线缆满足在13.28GHz下的SDD21小于17dB，而实际大规模生产出来的线缆，超过2.8m长的距离，已经超出这个标准。另一方面，虽然50G PAM4调制下的基准频率与25G NRZ相差不大，但对于信号输出强度更加敏感，中高频的衰减相比于25G NRZ带来的误码代价更高，因此在50G PAM4的应用和设计上我们倾向于更大的冗余度，现有技术前提下，铜线的使用长度仍然将限制铜缆的未来增长，当然主要说的是外部数据线，设备和设备连接的部分，所以我们说的“光退铜进”应该说的主要是外部线系列，而对应内部线，铜缆将会持续很长时间，目前一种将多个物理通道合并为一个高速数据流的接口技术高速接口的Mini Cool Edge IO(MCIO)崭露头角，其全称多通道输入/输出，根据应用需求，MCIO接口分为多种类型，其中MCIO 4I和MCIO 8I是最常见的两种。MCIO 4I将四个物理通道合并为一个高速数据流，实现了数据的并行传输，有效提升了数据传输的效率和实时性。它支持多种数据传输协议，如PCIe、CXL等，可以满足不同设备和应用的需求。MCIO 4I在服务器、数据中心等设施中得到了广泛应用，为高性能计算和数据中心的稳定运行提供了强有力的支持。相对于MCIO 4I，MCIO 8I将八个物理通道合并为一个高速数据流，进一步提高了数据的传输速率和吞吐量。它具有更高的带宽和更低的延迟，可以满足更为苛刻的数据传输需求。MCIO 8I主要应用于需要更高数据传输速率和更大吞吐量的应用场景，如超级计算、云计算等;MCIO目前阶段可以说是在适当的时间点出现的适当的数据接口，技术性能没有问题的大前提下.
对市场的看法
短期效应，光模块需求减少，高速线需求剧增，由于GB200方案通过改进的NVSwitch架构和铜缆互联大幅提升了单机柜内部的算力密度，原本需要更大规模集群才能达到的计算需求现在仅需较少数量的机柜就能实现，这意味着在一定规模的集群内部，光模块的使用数量将显著下降，特别是在中小规模的集群搭建中，光模块的需求被大量取代。
长期趋势，尽管在单机柜内部采用铜缆互联，但随着数据中心规模不断扩大，特别是当需求超出单机柜范围时，机柜间的互联仍需依赖光模块，而且随着对更大规模算力集群的需求增加，光模块的使用仍然是必不可少的，只是需求层次发生了变化，即从集群内部转向集群间互联。此次的G200设计铜缆，但并不意味着“铜”的持续增长，在数据中心标准化快速发展，数据中心硬件设计更加极致化的今天，“光”与“铜”需要结合自身的优势，分别承担好自己的“角色”，更好的为数据中心网络服务。
热门跟贴