11月19日,微软宣布在Windows 11上启用基于USB4协议的远程直接内存访问(RDMA)技术。多台PC无需专用网卡或网络交换机,即可串接起来共同处理大型工作负载。
由此,AI推理不再受单机规格限制,数据可分散至几台互联设备上处理,上限取决于设备数量与各自配置。
随着AI时代的到来,通过多机连接协同处理大型工作负载,成为不少用户的选择。
英伟达近期推出的DGX Spark HPC开发者套件即为例证:四台DGX Spark系统组成集群,无需另购网络交换机,就能从单节点扩到四节点,为研究人员开辟了新的可能性。
微软公布的实测数据显示,在双机互联环境下,RDMA经USB4连接的延迟为28至50微秒;同一USB4链路上采用UDP封包的以太网方案则为116至194微秒,约为RDMA的四倍。
延迟更低的直接受益者是对响应敏感的任务,AI推理即为其中之一。
USB4单链路最高数据传输速率为80Gbps,足以支撑内存之间的数据搬运。
每台PC各自构成独立的USB4域,Windows连接管理器在两者之间创建点对点隧道,数据在双方已注册的内存区域间直接传输,省去额外的封包与解包环节。
借助RDMA,一台机器可以直接读写另一台机器的内存,双方的操作系统协议栈被绕开,每一次搬运也不再需要CPU介入。
这一方式把以往只有以太网卡和InfiniBand才具备的能力,搬到了普通数据线上;代价是集群规模取决于USB端口数量,而非网络交换机。
市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:闻野
热门跟贴