两台或多台 Windows 11 电脑,用一根 USB4 线缆连起来,就能把各自的内存和 GPU 算力凑到一起,跑同一个 AI 模型。微软在 11 月 19 日发布的博文里,把这个方案以开发者预览的方式放了出来。
打开网易新闻 查看精彩图片
它用的是基于 USB4 的远程直接内存访问,也就是 RDMA。这个概念可以拆开看:一台电脑能直接读写另一台电脑里获授权的内存区域,数据搬运过程中操作系统和 CPU 的介入被大幅减少。落到体验上,就是低延迟、高吞吐、CPU 占用更低。
过去要搭这种多机协同,通常得另购专用 RDMA 网卡,或者配置交换机。微软给出的路径是:符合要求的电脑通过 USB4 线缆连接,不需要这些额外硬件,借助兼容的推理框架就能调动各自的内存和 GPU 算力,共同运行一个模型。
延迟数据上,微软测试显示,单次传输数据量较小的情况下,电脑间通信的往返延迟约为 28 至 50 微秒,仅为同一 USB4 链路上传统以太网 UDP 方式的四分之一。
初步测试的配置和结果如下:
- 三台各配 128GB 统一内存的 AMD 迷你电脑,通过 40Gbps USB4 连接,运行 4 位量化的 2350 亿参数 Qwen3 模型,生成速度约每秒 18.5 个词元,AMD 自测约为 22 个。
- 三台搭载 AMD Ryzen AI Max+ 395 处理器的迷你电脑,同样通过 USB4 实现 RDMA 性能。
- 英特尔用四台各配 64GB 内存的酷睿 Ultra Series 3 电脑运行 GPT-OSS-120B,在约 1000 词元上下文下达到每秒 54.2 个词元。
这套思路有点像搭积木:单机内存和算力不够,就把几台机器的资源叠起来用。对想在自己手边跑本地模型的人来说,门槛从“买专用网卡、配交换机”变成了“插一根 USB4 线”。
热门跟贴