一位律师在 Reddit 社区晒出了自己的私人 AI 服务器账单:9,450 美元,约合 63,239 元人民币,换来的是 12 张二手英伟达 V100 显卡组成的本地推理集群。

打开网易新闻 查看精彩图片

这套硬件全部是 NVIDIA Tesla V100 SXM2 32GB,通过 NVLink 与 PCIe 连接,组成可协同推理的本地集群。发帖者 u/TumbleweedNew6515 于 11 月 20 日发帖,称集群最高吞吐量达到每秒 184 个词元。

软件侧跑的是 DeepSeek-V4.1-Flash,采用 4-bit NVFP4 量化。系统结构为 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)。发帖者称,每个专家被压缩至约 15,360 个参数,使 12 张 V100 能分别承载模型中的专家分片。

性能对比上,这位用户称在单请求、单流场景下,该服务器优于已公开的 4 台英伟达 DGX Spark 组合:代码生成速度快约 15% 至 45%,普通文本生成速度也更高。

成本账同样直接:整套系统约 9,450 美元,约为三台 DGX Spark 组合价格的一半。代价写在明面上——功耗最高可达约 2,100W,噪音较大,并不适合普通办公环境。

二手卡、量化、专家分片,三件事凑在一起,把一台原本进不了办公室的机器,变成了能跑大模型的私人推理节点。