内存现在贵得离谱。一条 64GB DDR5,去年八月还卖一百多美元,今年翻到一千一往上。想跑个 70B、120B 的大模型,单台机器内存根本不够,又买不起更多内存。

但家里那几台吃灰的旧电脑,内存还闲着。llama.cpp 自带的 RPC 功能,能把几台机器的内存拼成一个"大内存",一起跑一个大模型。r/LocalLLaMA 上有人用三台旧设备拼出 40B 模型,跑到 16 tok/s,实测能跑。

打开网易新闻 查看精彩图片

核心原理:内存带宽有快有慢

拼内存不是简单把容量加起来。真正决定速度的是带宽,不同内存之间差很多:

- 显卡显存(VRAM):360~480 GB/s,最快

- Apple Silicon 统一内存:100~150 GB/s

- 本机系统内存(DDR4/DDR5):35~50 GB/s

- 局域网远程内存:千兆网约 125 MB/s,最慢

所以拼内存要分层:快的显存跑前面几层,慢的远程内存跑后面几层。所谓层分片,就是按这个顺序把模型切到不同设备上。

能跑多大,看拼了多少

有人拿一台 12GB 的 RTX 3060 迷你主机加一台 Mac mini,拼起来跑 30B 模型,实测 30~32 tok/s。三台设备(迷你主机、Mac mini、旧笔记本)拼起来跑 40B,跑到 16 tok/s。容量拼够了,速度就看网络和分层调度。

可照做:llama.cpp RPC 命令

不用买硬件盒,llama.cpp 自带 RPC,就能拼。顺序是先开工作节点(worker),再开主服务器(master)。

在每台要贡献内存的设备上,启动 worker:

```bash

ggml-rpc-server -H 0.0.0.0 -p 50052 -d CUDA0

端口 50052 是 RPC 默认端口,`-d` 指定用哪个设备(CUDA0 是显卡,纯 CPU 就写 CPU)。每台 worker 换个端口,第二台用 50053。

在主服务器上启动 master,把 worker 挂上:

```bash

llama-server -m model.gguf \

--rpc http://192.168.1.10:50052 \

--rpc http://192.168.1.11:50053 \

-ngl 999 -c 8192

`--rpc` 后面填每台 worker 的地址和端口,可以挂多个。`-ngl 999` 是尽量把层往加速设备上放,`-c 8192` 是上下文长度。

关键一点:完整 GGUF 只由 master 读取。worker 不用存一份完整模型,它只出算力、跑分到的层。模型文件放 master 那台就行。

省事方案:RAMDeck

不想手搓命令,可以看 RAMDeck。它把几台设备的内存自动拼起来,配一个硬件盒(众筹价一百多美元),自动发现设备、自动分层、带网页面板,支持 Windows、Mac、Linux、Android、iOS。它的公开仓库(Apache 2.0 加 Commons Clause)只是参考快照,完整体验要靠商业产品。想省事、愿意花钱,用它;想免费手搓,直接 llama.cpp RPC。

注意

- 启动顺序别反:先 worker,后 master。

- 跨设备拼内存,速度会被最慢的环节拖住,远程内存那层是瓶颈。

- 端口、IP 按你局域网实际情况改,别照抄。

- 内存带宽差很多,拼之前想清楚哪台跑哪层。

打开网易新闻 查看精彩图片
打开网易新闻 查看精彩图片

内存贵,旧电脑的内存不贵。用 llama.cpp RPC 把几台吃灰的机器拼起来,容量上去了,大模型就能跑。想省钱就手搓命令,想省事就上 RAMDeck。不管哪种,核心都是按带宽分层,把模型拆开,分到各台机器。