125B 的大模型,以前得靠服务器级的硬件才能跑起来。现在一台普通家用 PC 就够了。Sync-Strata 刚发布,把这事儿做成了一键操作,不用命令行敲半天,也不用懂什么量化格式。
Sync-Strata 是本地推理框架 Strata 的一个分支,跑的是 Qwen3.8-Flash-Next,一个 125B 参数的 MoE 模型。它把模型重新量化成三个版本——Sync-XS、Sync-S、Sync-M,速度比上游原版还快。自带的聊天应用 dsh,能从桌面、手机、命令行、OpenAI 兼容 API 四个口子用。
你的机器能不能跑
先看硬件门槛,不达标就别白折腾。
显卡方面,NVIDIA RTX 30、40 系列直接支持;RTX 20、GTX 16、RTX 50 系列预期可用;AMD 的 RX 6000、7000、9000 系列走 HIP 引擎,属于实验性支持。显存低于 8GB 的直接不行,引擎起不来。Mac 不支持,Intel 核显也不支持。
系统要 Windows 11、Windows 10(1803 以上)或 64 位 Linux(glibc 2.28 以上,Ubuntu 20.04、Debian 10 起步)。NVIDIA 驱动要 R580 以上(CUDA 13),老的 GTX 10 系列、V100、Titan V 走 CUDA 12 引擎,驱动要求 576.57 以上。CPU 必须支持 AVX2,没有 AVX-512 会慢大概 10%。
可照做:安装就三步
Windows 和 Linux 流程差不多,都是下载、装、开。
Windows:从 Releases 下载 `SyncStrata-<版本号>.zip`,解压到一个路径不含非 ASCII 字符的目录(避免中文路径出问题),双击里面的 `setup.cmd`,它只补装缺的东西,再跑一遍也没事。装完桌面上打开 Sync-Strata,第一个界面就是帮你装模型。
Linux:下载 `SyncStrata-<版本号>-linux.zip`,解压,终端里跑 `./setup.sh`,然后从应用菜单打开。程序放在 `~/.local/share/SyncStrata`,配置和聊天记录在 `~/.config/SyncStrata`。
装完不用管 Python、Node 这些,全打包进去了,不需要管理员权限。
按内存选模型
模型大小跟着你机器的内存走,应用默认会按这个帮你选:
-内存 24GB 或更少:选 Sync-XS(约 24GB)
-内存 32GB:选 Sync-S(约 28GB)
-内存 48GB 或更多:选 Sync-M(约 35GB)
磁盘要留够:应用本身约 2GB,每个模型都有约 35GB 的共享部分,再加上模型本身。模型放 NVMe 固态上最理想。
四种用法
装好模型后,怎么用都行。
桌面:点桌面图标打开,关窗口时可以选只关应用、关应用加 dsh、还是全关。只关应用的话,引擎和 dsh 还在后台跑。
手机:在 PC 屏幕上把"手机连接"设成"同一 Wi-Fi",用手机扫出现的二维码。人在外地就用 Tailscale。二维码是一次性的,3 分钟过期;长期密钥不离开 PC。
命令行:安装目录下跑 `sync`(Linux 是 `./sync.sh`)。常用命令:
```bash
sync up # 启动引擎和 dsh
sync up --api-only # 只起 API
sync status # 看在不在跑、用的哪个模型、速度
sync chat # 终端里直接聊
sync down # 全部停掉
API:默认在 `http://127.0.0.1:8080/v1`,兼容 OpenAI 的 `/v1/chat/completions`、`/v1/responses`、`/v1/models`,也兼容 Anthropic 的 `/v1/messages`。别的机器要连,得先在 `sync api` 里拿密钥。
速度实测
作者用一台 Ryzen 7 7800X3D、32GB DDR5、RTX 3080 12GB 的机器测了(数据来自仓库公开基准):
-Sync-S,tail skip 设 R4:decode 144.0 tok/s,prefill 597 tok/s,dsh 聊天 104.1 tok/s
-Sync-S,R7:decode 127.5 tok/s,prefill 648 tok/s
-Sync-S,R10:decode 104.6 tok/s,prefill 593 tok/s
-上游 Gyro-S 默认:decode 72.6 tok/s,prefill 241 tok/s
同样这台机器,Sync-S 最快档的 decode 速度是上游默认的两倍。tail skip 这个参数控制每个 token 用多少专家,R4 最快、R10 质量最高,auto 会按你的机器自动选。
注意
- 现在还标着实验性,模型和引擎格式跟上游 Strata、llama.cpp 不通用,不能直接换模型文件。
- Mac 不支持,Intel 核显不支持,显存 8GB 是硬底线。
- 上下文长度和量化格式默认走 auto,跟着你的显存走:12GB 以上显存给 256K 上下文、k8v4 量化;8-9GB 显存降到 64K、k4。
- 版本还在迭代,Linux 上的速度数据官方还没测完,Windows 数据是实测的。
Sync-Strata 把"在家用 PC 上跑 125B 大模型"这件事降到了门槛很低。装个软件、选个模型、开起来就能用,速度还比原版快。你的机器只要过了硬件门槛、内存够,剩下就是点几下的事。
热门跟贴