为什么要本地跑
用接口的话，每发一段、每收一段都在花钱，而且上下文越长花得越多。我现在的用量账本里，本地这一栏的费用是 0。
今天跑了 72 次，输入 31 万 token，输出 5.5 万 token，重复读同一份上下文读了一千多万 token。这一千多万要是走接口，是要按量计费的。
说白了：本地跑省的不是输入的钱，是重复读同一份上下文的钱。这一句决定了它适合什么场景：同一个上下文反复问。一次性问答，省不了多少。
我的机器
不是什么服务器，就是一台普通电脑。显卡 RTX 5060 Ti，16G 显存。内存 64G。CPU 是 Xeon W-1350，6 核 12 线程。
跑的是 Strata，GitHub 上 26,921 星，免费开源。模型是 Qwen3.8-Flash-Next，1250 亿参数，压缩过的版本。
部署过程，一共五步
第一步，检查机器。安装前它会看你的显卡、内存、磁盘够不够。我这台显示：显卡 15.9 GB，内存 64 GB，都够。
第二步，双击 START-HERE.bat。它问四个问题：用哪个模型、用哪个压缩大小、多大上下文、要不要读图。我全程按回车，走推荐项。
第三步，下载。模型大约 70 GB，这一步只能等。
第四步，第一次启动。这一步最容易让人误以为卡死了。它会卡 1 到 3 分钟，往内存里塞 35 到 55 GB。官方说明里明确写了这是正常的，别关窗口。我第一次也差点关掉。
第五步，打开浏览器。地址是 127.0.0.1 加端口，三个标签：聊天、监控、关于。监控那一页能看到速度、显存、内存、温度，挺直观。
之后接自己的工具，填一个本地地址就行，模型名和密钥随便写。
跑起来之后是什么感觉
速度大概 50 到 60 token/s，比阅读速度快，比接口慢。
显存基本用满，16G 里只剩 400 多兆。内存被模型占着 55 GB，这台机器干别的会变慢。
功耗 70 到 106 瓦，温度 46 到 50 度。跑一小时大约 0.1 度电。
Monitor 页面：速度、显存、内存、温度、通道
⚠️ 注意事项
1️⃣ 门槛是硬性的。显存 12G 起，内存 32G 起，磁盘 80G 空闲，能用 SSD 就用。达不到就别折腾。
2️⃣ 压缩会掉智力。我用的这个压缩级别是为了塞进显存。它不是满血模型。要质量就得用更高级的压缩，那个需要 88G 以上内存，我这台跑不了。
3️⃣ 不设密钥就开到外部网络，谁都能连。我这台现在是无密钥加 0.0.0.0。只在本地用没问题，要手机或别的电脑连进来，必须设密钥。
4️⃣ 一次只能处理一个请求。默认是排队，第二个等第一个完成。
5️⃣ 装之前先跑一次速度测试。它自带测试脚本，先看自己机器能跑到多少，再决定装哪个级别。别下载完 70 GB 才发现跑不动。
6️⃣ 通道数要看清，别被提示吓到。安装检查提醒过我：这张卡支持 PCIe 5.0，主板是 4.0，当前跑在 8 条通道上。我以为是插错了，查了一下，RTX 5060 Ti 本身就是 x8，金手指就是半长的，所以那个 8 比 16 的提示是误报。改不了，也不用改。真正能改的是槽位：有些主板会把 x16 槽实际跑成 x4 或 x8，跟 M.2 抢通道。装之前确认一下自己插的是哪条槽。
最后一句
本地跑的真实代价不是钱，是硬件、下载、电费和压缩后的质量。
有 16G 显存加 64G 内存的人，这笔账划算。只是偶尔问两句的人，用接口更省事。
你机器什么配置，跑起来速度多少？评论区报一下。
热门跟贴