本地跑大模型提速一倍：免费开源引擎Magnitude火了|上下文|开源引擎|旗舰基座模型|智能体|编程

9月30日，YC S25 批次的 Magnitude 团队把自研推理引擎完整开源：不换模型、不换硬件，同一个开源模型在你自己的电脑上最快能比 llama.cpp 快一倍，Apache 2.0 协议，零 token 费用。

一、发生了什么：开源一天，5700 颗星

9月30日，YC S25 批次初创团队 Magnitude 在 Hacker News 上发布 v0.2.0：一个用 Rust 写的本地推理引擎，专门给 AI 编程智能体（Codex、Claude Code、Cline 这类）当「本地发动机」。开源不到一天，GitHub 星标冲过 5700，登上 HN 首页。

它解决的问题很具体：开源模型的能力已经够用，但想跑在自己电脑上，速度总差一口气。llama.cpp、Ollama、LM Studio 这些主流引擎，出厂时内核是为「一类硬件」预编译好的——你的那块具体芯片，总有性能被白白浪费掉。

二、为什么快：内核在你机器上「现场编译」

Magnitude 的思路来自编译器领域的老办法——按设备调优。模型运行前，引擎先在你的设备上现场编译、实测多组计算内核参数，挑出对这块芯片最快的实现。权重一份不改，速度直接受益。

官方给出的对比数据（Qwen 3.6 35B-A3B，4-bit 量化，64K 上下文，关闭投机解码）：

• Mac M4 Pro 48GB（Metal）：解码从 30 tok/s 提到 57 tok/s，快 92%，接近翻倍；预处理 466→507 tok/s，快 9%

• 英伟达 DGX Spark（CUDA）：解码 49→58 tok/s，快 19%；预处理 2033→2507 tok/s，快 23%

简单说，苹果芯片用户收益最大，N 卡用户也有约两成提升。要提醒的是，这些数字全部来自官方自测，尚无第三方复现，但方向已经足够诱人。

三、不只是快：省显存、抗并发、数据不出门

• 内存弹性伸缩：只为模型权重常驻保留内存，会话结束即释放，官方实测每个智能体省 27% 内存

• 并发不打架：多个智能体同时干活时共享前缀缓存，开第二个窗口不会把速度腰斩

• 自带投机解码：DFlash、DSpark、DFlash2 草稿模型开箱即用，速度还能再往上叠

• 隐私天然达标：模型下载完即可全程断网使用，提示词、文件、输出都不离开本机

一键接入 Codex、Claude Code、Cline 等主流编程智能体

四、8GB 显存能跑什么？官方目录直接查

Magnitude 内置了 15 个模型的目录，覆盖 Qwen、Gemma、Meta、NVIDIA、OpenBMB 等主流开源家族，每个模型按 Q4—Q8 不同量化档标好体积，并给出「智能指数」——即相对当前最强模型的智力百分比。装好后它会先给你的机器做体检，下载之前就告诉你这块显卡大概能跑出多少 token 每秒。