Colibri(JustVugg/colibri,纯 C、零依赖、Apache-2.0)真正改掉的是另一件事:

以前本地跑大模型,第一道闸是「显存装不装得下」;它把这道闸,挪成了「你那块 SSD 够不够快、够不够大」。

不是变快了,是门槛换了地方。而这一步,比多一张显卡有意思得多。

一、它到底干了什么:把硬盘当成了显存的下层

MoE 模型有个天然缺口:参数巨大,但每个 token 只叫醒几个专家。

以 GLM-5.2(744B)为例,每个 token 实际激活约 40B(约 5.4%);注意力、embedding、共享专家这些「每步都要用」的 dense 部分约 17B,int4 压完约 9.9GB 常驻内存;剩下的两万来个路由专家、约 370GB,全躺在盘上,路由到谁现读谁。

打开网易新闻 查看精彩图片

三层不是三个缓存,是一条责任链:越热越贵,越冷越慢。89% 是项目在六卡机上的热缓存命中率

于是记忆被摊成三层:

VRAM 放最热的那批专家,近零延迟;RAM 放温专家和常驻 dense,按使用历史排位;NVMe 放冷尾部和全量权重,只读、按需流式。

再叠上每层 LRU、学习型热存(记住你的路由习惯)、往前预取一层,边算边读,热区越用越准。

项目那句自我约束我挺买账:放置只决定速度,绝不静默改精度或路由语义;快内存不够就慢,不许偷偷把模型换掉。

v2.1.0(2026-10-31)又补了两刀:原生 GGUF 导入(coli import model.gguf,不用转格式)、Linux/Windows Vulkan、Windows CUDA、macOS Metal 一起落地。

但「能导 GGUF」不等于「随便一个 GGUF 都能跑」。它是每个模型家族一份手写 C 引擎,支持面以特定 MoE 家族为主(GLM、Kimi、DeepSeek V4 Flash、Qwen 部分 Flash、OLMoE 等),名单随版本在扩,常规 dense 小模型反而不是它的主场。先跑一次 --list 看这台机器能装谁,别先下 300GB。

二、先算账:省的是显卡钱,花的是时间和盘

打开网易新闻 查看精彩图片

最划算的是第二行:加一张 5070 Ti,从十几秒直接跳到 0.9 秒

同一台机器、同一个 744B 容器,变的只是专家住哪层。25GB 笔记本冷启动全走盘是 0.05–0.1,单张 5070 Ti 加 32GB 约 1.07,128GB 纯 CPU 台式约 1.8,6 张 5090 全驻留约 6.8。差距一百多倍,中间隔的不是模型,是专家住哪儿。

盘这头更硬:最小模型也要 8GB 内存加 22GB 空闲盘;GLM-5.2 int4 容器约 372GB;Kimi K3(2.8T)快照约 1.56TB,实测约 9.4 秒一个 token——那是「证明设计撑得住」,不是日常能用。

一句收口:它把「买不买得起卡」换成了「等不等得起、盘够不够快」。

SSD 随机读就是模型速度;机械盘、WSL 里放 /mnt/c,都会慢到怀疑人生。

三、四步装完,命令直接抄

打开网易新闻 查看精彩图片

第二步最省事,也最容易误会:缺依赖时它先退回 CPU,装完再跑一次才为 GPU 重编

四步的骨架在这张图里。下面只说图上写不下、但真会卡住人的三处。

第一处,依赖。 Linux 要 git / python3 / build-essential,macOS 要 xcode-select --install 和 libomp。缺哪个它会打印确切的安装命令,然后先退回 CPU 跑起来。装完再跑一次,才会为 GPU 重编。很多人第一次装完发现还是 CPU,就是少跑了这一遍。

第二处,地址。 控制台是 127.0.0.1:8000,OpenAI 兼容接口是 127.0.0.1:8000/v1,Anthropic 也是 127.0.0.1:8000。支持 OpenAI 兼容的客户端,只改 Base URL,api_key 填占位就能指过来。

但 8000 不是新界面。v2.1.0 的聊天 UI 在 8790,顺序是先 serve 再 ui。对着 8000 找新面板,会以为装坏了。

打开网易新闻 查看精彩图片

左边问的是「蜂鸟怎么悬停」,右边十六个专家块同时亮着。这个巧合,不是巧合

装完之后,右边这块面板能看见哪些专家被点亮:蓝块是这一步被选中的,橙块是这一轮答话里用过的。它不跟你说「在思考」,它告诉你哪个专家上班了。

第三处,命令。 常用的就这几条:

./start-here.sh --list # 列出「谁装得下、谁为什么装不下」

./start-here.sh --model ID --dir /nvme/colibri-models # 指定模型 + 换盘

./start-here.sh --backend vulkan|cuda|cpu # 或 --no-gpu

./start-here.sh --reconfigure # 换模型,重新认一次

./coli status / ./coli stop # Windows: coli.cmd

./coli plan|doctor|tune --model DIR # 分层规划 / 只读体检 / 调参

./coli chat|web|serve --model DIR # 终端聊 / 起面板 / 起服务不开浏览器

plan / doctor / tune 三件最值:部署前先分清是内存不够、盘不够,还是 GPU 后端根本没启用。

卸载也干净:coli stop 之后删源码目录和模型目录(默认 ~/colibri-models 或 --dir 指定的那个),不留系统级残留。

接桌面 Agent 那一下,和之前本地桥是同一套规矩:只绑 127.0.0.1、不端口转发、不填公网地址、不把本地 API 当「免费无限」。软件开源不等于链路可以摊出去。

四、这层特有的翻车,认一下脸

把「跑起来了」当「能用」。 25GB 笔记本确实开口了,但十几秒一个字。先拿小模型把链路跑通,再决定要不要下 372GB。

端口记混。 8000 是网关自带的旧面板和 API;v2.1.0 新聊天 UI 在 8790。先 serve 再 ui,别对着 8000 找新界面。

下错量化容器。 GLM-5.2 老逐行 int4 镜像实测质量差约 9 个百分点,还是早期「思考模式循环 / 生成不终止」的根因;官方推 gs64 分组量化加 int8 MTP 头。

投机解码不是稳赚。 专家命中率约 85% 那档,MTP 反而测到过 32% 性能损失,能关就关、开前先量。

真实缺口别装看不见。 --auto-tier 偶发静默丢显存层、Windows CUDA DLL 选错设备、Vulkan 后端不释放资源、多核机 OpenMP 线程规模差 14 倍——项目自己挂着,不是营销话术能盖的。

引擎许可不等于模型许可。 colibri 本体 Apache-2.0 可商用;权重由各自发布方授权,不随引擎一并授出,逐项核。

它是实验性推理引擎。 无速度 SLA,工具与 grammar 各引擎只接了一半,别拿它顶生产接口。

五、四条没松的线

第一,本地不等于随便开。 8000 / 8790 只留本机。别为了「在外面也能调」做端口映射;要远程,走你本来就该走的正规通道。

第二,盘先于模型。 下单(下载)之前先 --list 加 doctor。1.56TB 不是「试试看」的量级,断点续传救得了断网,救不了没地方放。

第三,别拿它替掉日常小模型。 8B/14B 的活,Ollama / llama.cpp 全驻留秒回;colibri 的战场是「原本根本装不下的 MoE 巨物」。拿幻灯片速度干日常,是拿对的工具打错的仗。

第四,版本与名单以仓库当前页为准。 star 在滚、引擎在加、v2.1.0 的 GGUF 与后端支持都在变。别照搬别人截图里的 --model ID。

收一句

「47.9K Star」最容易被写成「以后不用买显卡了」。

我读到的反而是句挺冷静的话:

它把「显存不够」这道死闸,拆成了「盘够不够、等不等得起」两道活闸。显卡钱省了,SSD、时间、和对「什么算能用」的清醒,一样都没省。

纯 C 单文件、零依赖、专家从盘里按需流出来、面板上能看着哪个专家被点亮——这套东西最牛的甚至不是 744B 能开机,是它把「跑不动」诚实地标成了「跑得慢」,不偷偷降精度糊弄你。

工具接走的是「装不下」;留下的是最不该交出去的三下:

这模型值不值得下 372GB、这速度我等不等、这结果我核过了签不签。

蜂鸟几克重,能悬停,不代表能驮人飞。

能跑起来,和跑得动,中间还隔着一整块 NVMe。

文中 star、速度、容量与功能为公开报道及项目文档口径,非本人实测;版本、支持模型、端口与许可以仓库当前页面为准。本文为工具使用复盘,不构成投资或采购建议。

下 载 之 前

先 --list 看谁装得下,再 doctor 看缺什么
372 GB 不是「试试看」的量级