打开网易新闻 查看精彩图片
48GB 的大模型,笔记本只有 32GB 内存,跑得动吗?Janas 说:能,而且比 llama.cpp 还快。
它是一个用 C 写的本地大模型推理工具,专门面向混合专家(MoE)模型。一个 800 亿参数的模型,在普通笔记本上就能边读边答。
它的思路很特别
常规推理要把模型权重全塞进内存或显存,装不下就跑不动。Janas 换了个策略:
权重留在磁盘上,每个 token 需要哪个专家,就从 NVMe SSD 流式读哪个;反复被用到的专家才缓存进内存。
这样一来,模型比内存大也没关系——你在跟它聊天,它就按需从硬盘取"零件"。而且它用 C 写,除了 C 标准库几乎零依赖。
性能:比 llama.cpp 还快
在一台 Intel Core Ultra 9、32GB 内存、核显的笔记本上实测:
- Qwen3-Next-80B(48GB):Janas 写 24 tok/s,llama.cpp 只有 2.8 tok/s;读 prompt 时 62 vs 16 tok/s
- 几乎所有对比模型,Janas 都比 llama.cpp 快
它还带"草稿预测"加速:小模型先猜下一段 token,大模型再校验,聊天气泡里能提到 37 tok/s 以上。
安装:下载即用
Linux x86-64:
curl -LO [https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz](https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz)tar xf janas-linux-x86_64.tar.gz && cd janas./janas-chatWindows 10/11:下载 janas-windows-x86_64.zip,解压后在终端运行 .\janas-chat。
启动后它会列出认识的模型,选一个就自动下载并校验。
想从源码编译(可选 GPU):
sudo apt install build-essential libvulkan-dev glslang-tools vulkan-tools./build.sh使用:几个常用命令- janas-chat:直接聊天,认识的模型自动下载
- janas-server:起一个兼容 OpenAI 接口的 HTTP 服务,还能给 VS Code 补全代码
- janas-mcp:把模型作为 MCP 工具接给 Claude Code 等客户端
- janas-bench:测你自己机器的速度
作者反复强调:这是实验项目,不是产品。它会把空闲内存塞满专家缓存、用 O_DIRECT 全速读盘,机器吃紧时桌面可能卡顿甚至卡死(GPU 驱动也崩过一次)。
建议首次在空闲机器上跑,并用参数控制:
./janas-chat --cache 16GiB # 限制内存占用JANAS_GPU=0 ./janas-chat # 完全不用 GPU聊天中 Ctrl-C 中断回答,Ctrl-D 退出。
小结
一句话:Janas 把"大模型必须大内存"的规矩打破了,靠磁盘流式加载让 80B 模型跑进 32GB 笔记本,且速度反超 llama.cpp。目前仍是实验阶段,适合愿意折腾的本地部署爱好者尝鲜。
- GitHub 仓库:https://github.com/prabanta-dev/janas
- 模型权重(Hugging Face):https://huggingface.co/prabanta-dev
- 开源协议:GPL-3.0-or-later(模型权重遵循各自原许可)
热门跟贴