打开网易新闻 查看精彩图片

48GB 的大模型,笔记本只有 32GB 内存,跑得动吗?Janas 说:能,而且比 llama.cpp 还快。

它是一个用 C 写的本地大模型推理工具,专门面向混合专家(MoE)模型。一个 800 亿参数的模型,在普通笔记本上就能边读边答。

它的思路很特别

常规推理要把模型权重全塞进内存或显存,装不下就跑不动。Janas 换了个策略:

权重留在磁盘上,每个 token 需要哪个专家,就从 NVMe SSD 流式读哪个;反复被用到的专家才缓存进内存。

这样一来,模型比内存大也没关系——你在跟它聊天,它就按需从硬盘取"零件"。而且它用 C 写,除了 C 标准库几乎零依赖。

性能:比 llama.cpp 还快

在一台 Intel Core Ultra 9、32GB 内存、核显的笔记本上实测:

  • Qwen3-Next-80B(48GB):Janas 写 24 tok/s,llama.cpp 只有 2.8 tok/s;读 prompt 时 62 vs 16 tok/s
  • 几乎所有对比模型,Janas 都比 llama.cpp 快

它还带"草稿预测"加速:小模型先猜下一段 token,大模型再校验,聊天气泡里能提到 37 tok/s 以上。

安装:下载即用

Linux x86-64:

curl -LO [https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz](https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz)tar xf janas-linux-x86_64.tar.gz && cd janas./janas-chat

Windows 10/11:下载 janas-windows-x86_64.zip,解压后在终端运行 .\janas-chat。

启动后它会列出认识的模型,选一个就自动下载并校验。

想从源码编译(可选 GPU):

sudo apt install build-essential libvulkan-dev glslang-tools vulkan-tools./build.sh
使用:几个常用命令
  • janas-chat:直接聊天,认识的模型自动下载
  • janas-server:起一个兼容 OpenAI 接口的 HTTP 服务,还能给 VS Code 补全代码
  • janas-mcp:把模型作为 MCP 工具接给 Claude Code 等客户端
  • janas-bench:测你自己机器的速度
一个重要提醒

作者反复强调:这是实验项目,不是产品。它会把空闲内存塞满专家缓存、用 O_DIRECT 全速读盘,机器吃紧时桌面可能卡顿甚至卡死(GPU 驱动也崩过一次)。

建议首次在空闲机器上跑,并用参数控制:

./janas-chat --cache 16GiB   # 限制内存占用JANAS_GPU=0 ./janas-chat     # 完全不用 GPU

聊天中 Ctrl-C 中断回答,Ctrl-D 退出。

小结

一句话:Janas 把"大模型必须大内存"的规矩打破了,靠磁盘流式加载让 80B 模型跑进 32GB 笔记本,且速度反超 llama.cpp。目前仍是实验阶段,适合愿意折腾的本地部署爱好者尝鲜。

  • GitHub 仓库:https://github.com/prabanta-dev/janas
  • 模型权重(Hugging Face):https://huggingface.co/prabanta-dev
  • 开源协议:GPL-3.0-or-later(模型权重遵循各自原许可)