11 月 13 号,llama.cpp 官宣了 1.0.0。这个在自家电脑上跑大模型的底座,从最初那几百行代码,一路迭代了三年半,终于把版本号推到了 1.0。
这次升级最值得说的,不是跑得更快,而是接口稳了。llama.cpp 和底层张量库 ggml 一起进入 1.0,正式确立语义化版本规则:公共 C API 的破坏性变更,以后走主版本号。下游做封装、做应用的,不用再盯着某个 commit 锁死,从版本号上就能判断升级会不会把现有代码改坏。
Ollama、LM Studio、Jan、LocalAI 这些常用的本地推理工具,底层都是 llama.cpp。1.0 落定,等于给整个本地推理生态打了个地基。
命令层面,这几处要改
对用的人来说,1.0 最实在的变化在命令上,旧配置有几处直接失效:
- `--mlock` 和 `--no-mmap` 没了,统一改成 `--load-mode`。以前靠这两个参数锁内存、关映射的,现在一个 `--load-mode` 控制。
- 默认端口变了,从 8080 改成 9931。旧命令起服务又没显式写端口的,连不上先查这个。
- 安全收紧。用非本机地址 `--host`、又开着工具或 MCP 时,1.0 会拒绝启动,必须加 `--api-key`。别再用 `--allow-unauthenticated-tools` 绕过,直接给个密钥更省事。
- 模型下载目录可用 `LLAMA_CACHE` 指定,不设的话默认落在当前账户的 `~/.cache/llama.cpp`。
功能层面,多了些新东西
1.0 也加了实打实的能力:OCP FP8 的 KV 缓存,能省显存;MoE 模型的专家缓存放到主机内存,还能配 CPU 占比;新增 OpenAI 兼容的 `/v1/audio/speech` 端点,能直接从服务器生成语音;支持 Kimi-K3.1-Pro、Ripple 等新模型架构;网页界面重做,带聊天分组和 Markdown 编辑器。目前支持的模型架构超过 150 种,主流推测解码方法也都覆盖了。
可照做:装好、跑起来
装 1.0 很简单,一行命令。macOS 和 Linux:
```bash
curl -LsSf https://llama.app/install.sh | sh
Windows PowerShell:
```powershell
irm https://llama.app/install.ps1 | iex
不想用脚本,也可以从 GitHub 仓库克隆源码,按官方 build 指南编译。装完起服务:
```bash
llama-server -m model.gguf --load-mode auto -c 8192
把 `model.gguf` 换成你的模型文件,`-c` 是上下文长度。服务要对外暴露的话,记得加 `--api-key`,端口按 9931 或你自己定的来。
注意
- 从旧版本升上来,先检查 `--mlock`、`--no-mmap`、端口这几处,旧命令可能直接起不来。
- `--host` 指向非本机地址时,不加 `--api-key` 服务会拒绝启动,这是 1.0 的安全默认。
- 依赖 C API 做集成的,按 1.0 的破坏性变更清单核对一遍接口。
llama.cpp 1.0 的意义,在于把本地推理的接口契约定下来。对用的人来说,记住三件事:`--load-mode` 替代旧参数,默认端口 9931,对外暴露记得加 `--api-key`。把这几处改对,1.0 就能稳稳当当在自家电脑上跑起来。
热门跟贴