Kokoro-FastAPI 把 82M 参数的 Kokoro-82M 语音模型包成了一个兼容 OpenAI 接口的本地服务,单核 CPU 上就能跑到 5 到 10 倍实时。项目在 GitHub 的 remsky/Kokoro-FastAPI 仓库开源,内存占用 300MB,Docker 一行命令起服务,全程离线。

● 模型参数:82M

● 生成速度:实时的 5 到 10 倍

● 内存占用:300MB

● 运行环境:无 GPU 的 Intel、AMD 或 Apple Silicon

打开网易新闻 查看精彩图片

82M 参数是怎么塞进 CPU 的

现在主流的语音合成模型动辄上亿参数,跑起来要么吃显存,要么在 CPU 上慢到没法用。Kokoro-82M 的体量只有八千万出头,加载完常驻内存 300MB 上下,一台 8GB 内存的老笔记本都放得下。

体量小不等于音质差。这个模型在开源语音圈的训练数据口碑不错,英文播报的自然度接近商用 TTS。中文效果官方没给完整评测,实际听感要自己试。

模型本身最早是在 HuggingFace 上放出来的,权重开放下载,Apache 许可,商用门槛低。FastAPI 这层做的不是另造一个模型,而是把原本要写几十行推理脚本才能跑起来的东西,变成一个能直接调的服务。

不用显卡的原因

语音合成的计算量跟图像、视频不在一个量级。一个 10 秒的句子,模型要做的是一串声学特征的预测,再交给声码器还原波形。这类负载对浮点算力要求不高,对内存带宽和单核性能更敏感。CPU 上跑得好,省下的是一整张显卡的钱和电。

FastAPI 这层封装做的事不复杂:把文本切句、批量推理、流式返回音频拼在一起,对外暴露成 OpenAI 的 /v1/audio/speech 格式。原来接 OpenAI 语音接口的代码,改一个 base_url 就能指向本地。

批量推理是速度的来源之一。切好的一堆句子一起送进模型,比一句一句串行调用省掉大量框架开销。流式返回则解决了首音延迟,长文本不用等整段合成完才开始播。

兼容 OpenAI 接口意味着什么

这不是营销话术。OpenAI 的音频接口已经是事实标准,大量开源工具链直接按这个格式写,包括各类语音助手前端、有声书生成器、字幕配音脚本。接口兼容,意味着这些工具不改代码就能切到本地模型。

离线也是关键一点。配音稿、会议记录、私人笔记这类内容,不少人本来就不愿意传到云端。Kokoro-FastAPI 全部在本地跑,网络断了也能出音。对于内网环境或者数据不能出机的团队,这一点比速度更重要。

能拿来干什么

最直接的两个用途是有声书朗读和本地语音助手。有声书要求长文本稳定输出,这个项目的批量切句和流式返回正好对上;语音助手要求低延迟,5 到 10 倍实时意味着 10 秒的句子 1 到 2 秒出完。

局限也要说清楚。82M 的模型做不了声音克隆,多说话人切换的选项也少,情感表达偏平。要拟真度高的人声,还得用参数更大的模型。Kokoro 的定位是够用且便宜,不是最好听。

你现在用哪家的语音合成,本地跑还是走云端?