不用GPU,浏览器里就能把录音转成文字、把文字读出来,还能克隆自己的声音。开源工具speech.cpp把日语特化型语音识别模型Haas-ja-v1.0、语音合成模型Irodori-TTS等打包进同一个运行环境,Windows、macOS、Linux都能装。
它的安装方式很直接:在PowerShell里跑一条安装脚本,重开终端后执行speech serve --open --device cpu --host localhost,浏览器打开本地地址,顶部就是「Speak」「Transcribe」「Live」三个标签页,分别对应语音合成、音频文件转写和实时转写。
先让文字开口说话
在「Speak」标签页点模型选择按钮,会列出可用的语音合成模型。选中支持日语等10种语言的Qwen3-TTS 0.6B下载,加载完成后在文本框输入内容,Voice里挑一个日语说话人,点「Speak」就能生成音频,可在线播放,也能下载成WAV文件。
生成完还能顺手验证效果:点音频波形下方的「Transcribe this」,页面跳到「Transcribe」标签页,刚才那段音频已经自动设为转写对象。选好日语特化型识别模型Haas-ja-v1.0,点「Transcribe」,转写文本和处理耗时一起显示出来。测试中「speech.cpp」这个词被认错了,其余日语内容大体正确。
除了拖拽音频文件,也可以点「Record」现场录一段再转写,录进去的内容能被正确读出来。
边说边出字,靠两个模型配合
想不等录完就出文字,切到「Live」标签页。先下载日语识别模型ReazonSpeech v2,再在「Find speech with」里选一个检测人声区间的模型,这里用的是Silero VAD。点「Start」对着麦克风说话,发话中的句子以灰色显示,说完一句结果才确定。
测试里出现「肌寒く。じます。」这样的断句,原因是「肌寒く」和「感じます」之间停顿稍长,被当成了句子分隔。
用自己的声音读任意文章
把合成模型换成日语特化的Irodori-TTS,就能玩声音克隆。在「Speak」标签页下载irodori-tts-mf,打开「Make a voice from a recording」,点「Record」录下自己的声音,给这个声音起个名字后点「Add the voice」。之后在文本框输入一段录音时没说过的话,Voice里选中刚注册的声音,点「Speak」,生成的音频就带上了自己声音的特征。
模型清单:合成、识别、还有杂活
按用途和语言,speech.cpp可以切换多个模型。语音合成方面:Qwen3-TTS支持含日语在内的10种语言;Irodori-TTS为日语特化并支持声音克隆;Drama 3支持83种语言,最多可生成16个人的对话。
语音识别方面:Qwen3-ASR覆盖30种语言;ReazonSpeech v2面向日语长音频;Parakeet JA主打日语高速转写;Parakeet v3覆盖欧洲25种语言;Haas-ja-v1.0为日语特化,还支持指定自定义词汇;Nemotron 3.5 Transcribe支持40种语言,单次最长可处理1小时音频。
其他语音处理模型包括:Silero VAD负责检测发话区间;Nemotron 3 Diarization最多分离8个说话人;RE-USE去除噪声和混响;RE-USE Laughter则在去噪时保留笑声。
CPU能跑,是因为换了套底层
speech.cpp采用AI模型运算库ggml,在Windows和Linux上可通过Vulkan、在搭载Apple Silicon的Mac上可通过Metal调用GPU,纯CPU也能运行。需要留意的是,Windows官方发行版即便用CPU处理,也要装Vulkan加载器。
语音识别和合成能本地跑起来,意味着采访录音、内部会议记录不必发到外部服务,大批文档也能在不额外付API费用的情况下转成语音。
热门跟贴