法国公司 Mistral AI 发布了语音 AI 系列「Voxtral 3」。这套产品包含高精度转写模型和能复现特定人物声音的语音合成模型,通过 API 调用。
打开网易新闻 查看精彩图片
Voxtral 3 是一个打包名称,包含 4 款模型。命名上有个容易踩坑的地方:Small 比 Mini 性能更高,别按字面理解反了。
打开网易新闻 查看精彩图片
- Voxtral Small Transcribe 3:支持 50 种以上语言的高性能转写模型
- Voxtral Mini Transcribe 3:主打成本效率的转写模型
- Voxtral Mini Transcribe Realtime 3:专攻实时转写
- Voxtral Speech 3:支持 35 种以上语言、50 种以上方言的语音合成模型
转写准确率方面,Voxtral Small Transcribe 3 和 Voxtral Mini Transcribe 3 的错误率都低于上一代 Voxtral Mini Transcribe 2。
打开网易新闻 查看精彩图片
实时转写这一款值得单独说。在延迟为 240 毫秒的情况下,它的转写精度仍高于 GPT Live Transcribe;延迟放得越长,精度还会继续往上走。对需要边听边出字幕的场景,这个取舍空间挺实用。
语音合成这边,横轴是每百万字符的成本、纵轴是专有名词和数字的朗读准确率,Voxtral Speech 3(Voxtral TTS)在成本上与 Gemini 3.8 Flash TTS 相当,性能表现更高。
声音克隆的门槛是 30 分钟参考音频。准备好这段素材,就能复现某个特定人物的声音。
价格按量计费:
- Voxtral Mini Transcribe 3:每分钟 0.0035 美元(约 0.55 日元)
- Voxtral Mini Transcribe Realtime 3:每分钟 0.008 美元(约 1.26 日元)
- Voxtral Small Transcribe 3:每分钟 0.0040 美元(约 0.63 日元)
- Voxtral Speech 3:每百万字符 13 美元(约 2055 日元)
四款模型全部走 API,官方文档里给了音频相关的接入说明。转写、实时转写、语音合成三条线一次铺齐,Mistral 显然想把语音这一层也做成基础设施。
热门跟贴