0.5B参数的语音合成模型,在英文发音鲁棒性测试里拿了93.2%,与Fish Audio Drama 3 Preview并列第一,高于Eleven v4和Gemini 3.8 Flash TTS。这个成绩来自第三方AI评测平台Artificial Analysis,测试考察的是专有名词、缩写、数字这类内容能不能读准。

打开网易新闻 查看精彩图片

10月20日,蚂蚁百灵开源Ming-3.0语音系列模型,一共五款,覆盖语音合成、音频理解与对话、语音识别三条线。权重已在Hugging Face和ModelScope开放。

五款模型各管一段

  • 语音合成:Ming-3.0-tts-0.5B、Ming-3.0-tts-tiny,tiny版本还支持长篇多角色播客生成
  • 音频理解与对话:Ming-3.0-audio-flash、Ming-3.0-audio-tiny,面向会议、访谈等录音分析场景
  • 语音识别:Ming-3.0-asr-tiny,支持中英文及方言转写

这次发布的一个亮点是,0.5B参数的TTS模型也能根据文字指令调整声音表演。用户可以像导演一样,要求台词表现出克制的愤怒,指定哪些词重读、哪里停顿,还能在句中加入笑声和叹息。

官方给的配音案例里,有一段要求模型读出愤怒但克制的质问,导演指令强调指责的部分,让最后的反问更尖锐,但不要大喊。另一个案例是让模型说到一半笑出声,台词里用“[Laughter]”标签指定笑声位置。叹息、咳嗽等声音也能用相应标签指定出现的位置。

拿《甄嬛传》试了22分钟长对话

目前Ling Studio网页端只开放了Audio系列的体验。实测上传了《甄嬛传》“滴血验亲”片段的录音,时长22分15秒,看它能不能听懂复杂人物对话里的勾心斗角。

约一分钟后,模型给出了人物分析:皇上多疑、重视名分,掌握现场裁决权;皇后表面端庄克制,实则善于借刀杀人;祺贵人情绪激动,不断通过指控加剧冲突。它还分析出皇后提出验亲的真实目的——利用掺了白矾的水制造假证据,试图借皇上之手除掉甄嬛,并梳理了甄嬛质疑水有问题、温实初解释白矾作用等情节,说明局势反转的原因。

不过对甄嬛这样“白切黑”的复杂人物,模型还没真正理解。它把甄嬛描述为委屈、隐忍、护子心切的可怜女子,对她借助柔弱姿态应对质疑、一步步扭转局面的操作,分析得不够透彻。

背景音测试里,提问“弘曕是什么时候哭的”,模型约6.6秒完成回答,指出弘曕在3分18秒左右开始哭泣,还描述了哭声尖锐、断续的特点。回到录音3分18秒,确实能听到孩子的哭声。

榜单上的位置和短板

在统一参考音色、由听众比较生成效果的Controlled Voice榜单中,Ming-3.0-tts-0.5B位列开放权重模型第一;在使用各家代表音色的Provider Voice榜单中,位列开放权重模型第三。

官方公布的其他测试显示,Ming-3.0-tts-tiny在德语、西班牙语的词错误率上领先图示对比模型。但在根据文字描述设计音色的测试中,两款TTS模型的成绩均低于Qwen3-TTS。

音频理解方面,Ming-3.0-audio-flash以99.40分的语音推理成绩,领先字节Seed 2.0 Lite、小米MiMo-V2.6-Pro、阿里Qwen3.8-Omni-Flash和谷歌Gemini 3.8 Flash。在这五款模型中,其综合音频理解成绩仅次于千问,语音问答与指令遵循成绩仅次于Gemini,语音工具调用成绩位列第三。

语音识别方面,Ming-3.0-asr-tiny在领域、方言及中英文四类评测中的平均错误率为4.41%,低于阿里通义的Fun-ASR 1.5、小红书团队的FireRedASR2-LLM(8B)及阿里的Qwen3-ASR-1.7B。其中领域和英文识别两项错误率最低,方言识别略逊于Fun-ASR 1.5,中文识别则不及FireRedASR2-LLM(8B)。领域和方言部分使用了官方自建测试集。

ASR模型支持提前传入地名、产品名等热词及对话上文,辅助识别专业术语和同音词。官方的粤语问路案例里,预先提供“佐敦道、弥敦道、波鞋街、西洋菜街”等地名热词,模型将录音转写为“弥敦道怎么走?”。据官方透露,开发者可按需传入这些背景信息,无需额外训练模型。该模型目前已用于阿福医生助手、支付宝搜索、蚁小保实时语音对话和安全核身等场景。

开发者可通过API调用Ming-3.0-tts-0.5B、Ming-3.0-audio-flash和Ming-3.0-asr-tiny,分别接入语音生成、音频理解和语音识别能力。

蚂蚁百灵透露,下一步将探索语音智能体(Voice Agent),支持用户通过多轮语音对话提出需求、发起任务和查询进展。相比一次问答,这需要系统持续记住上下文,并在用户补充或修改要求后继续推进任务。