智通财经APP获悉,7月15日,千问正式发布发布实时语音交互对话模型Qwen-Audio-3.0-Realtime,一个既要毫秒级响应、又不牺牲推理深度的实时语音模型。该模型在智商、Agent工具调用、共情对话、双工交互流畅度四条主线上同步升级。

据介绍,模型提供推理更强的Plus版本与速度更快的Flash版本,适用于智能客服、教育培训、娱乐互动与情感陪伴等场景。官方表示,该模型将让语音交互“懂倾听,更聪明”。

Qwen-Audio-3.0-Realtime针对日常对话、简单问答等对时延敏感的场景,可直接生成回复,毫秒级响应。今年5月,模型的Preview版本曾在全球权威第三方评测平台Artificial Analysis榜单斩获了两项冠军,超越GPT-Realtime-2。

文本大模型的Agent能力已相当成熟,但语音模型往往是“能聊天不能办事”,模型要边听边判断何时该调工具。Qwen-Audio-3.0-Realtime无需明确的指令,即可自行调用外部工具,调用结果还会自动融入对话记忆,一次调用的结果会被记住,后面几轮追问都能接着用。模型基于 FunctionCall 标准协议,可以完成 MCP、API、知识库的引入。

共情对话是本版本最能改变用户主观体验的部分。Qwen-Audio-3.0-Realtime 摆脱了传统语音助手的机械感,可根据对话语境动态调整语气、节奏、音调与情感,比如在辩论场景中,模型能准确抓取对方论点并快速组织反驳,并保持恰当的语气强度。在情感陪伴中,则通过语调、节奏与笑声、叹息、犹豫等副语言信号进行共情回应。在专门考“AI 说得像不像人”的 S2S 语音指令遵循公开基准 VStyle 上,模型取得 SOTA 成绩。

双工交互流畅度意为即模型能边说边听,像真人一样随时打断、插话,而非一问一答的对讲机模式。Qwen-Audio-3.0-Realtime内置“多模态感知的双工控制”子模型,通过分析音频信号、语义内容与说话人声纹特征,来判断如何交谈。比如在餐厅、开放工区等嘈杂环境中,它不会被背景噪声误打断;在多人讨论中能锁定主对话对象、忽略旁听者交谈;在多说话人切换时,则能根据语义线索自然过渡。此外,模型的API还预留了 audio_prompt 字段,用户可上传提前录制的音频样本,锁定声纹,聚焦特定的说话人。