5月8日消息,美国时间周四,OpenAI面向开发者正式发布三款全新音频大模型。此举旨在大幅提升语音智能体的交互自然度,并赋予其在实时对话中直接执行任务的能力。

随着新版API的开放,OpenAI正在跨越传统的“语音转录”与“文本聊天”阶段,向构建具备实时监听、翻译及执行能力的智能体延伸。

本次亮相的三款核心模型分别为GPT-Realtime-2、GPT-Realtime-Translate以及GPT-Realtime-Whisper。目前,上述模型均已在OpenAI的开发者测试平台上线。

具体来看,三款模型在应用场景上各有所长:

旗舰模型GPT-Realtime-2专攻复杂任务处理。它不仅能精准调用外部工具,还能从容应对用户在对话中的随时打断,并在超长语音交互中保持高度的语境(Context)连贯性。

GPT-Realtime-Translate主攻跨语言沟通。该模型支持将70多种源语言实时转化为13种目标语言,直指智能客服、在线教育等全球化应用场景。

GPT-Realtime-Whisper聚焦实时语音识别(STT)。在用户发言的同时,该模型可同步生成字幕和会议纪要,甚至自动触发后续的工作流更新。

目前,包括在线房地产平台Zillow(ZG.O)、在线旅行社Priceline以及欧洲电信运营商德国电信(DTEGn.DE)在内的多家企业客户,正对上述模型进行早期测试。

定价方面,GPT-Realtime-2的音频输入成本为每百万Token 32美元起;GPT-Realtime-Translate与GPT-Realtime-Whisper的计费标准则分别为每分钟0.034美元和0.017美元。(易句)

(本文由AI翻译,网易编辑负责校对)