ElevenLabs 在周二上线了 Eleven Realtime,一次推出两个托管语音智能体模型:Mini 和 Max。语音识别、推理、轮次切换、语音生成,全部打包在里面。
两个模型都采用级联架构,但开发者无法选择、也无法单独配置底层的模型。换句话说,跑分很漂亮,可拆开看的那把螺丝刀,没交到你手上。
这次发布真正改变的是分工。ElevenLabs 实际上接管了语音智能体的整套运行框架,包括轮次检测、打断处理和编排。好处是搭建与维护语音智能体栈的工作量下来了;代价是开发者失去了独立排查、优化或替换底层组件的能力。
能调的仍然不少。通过 ElevenAgents,开发者可以配置提示词、音色、工具、知识库,以及轮次切换相关设置,包括积极程度、超时和打断处理。控制权留在智能体行为这一层,但为行为负责的单个模型,不在可配置范围内。
想要更多自由,还有 Custom 模式:自己挑底层语言模型和语音模型,自己搭流水线。Realtime 则是用这份灵活性换一套托管实现。
外部测试方的跑分
性能数字由外部测试方 Artificial Analysis 生成,评估维度包括语音推理、对话动态和人类偏好。
在 Big Bench Audio 上——一个包含 1000 道口语推理题的基准——Max 得分 98.8%,Mini 为 75.9%。
工具调用上的差距更明显:Max 完成任务的比例为 87.1%,Mini 为 60.3%。ElevenLabs 建议,频繁或复杂调用工具的智能体应选 Max。做预订、客户账户这类多步骤工作流的团队,值得自己测一测这个差距。
默认模型却是 Mini。官方说法是它能覆盖大多数用例。在测试停顿、打断和轮次切换的 Full-Duplex-Bench 上,Mini 反而略胜一筹:95.8% 对 Max 的 94.1%。
延迟方面两者接近。Max 首音频平均 570 毫秒,Mini 为 620 毫秒。Artificial Analysis 六月的语音到语音指数里,Deepslate Opal 录得 440 毫秒的更快结果,不过那次基准与 Eleven Realtime 并非直接可比。
从 OpenAI Realtime API 迁移
ElevenLabs 也在争取已经在用 OpenAI Realtime API 的团队。迁移指南称,Eleven Realtime 使用相同的协议、相同的 WebSocket 传输,基于 OpenAI SDK 构建的应用可以把地址指向 ElevenLabs,不必更换 SDK。要改的只是端点和模型名。
但迁移不是免费的。端点只支持 WebSocket,原本用 WebRTC 的应用得先换传输方式。SDK 只在 WebRTC 下自行处理音频;走 WebSocket 时,开发者要自己采集和播放 24kHz PCM16 音频。WebRTC 应用今天由 SDK 代劳的采集与播放,迁移过来意味着两样都得自己搭。
Realtime API 还与 ElevenAgents 平台分开运行。电话和 WhatsApp 渠道、知识库、监控,都在平台那一侧。官方建议需要这些能力的团队从一开始就在 ElevenAgents 上构建——先用裸 API 求快的团队,后面可能要把这些重新造一遍。
Mini 与 Max 的取舍
按 ElevenAgents 文档,Mini 和 Max 智能体之间可以互相转接通话,但两者都无法与 Custom 模式下的智能体互转。
Mini 不支持 Zero Retention Mode 和 HIPAA 配置。Max 在美国和欧盟支持这两项,但在印度和新加坡的数据驻留环境中不可用。
计费上,两个模型都按 ElevenAgents 标准每分钟费率收费,另加 token 费用。Max 每 token 更贵,但工具调用表现更强,在 Mini 需要多次尝试才能完成任务的工作负载里,反而可能更便宜。
先测试,再信任
底层模型和编排由 ElevenLabs 负责,可一旦通话失败,开发者仍需要足够的诊断信息来定位问题。Realtime 会开放多少这类信息,目前不清楚。
跑分好看,但没展示 Realtime 在生产负载下的表现。性能能否撑住、ElevenLabs 是否提供足够信息追查故障,开发者得自己看。截至发稿,ElevenLabs 未回应 The New Stack 的置评请求。
热门跟贴