一个语音智能体就算说的是西班牙语,听起来也可能不对劲。它可能带着另一个地区的口音,用词过于正式,或者把价格念成本地人不会那么念的方式。GPT-Live 的默认选项能解决不少问题,但面向不同语言和地区的用户做语音应用时,还有几件事值得单独处理。官方给出的思路是:从选声音开始,再用会话指令把口音、语域和对话行为钉住,文中以印度英语、西班牙的西班牙语、阿联酋阿拉伯语为例。

打开网易新闻 查看精彩图片

先翻内置声音,别急着造新的

第一步是检查 GPT-Live 的内置声音。有些声音本身已经带有接近你需要的语言或地区色彩:Bossa 和 Tempo 带巴西葡萄牙语的影响,Nira 是印地语声音。内置声音开箱就有很高的自然度,所以在设计新声音之前,先用你自己的对话测一遍。调用内置声音时要用小写的 API 名称,比如 nira,完整目录见声音选项指南。

需要更具体的地区音色,可以用 prompt-to-voice 从文字描述生成合成声音。描述里尽量精确地写清地区,再加上音高、语速和声音性格。生成声音时可以用 script_hint 字段补一段目标语言的代表性语音;做双语声音,就在样本文字里同时放入两种语言,并分别描述各自想要的效果。要求使用原创的成年人声音,不得模仿真实人物。符合条件的客户还可以用经同意的说话人录音创建自定义声音,上传前要拿到说话人的明确同意,并确保拥有在应用中使用录音和生成声音所需的权利;同意录音和参考样本必须来自同一位说话人。对任何生成的声音,都要向听众说明他们听到的是 AI 生成的语音。声音创建不适用于零数据保留(Zero Data Retention)。

三个地区,三种写法

面向印度用户的英语智能体,创建会话时把 session.audio.output.voice 设为 "nira",然后在会话指令里加上一段提示:用自然干净的英语对话,说流利的英语,带自然的印地语影响的印度英语口音,全程保持那种熟悉的节奏。

做西班牙的购物助手,不要只笼统地要一个“西班牙语口音”。在声音 Playground 的 prompt-to-voice 流程里试这样的描述:一个原创的成年女声,清晰、略带明亮,中等音高,温和有暖意;说西班牙语时用西班牙中北部自然的标准半岛卡斯蒂利亚口音,元音、辅音、重音和句调都要地道;自然区分 s 与 z、以及 e 或 i 前的 c,但不夸张;语速适中偏活泼,停顿自然,语调有变化。再配一段西班牙语的 script_hint,给声音一些普通的连贯语流去发挥,比如打招呼、说明来意、询问先看颜色还是尺码、提到蓝色夹克配舒适的鞋、请对方靠近窗边看自然光下的颜色。这段提示瞄准的是西班牙语的一个特定变体,描述里的区分在西班牙全境或整个西语世界并不通用。用这段提示可以先生成几个候选,留下你更喜欢的那个声音,再用一段不在创建脚本里的新句子反复测试,直到满意。

阿拉伯语是另一个只报语言名远远不够的例子。做一个迪拜的对话声音,阿拉伯语的语音设计描述可以这样写:一个原创的成年男声,带当代迪拜城市口音,共鸣温暖清亮,音高中等偏低,说话从容,句子像一整个想法那样推进,语调随语义变化。同样配一段对话式的阿拉伯语 script_hint,内容是日常口语:看到消息了、人在花园附近或者停车场、这里比昨天那儿安静、不着急、要不要走走还是坐会儿。总体上,声音设计只聚焦声音本身;至于智能体该不该用阿联酋阿拉伯语回答一个埃及来电者、要不要切英语、要不要确认订单,这些属于会话指令的事。

拿应用真正要说的话去测

声音定下来只是起点。可以建一个小型试听集,用新句子、真实对话,以及应用里最常出现的词和数值去压测。几个边缘情况特别值得测:

  • 上下文中的发音:放入人名、地名、产品名和专业词汇。比如日语里给智能体一个读音“承る(うけたまわる)”,再放进完整的客服句子里测;如果智能体把 Lakshmi 念成“my”结尾而不是想要的“mee”,可以在会话指令里加提示:लक्ष्मी — अंत में ‘क्ष्मी’, ‘क्ष्माई’ नहीं。对声调语言,要在多个句子语境里听关键词。
  • 地区数字惯例:印度计数体系用 lakh 和 crore,一 lakh 是 1,00,000,一 crore 是 1,00,00,000。面向印度的英语智能体,要测 ₹1,25,000 是否按预期念成“one lakh twenty-five thousand rupees”。
  • 标识符与更正:让来电者拼一个虚构的预订码,停顿,再改掉一个字符,检查智能体是否等到更正、并准确复述最终代码。邮箱地址和其他字母数字输入也要测。
  • 混合语言:试一句含英文产品名和价格的阿拉伯语句子,下一轮再切换语言,把念出的金额、币种和产品名与口音分开检查。

对日期、金额和标识符,除了听来电者听到什么,也要验证应用实际发给后端的是什么。很多地区 04/05 可能指两个不同的日期,值得追问澄清,并把月份按名称念回来。

把对话行为写进指令

选好声音后,在创建 GPT-Live 会话时选中它。对保存下来的生成声音,把 session.audio.output.voice.id 设为返回的声音 ID。智能体的角色、语言政策、表达方式和对话行为写进 instructions,并在那里重申最初的声音描述。

单语言应用,就用你希望智能体说的语言来写指令和示例。西班牙购物助手的起点可以是:你是购物助手,说西班牙的西班牙语,带半岛中北部的卡斯蒂利亚口音,语速对话化、语调自然,语气亲近尊重,不要像广告;除非客户要求换语言,否则用西班牙语回答;一次只问一个问题;名字或尺码不清楚就请对方重复;在系统核实之前,不确认价格、库存或订单变更。

多语言应用要先决定什么触发语言切换,以及底层的地区说话风格是否保持不变,这是两个独立的选择。做阿联酋阿拉伯语加英语的助手,先在前面的声音描述里补上英语表达指引,比如“说英语时自然,带一点阿联酋影响,保持同样的温暖和偏低音高”,并在 script_hint 的阿拉伯语之外加入代表性英语语音,比如“I can check the available sizes for you”,然后再生成双语声音。会话政策可以这样写:按来电者最近一次清晰话语的语言回答;来电者明确切换时在阿拉伯语和英语之间切换;阿拉伯语句子里的简短“OK”、数字、名字或英文产品名本身不改变对话语言。说阿拉伯语时用迪拜的对话式城市阿联酋阿拉伯语,即使来电者说别的阿拉伯语变体;适当使用本地措辞,比如 شو 表示“什么”、الحين 表示“现在”、وين 表示“哪里”、مب 表示否定,方言保持连贯但不夸张;说英语时保持同一个说话人身份。再给几句措辞示例而非固定答案,比如澄清要小盒还是大盒、要几个;名字听不清时请对方重复或拼写。金额用当前对话语言说出,并保持准确数值和币种;只有后端支持时才确认查询、价格或已完成的动作。

这个例子刻意让助手的阿拉伯语方言固定,同时允许切换英语。如果产品应该顺应来电者要求的方言,就要明确写出并测试那套政策。声音描述和会话提示可以引导口音,但不能保证每一次回复都保持它,所以两个方向的切换都要测,包括会话重连之后。

语域也要给例子

语言和口音之外,正式程度同样是开放的。印地语里,礼貌的客服会用 आप 和敬语动词形式,这可以在会话提示里写具体:对客户用“आप”称呼,使用尊重的语言和动词形式,把“हाँ, बताओ”换成“जी, बताइए”,把“तुम कैसे हो?”换成“आप कैसे हैं?”。这些例子把随意的“是,说吧”和更客气的说法区分开,比单纯要求“听起来专业”给了模型更清晰的目标。要用本地客服真正会说的短语,并在语境里测试,而不是逐字翻译英文脚本。

发音线索、性格、问候和打断行为的更多内容,见 GPT-Live 提示指南;如何把试听用例变成可重复的评估,见语音智能体评估指南。