合肥警方9月26日通报，网传“三只羊”卢某某的酒后言论系AI工具伪造。南都记者了解到，涉案嫌疑人用以伪造卢某某言论的AI声音克隆平台为“Reecho睿声”。该平台由一位00后创业者开设，今年2月正式上线。
涉案卢某某言论的流传，正值MCN公司“三只羊”陷入直播带货虚假宣传“香港美诚月饼”的舆论漩涡。据南都此前报道，在网络流传的录音中，卢某某对“三只羊”处理客诉问题、竞争对手等发表了相关看法，还提及“与三只羊女主播之间的不正当关系”。录音引发热议后，多位被提及的主播公开辟谣。
合肥市公安局高新分局的警情通报。
9月26日晚间，官方证实涉案卢某某录音不实。合肥市公安局高新分局通报称，已将犯罪嫌疑人王某某（男，25岁）抓获，并在其电脑、手机和制作AI音频的网站中发现伪造相关音视频的证据；结合其供述、调查取证，并经部、省专业机构检验鉴定，认定报案所涉网传音视频系伪造。
据通报描述，现已查明，9月16日，王某某利用从互联网下载的音视频资料，杜撰卢某某酒后言论脚本，先使用AI工具训练生成假冒卢某某的音频，后用视频软件合成音视频，其中出现的女声也系AI工具训练生成。王某某通过网络发布音视频，形成谣言大量传播。目前，王某某已被依法采取刑事强制措施，案件正在进一步侦办中。
9月27日，深圳市言域科技有限公司（下称“言域科技”）在官微发出的声明说，经与合肥警方配合查实，涉案嫌疑人伪造卢某某录音所用的平台，确系该公司旗下的“Reecho睿声”。嫌疑人上传卢某某此前直播片段的约30秒录音完成克隆，并通过输入文本进行生成。言域科技还贴出警方发出的取证通知书予以佐证。
言域科技官微贴出的公安取证通知书。
言域科技创始人兼CEO谢伟铎向南都记者回忆，合肥当地警方在嫌疑人个人电脑设备发现了其“Reecho睿声”的账号和使用记录，于是来到言域科技取证，从公司服务器调取了嫌疑人生成克隆录音的详细记录，包括音频生成的时间、被克隆的样本、用来生成录音的脚本等，做了证据的校验和留存。
针对嫌疑人作案手法，谢伟铎补充说，在平台克隆完成卢某某涉案音频之后，造成公众误判的关键一步是对生成的音频进行翻录。因此涉案音频中出现背景环境噪音，产生录音的感觉，而且翻录一遍之后很难听出其中一些细节。
“Reecho睿声”官网显示，该平台的语音大模型已预先经过海量中文音频的训练，训练的内容涵盖多种类型，但最多的是有声读物与常规对话音频。如果用户提供的克隆音频样本以及目标文本是此类内容，在生成语音时通常会取得较好的效果。
谢伟铎说，最短3秒钟的音频素材，就能生成比较逼真的片段。前提是这3秒钟的音频尽可能饱满和清晰，能展示出声音的特征。
愈发逼真的声音克隆，也容易带来诈骗和虚假信息等社会治理难题。知名电脑安全技术公司McAfee去年5月发布的一项全球性调研显示，在接受调查的7000人中，四分之一的受访者表示经历过AI语音克隆骗局，70%的人表示不相信自己能分辨出克隆的声音和真实的声音。
谢伟铎告诉记者，言域科技采取了风控合规措施。首先是严格要求用户用国内手机号进行实名认证，甚至结合人脸认证，确保是本人在使用该账号；其次，公司也引入敏感词监测和预警系统，如果用户输入一些涉黄、涉暴、涉政的敏感词，后台系统可以预警和拦截；另外，平台为生成的音频添加了隐形可溯源的“数字水印”，可以直接追踪到生成者的具体身份。
加强AI内容标识，成为监管部门当前的治理重点方向之一。9月14日，国家网信办发布《人工智能生成合成内容标识办法（征求意见稿）》（下称《标识办法》），拟细化网络平台和用户的AI内容标识义务，避免公众混淆误解。其中要求提供生成合成服务的网络信息服务提供者，如果提供相关法规提及的深度合成服务类型，必须对生成合成内容添加显式标识和不易被用户明显感知到的隐式标识。（详见：“眼见不为实”诱发信任危机，网信办拟细化AI内容标识义务）
具体到音频，《标识办法》拟要求在音频的起始、末尾或中间适当位置添加语音提示或音频节奏提示等显式标识。不过，谢伟铎表示，显式标识非常容易被篡改，如果直接铺满整个音频，又会影响到生成音频的可用性。所以，实践中更多依靠隐式标识来防范，将一些隐藏的身份信息通过技术手段穿插到整个音频的频谱，能抵抗加速、减速、剪切等音频编辑操作。
据谢伟铎介绍，由于平台上生成的音频长度有限，能承载的信息相应受限，言域科技嵌入的隐式标识主要是用户ID。有了ID符号，可以反向追溯到用户手机号和使用记录等信息。
谢伟铎计划后续上线AI克隆音频鉴伪平台，让监管部门和民众辨析音频是否来源于言域科技。
“Reecho睿声”官网截图。
作为一名00后的创业者，言域科技是谢伟铎的第一份创业项目。该公司2023年12月注册成立，今年2月正式上线AI声音克隆平台“Reecho睿声”。谢伟铎说，这款产品面向短视频制作者、景区导游解说、地铁语音播报等应用场景。比如，健身平台Keep使用“Reecho睿声”制作健身课程。
目前，言域科技完成了天使轮融资，由奇绩创坛投资。谢伟铎说，言域科技的商业模式大体分为两类：按克隆角色的数量收费，或者根据生成脚本字符的数量计费。他计划下一步将“Reecho睿声”打造成“声音界的闲鱼”， 任何人可以把自己的声音上架到该平台，授权他人使用，从其他人的使用中拿到分成。
采写：南都记者 杨柳
热门跟贴