一段话里中英文来回切换,这种"语码转换"在多语种口语里其实很常见。但训练语料里,这类句子少得可怜。想让模型多学点,就得先在大规模语音库里把它们找出来。

常见的找法绕了一道弯:先把语音转写成文字,再从文本里看有没有语言交替。问题在于,这条路的前提是转写本身得准,而多语种转写恰恰是最容易出错的地方。

打开网易新闻 查看精彩图片

换一条路:直接从语音里判断

研究者提出了一种轻量方法,跳过转写这一步,直接从语音中检测语码转换。它利用预训练语音模型里帧级别的语言信息,在语音信号层面判断语言是否发生了切换。

这个思路的关键在于,预训练语音模型本身已经隐含了语言相关的特征,不需要额外训练一个庞大的多语种转写系统,就能拿到判断依据。

为什么这件事值得做

语码转换在预训练语料中被低估,而提升覆盖率的起点,是能从海量语音集合里筛出相关语句,把它们纳入训练数据。检测是数据筛选的前置环节。

绕开转写,意味着少了一层误差传递:转写错了,文本层面的检测也会跟着错。直接在语音上做判断,把这一环的风险去掉了。

方法被描述为"轻量",指向的是成本——不需要为每种语言准备一套高精度转写流程,就能在大规模语音集合上做筛选。对需要扩充多语种训练数据的团队来说,这是一个更省事的前置工具。