多语言模型在低资源语言上的表现，一直是自然语言处理领域的老大难问题。训练数据不足，模型就学不好这些语言的知识，下游任务的表现自然也就上不去。Apple的研究团队最近提出了一种名为LINK的新方法，通过词汇干预的方式，在预训练阶段就改善知识迁移，让模型在低资源语言上的表现显著提升，训练速度最高还能翻倍。

低资源语言的困境：数据不够，知识难迁

打开网易新闻 查看精彩图片

要让一个多语言模型在科学推理、常识判断、世界知识这些下游任务上表现好，它首先得从训练数据里学到足够的知识。可问题是，很多语言的训练数据少得可怜，模型根本学不到什么。这种情况下，模型只能主要依赖从高资源语言（比如英语）里迁移过来的知识。

传统的跨语言知识迁移方法，要么需要大量的平行语料，要么需要翻译系统，要么需要额外的辅助模型，要么需要额外的训练阶段。这些条件，对很多语言来说都是奢求。数据都没有，哪来的平行语料？翻译系统更是想都别想。

Apple团队提出的LINK方法，思路很直接：既然目标语言数据不够，那就从高资源语言的数据下手。在预训练阶段，把英语训练语料里的一部分词，随机替换成对应的目标语言翻译词。就这么简单，不需要额外的模型训练，只需要一个双语词汇表——这东西几乎任何语言都能以接近零的成本拿到。

LINK方法：词汇替换，知识迁移

具体来说，LINK是一种数据层面的干预方法。给定一个替换比例，在英语训练语料的一部分里，随机选一些词，用它们的词级翻译替换掉。这样，模型在预训练的时候，就能接触到更多目标语言的词汇和表达方式，知识迁移的效率自然就上去了。

这个方法的好处显而易见：

  • 零额外训练成本：不需要训练任何辅助模型，不需要额外的训练阶段
  • 双语词汇表成本极低：几乎任何语言都能以接近零的成本获得
  • 实现简单：就是词汇替换，工程上没什么难度

研究人员在八种语言、五种模型规模上做了评估，结果显示，目标语言的下游任务表现都有明显提升。最亮眼的是训练效率：要达到同样的性能水平，训练速度最高能提升2倍。也就是说，原来需要训练100步才能达到的效果，现在50步就够了。

实验验证：八种语言，五种规模

这个结果不是只在某一种语言或某一种模型上验证出来的。研究团队在八种语言上做了测试，覆盖了不同的语系和资源水平；模型规模也横跨了五种，从小模型到大模型都有涉及。这种广度，让结论的可信度高出不少。

值得注意的是，LINK方法在低资源语言上的提升尤其明显。这其实不难理解——资源越少，知识迁移的边际收益就越大。高资源语言本身数据就多，模型自己就能学得差不多；低资源语言就不一样了，每多迁移一点知识，都是实打实的提升。

多语言语音识别：另一个战场

Apple团队在跨语言知识迁移上的探索不止于此。在另一篇论文里，他们研究了跨语言知识迁移和迭代伪标签（iterative pseudo-labeling）在低资源语音识别中的应用。

语音技术的普及程度已经很高了，但不同语言之间的体验差距依然巨大。这背后的关键因素之一就是数据可用性——尤其是训练全神经端到端自动语音识别系统的时候，数据量的影响更加明显。低资源语言的语音数据本来就少，训练出来的模型准确率自然不如高资源语言。

跨语言知识迁移和迭代伪标签，就是针对这个问题的两条技术路线。前者让模型从高资源语言里借力，后者让模型利用自身预测来扩充训练数据。两条路线各有优劣，结合起来的效果值得关注。

语言特性影响迁移：不只是数据量的问题

还有一个有意思的研究方向：语言本身的特性，会不会影响多语言模型的知识迁移效果？Apple团队在NeurIPS workshop上的一篇论文里，就探讨了这个问题。

mBERT、XLM-R、mT5、mBART这些多语言模型，在低资源语言上能取得不错的成绩，靠的是从高资源语言迁移知识。但这里有个问题：预训练的时候，模型并没有显式的跨语言信号，那它是怎么把语言学和语义知识从一个语言迁移到另一个语言的？

研究团队用mT5做了实验，想搞清楚语言特性在这个过程中扮演的角色。虽然论文摘要没有给出具体结论，但这个研究方向本身就很有价值——如果搞清楚了语言特性如何影响迁移，那就能更有针对性地设计迁移策略，而不是一刀切。

LINK方法的实际意义

回到LINK方法本身，它的实际意义在于把跨语言知识迁移的门槛降到了极低。不需要平行语料，不需要翻译系统，不需要辅助模型，只需要一个双语词汇表。这意味着，几乎任何语言都能用上这个方法，不管它有多"低资源"。

对于做多语言模型研究和应用的人来说，这无疑是个好消息。低资源语言的支持，一直是多语言技术落地的痛点。LINK方法提供了一个简单、高效、低成本的解决方案，让这个痛点有了被解决的可能。

当然，LINK方法也不是万能的。词汇替换能解决一部分知识迁移的问题，但语言之间的差异远不止词汇层面。语法结构、语义表达、文化背景，这些层面的差异，词汇替换是覆盖不到的。不过，作为数据层面的干预手段，LINK已经做到了它该做的——用最小的成本，带来最大的提升。

多语言知识迁移这条路，还有很长的路要走。但至少，LINK方法提供了一个值得借鉴的思路：有时候，解决问题不需要多复杂的方案，一个简单的词汇替换，就能带来意想不到的效果。