说到语言模型，毫无疑问是自然语言处理（NLP）领域的核心环节，也是人工智能和机器学习的重要开发基础之一。各大科技公司争相开发更强大的模型，以便从大量数据存储中生成准确和可用的文本。

来自Alphabet（谷歌母公司）旗下的DeepMind于12月8日公布了名为Gopher（金花鼠）的2800亿参数语言模型，同期发布的还有几个较小的模型，这些项目旨在为快速增长的人工智能和机器学习领域提供更强大的支持。

根据一份118页的实验结果报告，DeepMind的研究人员在大多数测试中都取得了先进的成果表现。

研究论文称随着语言模型的扩大，尤其是在阅读理解、事实核查和识别“有毒”语言等领域，性能有所提高。与此同时，逻辑推理和数学推理从大模型中获益较少。本次研究对训练数据集和模型行为进行了整体分析，包括模型规模、偏差和毒性的交集。部分研究还将语言模型应用于诸如人工智能安全以及减轻该技术造成的下游危害等主题。

12月8日，DeepMind发布了三篇研究论文，其中一篇描述了Gopher的结果。其他的论文是一篇关于与大型语言模型相关的伦理和社会风险的研究，以及一篇研究具有更好培训效率的新架构的论文。

作者写道，他们的实验发现，Gopher在几个任务上的性能超过了现有的语言模型，包括在大规模多任务语言理解(MMLU)基准测试上。在MMLU基准上，“Gopher在人类专家表现方面取得了显著进步。”同时还进行了Gopher的定量评估，包括通过直接互动探索模型。“我们的主要发现之一是，当Gopher被提示走向对话互动(比如聊天)时，该模型有时可以提供惊人的一致性。”

按类别划分的海量多任务语言理解(MMLU)基准测试的性能，Gopher在几个类别上改进了之前的工作。例如，研究人员指出，在一个实验中，Gopher能够讨论细胞生物学，并提供正确的引用，尽管所涉及的对话没有进行具体的微调。

“然而，我们的研究也详细说明了在模型大小范围内持续存在的几种失败模式，其中包括重复的倾向、刻板偏见的反映和错误信息的自信传播。”

然而，这些失败可能是有帮助的，研究人员写道。“这种类型的分析很重要，因为理解和记录失败模式让我们了解到大型语言模型如何可能导致下游危害，并向我们展示了研究中缓解努力应该关注的地方，以解决这些问题。”

这种语言建模工作是至关重要的，“因为开发和研究更强大的语言模型——预测和生成文本的系统——有巨大的潜力来构建更先进的人工智能系统”，通过总结信息造福人类，通过自然语言提供专业意见和指导。“开发有益的语言模型需要研究它们的潜在影响，包括它们带来的风险。这包括来自不同背景的专家之间的合作，深思熟虑地预测和解决训练算法在现有数据集上可能产生的挑战。”

近期OpenAI、英伟达、浪潮等公司也在进行类似的语言建模项目。

OpenAI的GPT-3项目是一个巨大的自然语言模型，只在微软Azure上运行。GPT-3（即生成预训练转换器3）是一个具有1750亿个参数的自回归语言模型，OpenAI声称这是以往任何非稀疏语言模型的十倍。第一个版本GPT-1于2018年推出，第二个版本GPT-2于2019年推出。随着2020年GPT-3的发布，自然语言处理(NLP)在企业中获得了比以往任何时候都更强大的功能和用例。

去年11月，英伟达在GTC21大会上发布了新的NeMo Megatron大型语言框架以及最新的5300亿参数的可定制 Megatron-Turing 模型。英伟达表示，Megatron框架使用数万亿个参数来训练语言模型，而 Megatron-Turing NLG(自然语言生成器)的5300亿个可定制大型语言模型将可用于新的领域和语言。

今年10月，总部位于中国的浪潮人工智能研究公司公布了其源1.0语言模型的可用性，该模型拥有2457亿个参数，并使用了5TB的数据集进行了训练。据浪潮人工智能研究公司称，“源1.0”是作为汉语的一个模型从头开始构建的，与英语相比，汉语很复杂，需要一种独特的开发方法。（延展阅读：）

DeepMind是一家总部位于英国的人工智能研究公司，谷歌的母公司Alphabet在2014年收购了该公司。