近日，谷歌推出了一项名为 DataGemma 的创新技术，旨在解决大型语言模型在处理统计数据时容易产生“幻觉”的问题。
这一技术的出现，是 AI 领域在提高模型准确性和可靠性方面的新尝试。
大模型作为近年来 AI 领域的重大突破之一，已经在代码生成、内容生成等多个领域得到广泛应用，为个人和企业节省了宝贵的时间和资源。
然而，即便取得了显著的进展，这些模型在处理涉及数值、统计数据或其他事实相关的问题时，仍然存在产生“幻觉”的倾向。所谓“幻觉”，是指模型有时会呈现不准确的信息。
谷歌的研究人员指出：“（我们）已经识别出造成这些现象的几个原因，包括大模型生成的本质上具有概率性，以及训练数据中缺乏足够的事实覆盖等。”
即便是传统的事实验证方法，在处理涉及逻辑、算术或比较操作的统计查询时，效果也往往不佳。这是因为统计数据分布在各种不同的模式和格式中，需要相当多的背景（上下文）知识才能正确解释。
为了解决这些问题，谷歌研究人员用到了 Data Commons 平台。该平台是公开可用的知识图谱，共包括 2400 亿多个可信组织丰富数据点，它们来自联合国、世界卫生组织、疾病控制与预防中心和人口普查局等。
他们通过两种不同的方法将其与 Gemma 系列语言模型结合，从而开发出了新的 DataGemma 模型。
该模型采用两种独特的方法，来提高其在处理统计数据时的准确性：检索交错生成（RIG，Retrieval Interleaving Generation）方法和检索增强生成（RAG，Retrieval Augmented Generation）方法。
其中，RIG 方法通过比较模型的原始生成结果与存储在 Data Commons 中的相关统计数据，来提高事实准确性。
具体来说，经过微调的大模型会生成描述性的自然语言查询。
然后，一个多模型后处理管道将这个查询转换为结构化数据查询，执行后就能从 Data Commons 中检索相关的统计答案，从而支持或纠正大模型的生成结果，并提供相关引用（证据）。
另一种 RAG 方法是许多公司已经在使用的技术，用于帮助模型整合训练数据之外的相关信息。
在 DataGemma 中，经过微调的 Gemma 模型使用原始统计问题来提取相关变量，并为 Data Commons 数据库生成自然语言查询。执行这个查询指令，就会得到相关的统计数据或表格。
一旦提取了这些值，它们就会与原始用户查询一起被当做提示的一部分，输入到一个长上下文大模型（在这种情况下是 Gemini 1.5 Pro）中，进而生成具有高度准确性的最终答案。
在对 101 个人工生成的查询进行测试时，使用 RIG 方法微调的 DataGemma 将基线模型 17% 的事实准确率提高到了约 58%。虽然使用 RAG 方法的结果略显逊色，但仍然比基线模型有所改进。
DataGemma 模型能够回答 24-29% 的查询，提供来自 Data Commons 的统计响应。对于这些响应中的大多数，大模型在数字方面的回应通常是准确的（99%）。
然而，在正确推断这些数字的含义时，它仍然有 6% 到 20% 的失误率。
尽管如此，RIG 和 RAG 都能有效地提高模型在处理统计查询时的准确性，特别是与研究和决策相关的查询。
它们各有优缺点，RIG 速度更快但细节较少（因为它检索单个统计数据并验证），而 RAG 提供更全面的数据，但受到数据可用性和处理大量上下文能力的限制。
通过公开发布 DataGemma 及其 RIG 和 RAG 方法，谷歌希望推动这两种方法的进一步研究，并为构建更强大、更有根据的模型开辟道路。
该公司对媒体表示：“我们的研究正在进行中，我们致力于在扩大这项工作规模、对其进行严格测试，并最终将这种增强功能整合到 Gemma 和 Gemini 模型中时进一步完善这些方法，最初将通过分阶段的限制访问方式推出。”
通过将这一最新的 Gemma 模型变体再次作为开放模型共享，谷歌希望促进这些技术的广泛采用，并在事实数据基础上对大模型进行验证，更好地应对大模型的“幻觉”问题。
总体来说，提高大模型的可靠性和可信度是确保它们成为每个人不可或缺工具的关键，也为 AI 能够提供准确信息、促进明智决策和加深对周围世界的理解建立基础。
参考资料：
https://blog.google/technology/ai/google-datagemma-ai-llm/
https://venturebeat.com/ai/datagemma-googles-open-ai-models-mitigate-hallucination-on-statistical-queries/
运营/排版：何晨龙
01/
02/
03/
04/
热门跟贴