大模型思维链(CoT)全新升级，多链元推理(MCR)显著提升LLM推理能力|cot|上下文|多链元推理|大模型|思维链|逻辑推理

最近一段时间我们看到，大型语言模型（LLMs）例如ChatGPT、GPT-4以及谷歌最新提出的PaLM 2都可以完成一些数学计算问题。一般来说，人类在解决复杂的数学问题时需要进行多步的逻辑推理过程，需要先将复杂的问题进行拆分，有时还需要将上一步得到的结论作为假设推出下一步的结果。

目前，研究者们也在LLMs中模仿人类推理过程设计了一种名为思维链（chain-of-thought，CoT）的技术，例如我们向ChatGPT询问一个复杂的数学问题时，模型首先会将问题分解成一系列的推理步骤，通常情况下，模型会在多个链中进行采样，并通过投票机制得到最终答案，但是这些中间过程随后会被丢弃掉。虽然这种思维链方法可以显著的提高LLMs在复杂情况中的推理性能，但是直接丢弃中间过程的做法可能是次优的。

本文介绍一篇来自特拉维夫大学、艾伦人工智能研究所和巴伊兰大学合作完成的工作，该工作在原有思维链的基础上考虑了不同链之间的中间步骤关系，提出了一种多链推理方法（Multi-Chain Reasoning，MCR）。MCR可以使用现有的LLMs同时对多个思维链进行元推理（meta-reason），而不是直接投票聚合它们的答案。此外，MCR可以高效的整合不同思维链中的信息，并从中选取与问题最相关的事实来生成解释和预测答案，作者在7个常见的multi-hop问答数据集上对MCR的多步推理性能进行了评估，MCR目前已达SOTA效果。

论文链接： https://arxiv.org/abs/2304.13007 代码链接： https://github.com/oriyor/reasoning-on-cots

一、引言

在思维链（CoT）prompting学习中，需要将一个具体的推理问题进行拆分，并将每步推理的解释信息送入到LLMs中才能使其得到最终的答案。这种CoT方法已经被证明可以解决具有很大推理难度的问题，并且在训练数据量达到一定程度后会促使大模型出现“涌现能力”。此外，刚刚发表在ICLR2023上的一篇论文表明[1]，如果能够对多个思维链进行采样，并将它们的结果进行投票可以进一步提高LLMs的推理准确性，作者将这种现象称为自一致性（self-consistency，SC）。虽然SC提高了性能，但这种投票机制也有一定的局限性。首先，在输出空间很大的情况下，每个推理链可能会产生不同的输出，在这种情况下，模型可能无法顺利完成投票。其次，如果只关注最终输出，就会丢弃中间推理步骤中存在的有效信息。

上图中展示了一个推理问题回答示例，问题是“Brad Peyton需要了解地震学吗？” 其中推理链1推理的结果是错误的，但是它的中间步骤却提供了一些有用的信息。例如，“什么是地震学”，并且模型针对这一信息给出了正确的中间回答（图中粉色标注的文字）。但是这一信息在其他两个推理链中是不存在的，因此将三个链的推理结果送入到SC投票模块中得到的最终推理结果是错误的，并且完全丧失了推理结果的可解释性。

为了解决这一问题，本文作者提出了一种多链推理方法（MCR）。MCR首先使用一个LLM来对问题产生多条思维链，但其与SC方法不同，MCR从多个思维链中进行采样可以看做是一种收集多条有用“证据”的手段。上图中也对SC和MCR这两种形式进行了对比，虽然两种方法都依赖于在多个思维链上进行采样，但是SC方法直接对采样结果进行投票（上图右下角的灰色框）。相比之下，MCR将每个链的中间步骤连接起来，形成一个统一的上下文，并将其与原始问题一起传递给元推理模型。元推理模型是另外一个独立的LLM，其会根据信息更为丰富的统一上下文在多个推理链上进行元推理并生成最终答案和解释（上图左下角的粉色框）。基于这种设计，MCR可以有效缓解上文提到的CoT缺陷，整合来自于多个链的事实因素从而产生最终的正确答案，同时保证强可解释性。

二、方法

本文提出的MCR框架主要由三个模块构成：分解模块、检索模块和元推理模块，如下图所示。其中分解模块和检索模块共同对输入的问题生成多个推理链，然后将这些链连接成统一的多链上下文，并将其送入到元推理模型中进行结果推理。

MCR的研究重点是解决开放域问答任务（open-domain QA），该任务的输入是一个文本问题，该问题答案所需的证据隐藏在庞大的语料库中的一个或多个句子中。当回答需要通过多个中间推理步骤时，就可以通过推理链来表示，推理链由一系列包含问题-证据-答案的三元组构成，其中证据是一个与中间问题有关的句子。上图重点展示了MCR在回答“How many ants would fit in The Shard?”这个问题的处理过程。首先，MCR使用一个预训练的LLM来生成多个推理链。每个，每个是通过分解模块和检索模块整合上下文信息共同生成的。随后通过引入第二个LLM来对多个推理链的中间结果进行元推理得到最终答案。

2.1 推理链生成

给定一个问题，MCR通过分解和检索两个步骤交叉进行来产生问题的推理链。下图展示了这两个步骤的交叉进行过程，在每个步骤中，分解模块根据原始问题和先前的推理步骤生成中间问题，然后检索模块使用检索相关的证据。随后再将和（以及先前的步骤）再循环送入到分解模块中，以生成中间答案。在答案生成期间，作者将中间证据置于链的开头，这样做可以帮助模型在后续的推理过程中更精准的检索与事实相关的信息，从而可以提高整体推理的准确性。

2.2 在推理链上推理元推理模块是MCR框架的核心部分，MCR巧妙地将多个推理链获得的中间信息作为上下文，传递给另外一个独立的LLM来完成最终推理。上文提到，一组推理链其实是由多个中间三元组构成的，元推理模块可以将这其中所有的中间问题和答案对也作为多链上下文的一部分。要知道，中间问题和答案对可能已经涵盖了解决最终问题的关键信息。随后将得到的多链上下文与原始问题一起送入到元推理LLM中，下图展示了MCR在FEVEROUS数据集上的一个推理示例。作者首先提示元推理LLM要“逐步回答问题”，并给定多链上下文，其中的每行描述均采样自推理链中的单个对。当元推理模块根据这些推理链中的信息得到最终答案后，相应的这些链就自然而然成为当前答案的解释信息。

作者通过实验发现，MCR能够对给定的多个推理链进行信息聚合，从而挖掘出与当前问题最相关的事实依据，并将其作为答案的解释信息，这种方式比之前的其他CoT方法更为准确、且更具可解释性。

三、实验效果

本文的实验部分在7个包含常识、组合、比较和事实验证等广泛推理技能的QA数据集上进行。作者对比了MCR与其他现有CoT方法的推理性能，其中MCR得到的结果是从三次运行中平均得出的。由于本文的研究重点是开放域下的多步推理问题，因此所有数据集都包含需要多次推理才能回答的问题。此外，为了对比公平，作者也限制了大模型API调用的次数，作者从每个数据集中随机选择500-1000个示例进行评估，选取的对比baseline方法为Self-Ask（SA）[2]和Self-Consistency（SC）[1]。

3.1 多步推理性能对比

下表展示了MCR方法与其他baseline方法在7个QA数据集上的性能对比结果，在该实验中，作者在MCR中使用了5个推理链来进行分步推理，并从这5个链中选取最佳答案。可以看到，MCR在所有的数据集上都超过了对比基线SA和SC，效果分别为STRATEGYQA（+1.4％），FERMI（+0.6％），QUARTZ（+4.0％），HOTPOTQA（+5.7％），2WIKIMQA（+2.5％），BAMBOOGLE（+1.5％）和FEVEROUS（+1.5％）

3.2 推理链数量消融实验

通过上文，我们可以看到在SC和MCR中设置多条推理链可以使LLM在推理问题中取得不错的效果。但是这其中需要重点考虑的就是推理链数量的设置，推理链数量太少有可能无法完整的涵盖当前问题所需要的中间证据和结果，相反如果一味地增加推理链的数量，也有可能会增加模型的计算量。因此作者对推理链数量进行了消融实验，如下表所示。

由于在SC和MCR中增加推理链数量会受到LLM上下文长度的限制，因此作者采用了一个简单直接的方法，在三次MCR运行的结果中执行一次投票操作（即执行一次SC操作），然后将SC@15（在SC中设置15个推理链）与使用15条推理链的MCR+SC@3模型进行比较，其中每个MCR运行使用5条推理链。表中结果显示，无论是在推理链数量为5还是15的情况下，MCR方法的推理效果均优于SC方法。

3.3 官方测试集评估

此外，作者还在STRATEGYQA和FERMI提供的官方测试集上对MCR进行了评估，其中分别包括490个和558个样本示例。对比结果如下表所示，可以看到，在使用相同数量的推理链时，本文的MCR始终优于SC，此外，MCR+SC@3的75.3%的准确率在官方STRATEGYQA测试集上创造了新的SOTA。

四、总结

本文深入探索了现有LLMs内部的思维链（CoT）推理机制，通过将问题拆分并执行多步推理，可以帮助大模型更精确地得到推理结果。作者通过观察CoT方法的中间思维链，观察到LLMs生成的中间链中蕴含着对问题解答起到关键作用的证据信息，因此文本基于CoT的中间推理链，提出了一种称为MCR的多链元推理模型，MCR可以在先前CoT方法的基础上，在多个思维链中进行采样，并将每个链的中间步骤连接起来，形成一个统一的上下文，再使用一个元推理模块得到最终答案，通过这种方式，MCR可以高效的整合多个思维链的有用信息，从而提高模型的推理性能，同时思维链也可以作为推理结果的有力证据。本文也提醒我们，深入研究现有大模型的内部机理并进行改进可能会帮助我们激发出大模型的更多潜力。

参考文献

[1] Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc V Le, Ed H. Chi, Sharan Narang, Aakanksha Chowdhery, and Denny Zhou. 2023. Self-consistency improves chain of thought reasoning in language models. In The Eleventh International Conference on Learning Representations.

[2] Ofir Press, Muru Zhang, Sewon Min, Ludwig Schmidt, Noah A. Smith, and Mike Lewis. 2022. Measuring and narrowing the compositionality gap in language models. ArXiv, abs/2210.03350.

作者：seven_

Illustration by IconScout Store from IconScout

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线480+期talk视频，2400+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。