大语言模型中的元认知：基础、进展与机遇|元认知|大语言模型|实验|心理学|推理|鲁棒性

大语言模型中的元认知：基础、进展与机遇

Metacognition in LLMs: Foundations, Progress, and Opportunities

https://arxiv.org/html/2607.11881v1

摘要

元认知是智能的基本组成部分，对有效学习、问题解决、决策、沟通等至关重要。近年来，它日益被视为有能力的、透明的AI系统的基石。然而，尽管LLM在各种现实任务中取得了显著进展，但尚不清楚它们何时、如何或在多大程度上能够展现或被赋予有效的元认知能力，也不清楚这些能力如何能够被调整以提升AI系统的基本能力、可靠性和智能性。本文通过提供首个关于LLM元认知知识现状的全面综述来弥合这一差距。我们分析并分类了这一新兴领域的研究版图，并总结了近期技术进展，包括衡量和评估LLM元认知能力的方法和基准、在LLM中激发、改进和应用元认知的技术，以及正在进行的研究的发现和启示。我们还讨论了应用、开放性问题与挑战以及未来有前景的研究方向。我们的目标是提供对该主题的详细且最新的回顾，并激发有意义的研究和讨论。论文的整理列表可在 https://github.com/yale-nlp/LLM-Metacognition找到。

1 引言

元认知[81, 212, 69]是指监控、评估和调节自身认知过程的能力。它对学习、决策和沟通至关重要，并在不同环境中行为和技能的持续适应中发挥着核心作用[282, 139, 208]。在人类中，元认知使个体能够内省并校准对自身能力的自我评估、选择适当的策略来完成任务，以及优化学习过程和任务表现[204, 140, 43]。这种元认知灵活性使得推理能够应对未知问题，实现高效的问题解决，并支持迭代式的在线学习[2, 281]。因此，元认知的研究在心理学、教育学、哲学和计算机科学等领域都具有重要意义。

由于元认知是智能的标志性特征，而当前AI系统常被认为缺乏这一能力[238, 124, 284]，越来越多的研究开始将LLM与元认知联系起来。在过去几年中，LLM在自然语言处理及其他领域取得了显著进展，推动了医疗诊断[123, 333]、法律咨询[59, 158]和科学发现[258, 326]等高风险领域的进步。随着LLM在各种任务中越来越多地模仿人类的认知能力[269, 292, 96]，一个自然的问题出现了：这类模型是否能表现出元认知行为——以及赋予基于LLM的系统以元认知能力，是否能提高其性能和能力、提升学习效率，并增强人机协作场景中的结果和可靠性[30, 117]。例如，已有研究表明，通过提示模型进行元认知自我反思，可以显著增强推理任务的表现[93, 10, 134, 183, 227, 77]，并提高模型口头表达不确定性的忠实度[180, 181]。由于元认知支撑着以透明方式评估和沟通不确定性的能力，它在LLM中能被观察到何种程度，对于理解其局限性和更安全部署的前景至关重要[261]。此外，元认知可能为自我改进提供一条自然路径[7, 185]。

尽管有这些有前景的方向，但关于LLM元认知的研究和讨论仍然相对稀少且分散，在如何定义、表征、实现和评估这类系统中的元认知能力方面，缺乏统一的方向或共识。目前尚不清楚LLM是否能够真正表现或模拟元认知行为，在何种情境下以及何种程度上能够做到这一点，后训练如何塑造元认知能力，以及这些能力如何能被用于提升LLM的能力。例如，Ackerman [1]、Chen等[47]、Li等[162]的研究表明，LLM能够表现出让人联想到元认知加工的反思性行为，而Prasad和Nguyen [224]、Cash等[36]、Sha等[245]的研究则得出结论，LLM距离能够给出元认知有效的置信度判断仍有很大差距。这种张力在Steyvers和Peters [260]的研究中也得到了呼应，他们认为人类元认知与LLM元认知之间仍存在重要差异，包括元认知能力通过反馈和训练得以提升的程度，以及这些技能是领域通用的还是任务特定的[80, 207, 33]。

在本文中，我们提供了关于LLM元认知的全面概述（图1），首次对这一新兴主题的当前研究和知识进行了详实、系统的回顾，旨在激发有见地的讨论和未来的工作。我们的探索从定义和阐明元认知的概念（§2）及其重要性（§3）开始。随后，我们将注意力转向激发和评估LLM元认知能力的方法和基准（§4.1）、该研究的关键发现和启示（§4.2）、在LLM、LRM和智能体系统中实例化和改进元认知技能的技术（§5），以及受元认知启发而用于提升LLM多种能力的方法（§6）。最后，我们概述了LLM元认知的应用（§7），反思了该领域的现状（§8），并讨论了未来的研究方向（§9）。据我们所知，此前尚无工作全面、系统地考察LLM元认知的趋势、技术进展和关键发现。因此，我们旨在弥合这一差距，揭示LLM元认知这一关键但尚未充分探索的方面，以推动向更有能力、更可靠和更具自我驱动性的系统迈进。

2 什么是元认知？

元认知描述的是监控和调节自身认知过程的能力。尽管该术语在科学、哲学和教育学文献中均有使用，但每个领域强调的方面、应用和含义各不相同。为帮助阐明这一概念，我们总结了元认知的核心机制、组成部分和功能，这些在人类中是普遍公认的，并且在基于LLM的智能系统背景下具有更广泛的实用性。

人类中的元认知。元认知起源于认知心理学，并在发展和教育环境中得到了广泛研究[81, 204, 212, 141, 140, 69, 68, 139]。它通常被概念化为一个内部感知-行动循环，由自我评估（元认知监控）和自我调节（元认知控制）组成：个体评估自己在某项任务上的能力，并利用这种评估来指导后续行动的策略选择和调控。在此框架内，元认知可以分解为几个不同但相互作用的组成部分。元认知知识指的是对自身认知过程和能力的觉察（例如，对自身思维模式的觉察）。它被细分为陈述性知识、程序性知识和条件性知识，分别捕捉个体作为学习者对自身的了解、如何应用认知策略，以及何时及为何特定策略是合适的。元认知调节包括后续过程，如计划（例如，设定目标、为任务选择适当策略）和评估（例如，反思所应用策略的有效性）。元认知体验指的是在任务执行过程中产生的主观内部状态——如知道感、学习判断或信心（例如，在解决任务时感到愉悦）。这些信号支持元认知判断，即个体在任务之前、之中或之后评估自身表现[241]。这种判断的有效性可以通过元认知准确性（即敏感性）——个体的信心在多大程度上能够区分正确与错误反应——和元认知校准——个体的信心在多大程度上反映了其正确性或任务准确性的概率——等指标来衡量。元认知知识和调节共同支持目标设定和决策等过程。

元认知策略不同于认知策略[4]，对有效的资源分配和表现优化至关重要[202, 53, 43]。在教育环境中，元认知的效用已被充分证明与学业表现密切相关[120, 318]。表现差的学生往往高估自身能力并准备不足，而缺乏自信的学生则可能低效地分配精力[144, 70]；这些模式反映了系统性的校准失当，可以通过有针对性的训练或获得更多经验来改善，即使在年仅三岁的儿童中也是如此[240, 143, 38]。这些发现可能为在智能系统中构建和增强元认知能力提供启示。除此之外，一些证据表明动物也具有元认知监控，并利用它来调节学习，这对人工系统中的学习具有进一步的意义[125]。

LLM中的元认知。语言模型元认知的概念自2023年以来逐渐受到关注，但对其内涵尚无明确界定。在文献中，“元认知”常被用来描述模型输出的简单反思和（反馈驱动的）修订，尤其是在推理任务中。然而，这种用法通常与心理学文献中的元认知原则只是松散地吻合。更普遍的是，缺乏共识，该术语的使用方式多种多样，根据研究情境的不同而有不同的实例化[167]。例如，Li等[165]将元认知定义为基于内部表征评估能力的能力；Lu等[189]将“元认知置信度”定义为模型在内部相信某个主张为真的信念，而不论事实正确性如何；Lv等[191]将“元认知推理”定义为评估语言模型是否知道某事的过程；Bilal等[18]将“元思维”定义为模型的自我反思、评估和思维控制的组合；Fleig-Goldstein [82]将“元反思”定义为模型通过改变策略以响应变化的任务约束来维持表现的能力——如果不能这样做则会导致表现下降——并要求有可观察到的适应特征作为证据。许多工作也关注受元认知启发的“元学习”过程，或提出对该概念仅作松散或简化解释的元认知启发式方法[293, 157, 248, 320]。例如，Zeng等[320]提出了一个“元推理”框架，在该框架中，推理模型被指示评估解决方案的正确性、识别潜在的错误步骤，并概述错误原因。在本文中，我们采用广泛的元认知视角，以支持我们对这一新兴领域的全面考察和特征描述。因此，我们的讨论涵盖了元认知现象的所有此类实例化，同时注意到概念基础和操作化方面的差异。

3 为什么LLM中的元认知很重要？

在AI系统中，类似元认知的过程可能表现为模型学习和优化表现的过程，这引发了关于此类系统中元认知与人类元认知加工相比其性质、程度和下游影响的基本问题。各种研究都强调了赋予智能系统更强元认知能力的潜在益处[238, 294, 16, 150, 246]；在本节中，我们对LLM的这些益处进行了类似的描述，综合文献中的观察结果，以突出元认知改善所直接支持的多种基本能力和系统级益处。

任务表现与学习。由于元认知过程支持认知结果，将元认知能力编码到LLM中（或将执行元认知功能的模块集成到基于LLM的系统中）可以支持改善任务表现、提高学习效能和效率，并推动类人行为和决策[119]。例如，对大型推理模型（LRM）的分析表明，这类模型通常会参与与元认知相关的反思行为[91, 186, 296]，这些思维模式支持更高的准确性和推理轨迹复杂性。使模型能够监控自身的问题解决过程，可以帮助它们验证所选策略、识别潜在偏差、发现改进机会并评估置信度水平[23]。对自身能力和局限性的增强认识可以加强模型在适当时请求帮助的能力，并促进自我调节学习。元认知能力，如对不确定性和知识边界的感知与沟通[88, 52]，在许多LLM应用中也同样重要，可以帮助模型更好地检测并避免回答那些无法回答或超出其知识范围的问题[252]。这些行为直接由良好的元认知敏感性和元认知校准支持，它们能够实现更好的置信度表达。认知功能和元认知功能的结合进一步被证明可以改善决策质量，同时减少资源消耗，并释放出类人的适应性学习、技能使用和认知控制能力[16]。

可靠性与可信度。有效的元认知监控对于提高基于LLM的系统的透明度、可靠性和下游实用性至关重要，尤其是在人机交互场景中。元认知敏感性的衡量可以帮助用户校准对模型输出的依赖，并在AI辅助决策中更好地整合外部建议[150]。为赢得人类信任，LLM必须能够准确评估其预测正确的可能性[262]，并如实向用户传达这种信心或不确定性[316, 180]。例如，在临床环境中，当证据相互矛盾、关键患者信息缺失或问题超出系统范围时，AI系统可能需要说“我不知道”，从而表明不确定性并将病例转交临床医生审查，而不是发出自信但没有依据的回应[252]。与此一致的是，更好的元认知敏感性和真实的置信度表达已被证明能显著提高用户对模型准确性的感知[260, 262]。这些对于缩小LLM所知与用户认为它们所知之间的差距[262]也至关重要，尤其是随着LLM越来越多地用于现实世界的决策。

人机协作。元认知对于有效的人机协作也很重要。在对话场景中，元认知可以使模型获得更好的情境自我意识，并利用对其在对话中角色的认知来更好地识别何时需要澄清、检测不一致之处并适当地调整回应[319]。在智能体场景（例如科学推理）中，元认知可以提高智能体动态权衡不同行动相对成本（例如，检索与策略演进）的能力，策略性地执行自我修正，并迭代地优化工具使用[190]。强大的元认知监控可以进一步推动基于LLM的系统在教育应用中的实用性（例如，通过协助制定个性化学习计划）[117]。

幻觉减少。元认知可以在缓解幻觉方面发挥作用[317]。在人类中，表现与置信度水平之间的差异可以预测幻觉性或错误的决策和行为[299]。LLM也有类似的发现：例如，Simhi等[253]表明，LLM在不同模型和任务中始终存在高确定性的幻觉，而Lu等[189]证明LRM同样以高置信度产生幻觉，并通过有缺陷的反思过程强化偏见和错误，从而进一步促进幻觉的发生。事实上，LLM的幻觉通常可以用特定的元认知失效模式来表征，包括错误重复（例如，循环、错误推理）、思考-答案不匹配（例如，矛盾的推理）和过度自信（即较差的元认知校准）[313, 189]。因此，提高LLM的元认知能力提供了一条直接针对此类局限性根源的途径，包括通过更真实地表达内部过程——这本身就是一个可以通过改善而提升的元认知功能。

可解释性。最后，元认知可以增强模型的可解释性。能够自我识别错误、执行自我修正并解释其修正过程的模型提供更透明和可解释的输出[268]。更一般地说，与其依赖复杂的过程来分析模型内部，这提供了一种可能性，即简单地查询模型以明确报告其信念、目标和思维过程。

4 LLM具有元认知吗？

在赋予LLM更强的元认知能力之前，首先需要了解模型在何时以及何种程度上能够参与元认知行为。为此，除了大量关于LLM元认知派生能力的独立研究（§4.2）之外，还出现了几种不同的测量和基准测试LLM元认知的研究方向（§4.1）。

4.1 测量LLM中的元认知

我们介绍了现有的度量指标和实验程序，以测量和激发LLM中的元认知。

基于神经反馈的测量。神经反馈是一种成熟的神经科学技术，参与者被要求根据实时的生物反馈信号来调节其大脑功能[255]。一个经典的例子是在恐惧减少实验中：向受试者呈现引起恐惧的图像，提供从其实时大脑活动记录中得出的恐惧评分，并要求他们调节神经活动以降低神经反馈评分。以类似的方式，一些工作试图为LLM模拟神经反馈环境，以研究其监测和控制内部激活的能力。这提供了一种不依赖于行为输出（例如，自我报告的置信度评分可能错误地代表模型的实际不确定性）的替代性元认知评估途径。例如，Li等[162]设计了一种基于上下文学习的神经反馈方法，其中模型参与多轮对话，并被要求隐式或显式地调节内部激活；而Yalon等[307]探索了类似的设置，以测试模型元认知预测内部信念主导地位的能力。与受心理学启发的方法类似，基于神经反馈的方法也必须将元认知处理与认知处理分离开来。

基于置信度的测量。另一类方法直接使用内在置信度判断的质量作为LLM元认知的代理指标。此类工作主要关注大型推理模型：Ma等[192]检查了逐步内在置信度与过程级质量标签之间的一致性，通过典型的校准指标如接收者操作特征曲线下面积（AUROC）[24]和精确率-召回率曲线下面积（AUPR）[196]来量化；而Lu等[189]定义了元认知置信度来估计模型对其自身知识的信念，这种信念可能与事实性校准失当，并有助于解释高置信度的幻觉。这些方法仅松散地基于心理学，并未讨论相对于类型1任务表现的潜在偏差。

基于可解释性的测量。由于元认知涉及对内部状态进行内省的能力，其他工作转向可解释性技术来检测LLM中元认知的特征。这包括使用任务特定的元认知探针来调查正确和错误的响应或推理轨迹是否与统计上可区分的内部计算信号（例如，最后一个token表示、自注意力分数、全连接激活、最终层softmax概率）相关联[165, 160]，以及测量模型准确检测注入概念存在的能力[177]。虽然这种分析依赖于对模型权重的访问，但它通常可跨模型和任务设置扩展。

任务特定的测量。元认知是一种在领域内和跨领域运作的基本能力，但在早期激发和理解LLM元认知的过程中，专注于有针对性的任务特定评估可能是有利的。为此，一些研究设计了新颖的实验程序来检查模型在受控环境中的元认知能力。例如，Ackerman [1]引入了受非人类动物元认知研究启发的两种实验范式，其中测试了模型在不依赖自我报告的情况下策略性地部署内部状态知识的能力；这包括评估模型识别自身知识的能力（即模型是否知道自己知道什么）和模型对其知识的确定性（即模型是否知道自己知道），在类似游戏的设置中进行。为了在更能反映现实世界应用的动态情境中评估LLM元认知，Prasad和Nguyen [224]利用零和多方辩论设置，要求模型在扩展交互中更新信念并进行准确的自我评估。其他工作侧重于研究特定的受元认知启发的能力，包括任务特定技能的选择和组织[62]、论文写作中偏见的自我检测[280]、创造性生成任务的反思[55]、生成温度的自我预测以及元语言分析[15]。总体而言，这类方法依赖于精心设计的提示来激发和检查模型的高阶元认知能力。

LLM元认知的基准测试。除了单独的实验程序之外，还可以构建标准化基准来更全面地评估LLM的元认知能力。近期有几个基准通过评估LLM推理自身知识、不确定性或意图的能力来测量其元认知[28, 211]。CogEdit [76]通过构建涉及反事实、边界约束（适当泛化而不过度泛化）和噪声编辑（过滤潜在不可靠信息）场景的问题来评估知识编辑过程中的元认知行为，以捕捉模型更新过程中的自我意识和反思性推理。MetaMedQA [100]通过让模型对包含虚构概念、格式错误问题和篡改答案的多项选择题做出此类元认知判断，来测试LLM是否能在医学问答场景中识别知识局限性并检测无法回答的问题。ObjexMT [135]通过要求模型推断多轮对话的潜在目标并报告对该答案的置信度来测量元认知校准，校准通过ECE和高置信度错误率来量化。最后，AwareXtend [221]通过观察模型在测试这些能力的多项选择题上的表现，并让多个LLM通过投票或辩论协作产生最终答案，来评估LLM在能力、任务、情感、文化和视角五个维度上的自我意识和社会意识。综上所述，这些基准展示了LLM中可以被基准测试的元认知行为的不同方面。然而，它们仍然受限于特定的任务设置，在所评估的元认知技能类型上互不关联，并且受到通用能力的影响。

元认知评估中的差距。迄今为止，元认知和创造力等高阶技能在LLM基准中仍代表性不足，而基准往往侧重于评估较低层次的认知能力[115, 321]。这部分是由于可靠且一致地测量元认知表现的难度所致，上述方法的局限性也证明了这一点。此外，一些分析[27]表明，LLM元认知评估中通常使用的单点置信度探测和事后校准技术表现出一致的失效模式。这可能的解释是，后训练过程如基于人类反馈的强化学习（RLHF）的影响，可以系统地改变模型的内部不确定性（例如，改变底层概率分布），从而影响与模型输出行为的联系[331]。尽管如此，将元认知评估纳入未来的基准仍然很重要，因为它可以实现更准确的模型能力评估和增强，并为监督和安全提供信息。特别是随着LLM在现实世界应用中承担更大的自主性，在某些环境下观察到LLM中一致、稳定、可复现的元认知现象（§4.2）值得进一步研究和探究。这推动了开发更稳健、更系统的方法来在不同的环境中测量、激发和评估LLM的元认知能力。

值得注意的是，虽然LLM可能表现出暗示某种形式的“人工元认知”的行为（例如，为输出分配校准过的置信度分数、基于反思性反馈调整输出、进行自我指涉式询问），但这些模型的自回归特性导致了一种观点，即它们并不存在真正的（元）认知可言[115]，表面上的元认知倾向只是LLM复制从其训练数据中获得的复杂行为模式的副产品[266]。为此，一些人主张对人类和LLM元认知过程进行更正式的比较[222]；这有助于澄清模型是否只是模拟了自然元认知的表面方面，并为开发更类人和更有效的智能系统提供信息。

4.2 关于LLM元认知的当前发现

虽然LLM在各种认知任务中表现出了很强的熟练度，但它们参与元认知过程的能力仍未得到充分探索。在本节中，我们总结了当前关于LLM元认知研究的关键发现和启示。我们根据所探讨的元认知能力类型来组织讨论，大致从一般到具体排序，随后讨论模型大小、后训练和置信度估计方法等因素的影响。

元认知敏感性与校准。鉴于LLM元认知研究尚处于起步阶段，许多研究旨在简单勾勒LLM的元认知基线表现。除了§4.1中讨论的以测量为重点的研究发现（即模型的元认知敏感性和效率总体上较弱至中等）之外，对专有LLM的分析[222, 36]表明，这类模型在特定任务上（例如，预测美式橄榄球比赛结果）实际上可以达到比人类更好的元认知敏感性，尽管此类实验通常使用小样本量（例如，<50个示例），限制了泛化性。关于元认知校准的发现是混合的且依赖于任务：Pavlovic等[222]表明模型在教练任务上倾向于不自信，而Cash等[36]在多个任务中发现LLM在很大程度上过度自信——这是一个有充分记录的现象⁴——并且难以根据过去的表现回顾性地调整置信度判断，表现出一种在人类中未观察到的元认知局限性。开源模型的元认知缺陷同样明显，Prasad和Nguyen [224]在一组以辩论为重点和多轮任务设置中，识别出领先的开源和专有LLM的五个一致的元认知失效模式，包括初始过度自信、确定性升级、互不可能的高置信度、自我辩论偏见和错位的私人推理。Sha等[245]进一步表明，元认知敏感性可能受到推理的损害，长推理轨迹虽然提高了表现，但阻碍了准确的自我评估，并且将大型模型的推理轨迹蒸馏到较小的LM中会损害元认知敏感性。最后，Li等[172]在一系列任务设置中考察了陈述性知识和程序性知识对模型表现的影响，因为这些直接为人类的元认知加工提供信息。他们发现陈述性信息通常更有益，而程序性知识在简单逻辑推理任务中更有用，并且模型利用这两类知识的能力在预训练过程中以随训练步骤和模型大小变化的速度提高。总体而言，虽然LLM可以在某种程度上成功展示功能性元认知，但存在显著的差距，这在下游的智能体和决策应用中带来了潜在风险。

元记忆。对记忆进行内省的能力是元认知的另一个核心方面，已受到关注[173]。Huff和Ulakçı [116]、Huff和Ulakci [117]研究了GPT模型预测自身未来记忆表现的能力，这在人类中被称为学习判断（JOL）。他们发现模型在很大程度上未能完成此任务，表明缺乏相关的监控机制，并强调了进一步发展LLM自我监控能力的必要性，特别是在辅助教育应用方面。然而，尚不清楚这种局限性是否延伸到非GPT模型或更新的GPT变体。

不确定性及决策的忠实沟通。元认知研究的另一个有前景的方向旨在理解模型在多大程度上能够理解并忠实地解释自身的内部过程。例如，在响应查询时检测不同来源的不确定性以及所涉及的决策过程，并将这些准确传达给用户的能力很重要，并受到元认知意识的辅助。为此，一些工作[316, 180]转向研究LLM表达其内在不确定性的忠实度——也称为忠实校准。其目标是使模型表达的不确定性与内在不确定性保持一致，其中表达的不确定性可以用数字形式表述（例如，“90%确信”）或通过使用语言不确定性标记（例如，“很可能……”）嵌入到模型输出中。⁵ Yona等[316]、Liu等[180]、Liu和Cohan [179]、Liu等[181]最近证明，开源和闭源前沿模型在很大程度上未能忠实地表达其内在不确定性，即使应用了专门的提示或现有的校准方法。尽管如此，元认知提示（即使用系统提示来指示模型具有良好元认知）以及在RL期间使用元认知准确性作为额外训练信号，被一致发现能够显著改善不同LLM的忠实校准，以及模型由此产生的不确定性表达的质量和有用性。这表明使模型能够更好地评估自身任务表现对于扩展模型能力可能很重要。另一方面，Cash和Oppenheimer [35]研究了LLM解释其推理过程及决策中不同因素权重的能力。他们发现，前沿LLM（如GPT-5）实际上可以在一定程度上像人类一样持有并表达对其决策过程的元认知知识，但这是一个相对较新的能力，在早期版本（如GPT-4o）中未观察到。由于忠实的解释可显著影响用户在AI应用中的信任，使模型能够透明地披露内部过程对于适当地校准用户对LLM输出的依赖至关重要[262]。

任务表现和难度的自我预测。除了促进透明度之外，元认知监控使人类能够自我评估表现并预测任务难度，从而通过随后的元认知调节实现更高效和有效的问题解决。现有研究表明，虽然LLM可以参与类似的监控行为，但这种判断的有效性是有限的，并且通常不会转化为可靠的策略适应[29]。例如，Barkan等[12]表明，虽然领先的LLM可以以优于随机水平的判别力预测任务成功，但这种预测不会随着任务熟悉度而提高，推理模型在做出此类判断时也不优于非推理LM。Hwang等[118]表明，即使在估计简单阅读理解任务的复杂性时，推理能力也与这种元认知意识不相关。Binder等[19]、Li等[160]的分析进一步揭示了在困难或分布外环境中任务难度的预测对模型尤其具有挑战性，⁶ 并且即使存在预测性元认知信息，它也常常无法导致有效的监控和行为适应。最后，过度自信被发现会导致智能体场景中的不良决策，为模型对其能力认知不足对任务表现的负面影响提供了证据。这促使人们更深入地理解模型的自我评估能力。然而，同样重要的是要考虑增强自我监控的潜在风险，包括可能破坏监督机制（§8）。

资源分配与工具使用。元认知支持在学习和任务执行过程中高效分配计算和信息资源。然而，LLM缺乏推理如何在多个问题或选项中最佳分配有限努力的能力，包括估计分配努力的潜在回报或决定何时坚持（例如，继续搜索）或继续前进的能力有限[327]。虽然Li等[165]表明使用元认知信息训练的分类器可以改善工具使用决策，但这依赖于外部干预而非模型自身的判断。这一子领域的工作有限，进一步的研究可能是值得的，特别是朝着开发更高效的智能体系统和有效的工具使用方向。

知识局限性的意识。由于系统能够识别自身知识范围通常是可取的——以避免感知能力与实际能力之间的错位、提高可靠性并实现适应性工具使用或弃权——另一条研究线索试图描绘LLM体现这一元认知属性的程度[225]。这一领域的发现总体上是混合的，一些研究报道LLM缺乏这种能力[315, 100, 129, 291]，而另一些研究表明模型可以展示对内部状态知识的功能性访问[225, 19, 55]，但通常程度低于人类[315]。Ackerman [1]在相关方面表明，模型有时可以预测自己会给出什么答案，并利用该信息来展示自我知识。Park等[220]也证明LLM可以被训练来内省自身知识，并在生成过程中引用内部知识，而非表现出肤浅的对齐。这些见解为进一步研究形成了有趣的基础，可能会朝着更系统地刻画LLM此类能力的方向发展。例如，了解基于LLM的系统在多大程度上可以利用其对内部知识不充分或过时的识别来改进相关能力，如弃权或不同工具的选择与评估[146]，是很有意义的。这种行为反映了心理学中元认知控制的现象。

内省：监控和报告内部状态。与自我知识识别相分离，另一条平行的工作线索考察了模型对内部状态进行内省的能力。内省被定义为获取或访问源于内部状态且外部观察者无法获取的知识的过程[19]。这一方向的工作同样稀少，但已呈现出几个不同的方向。首先，Li等[162]、Yalon等[307]研究了模型基于示例监控和报告自身信念状态的能力，发现大型（高达70B参数）和小型（约8B参数）模型在这类任务上通常表现优于随机水平，甚至在某些场景中可以控制激活模式。Yalon等[307]提供了这种能力的因果证据，Li等[162]进一步表明，能够以这种方式被报告或控制的神经激活方向所张成的空间，其维度显著低于模型的神经空间，表明只能监控被此“元认知空间”覆盖的激活子集。尽管如此，这种能力似乎部分受到用于监控和报告任务的上下文示例数量、所研究神经方向的语义可解释性以及这些方向所解释的方差量的调节。第二个研究方向考察模型是否能识别注入到激活中的概念的存在[103, 177]；研究表明模型在某些场景中可以做到这一点，表明具有一定程度的功能性内省意识。然而，这种能力是脆弱的。最后一个特定于语言知识的研究方向由Song等[256]提出，他们对此提供了关于模型内省能力的负面结论。我们请读者参考该论文以进一步讨论可能的解释。更普遍地说，模型对内部状态进行内省的能力高度依赖于情境，其控制因素尚未完全阐明，并对监督机制的稳健性具有重要影响。

行为自我意识。模型在没有明确示例或监督的情况下准确描述所学行为的能力是另一个重要的元认知派生能力[17]。有限的研究表明，被训练表现特定行为的模型可以在不同任务和情境中清晰表达自我意识的特征，并且这种意识在训练早期获得，可以在机制上定位于模型激活空间中的单个控制向量[25]。其他相关研究包括对内省意识的考察，定义为对身份、能力和目标的知识[221]，可以通过多智能体之间的协作推理来改善。

推理。推理模型参与反思性和类元认知行为的能力[65, 91, 66, 90, 136, 303]引发了关于推理能力的获取是否伴随着元认知表现的相关增益的问题；这导致了关于LLM中元认知与推理之间联系的活跃研究线索。⁷ 为此，一些研究为LRM中有限的元认知能力提供了证据，发现这类模型难以利用元认知信息进行监控或控制行为[160]，并且增强的推理能力可能与元认知敏感性相对立——表明元认知的改善并非更好推理的自动副产品[245]。Marjanović等[197]表明DeepSeek-R1无法完成简单的元认知监控任务，例如检测自身推理轨迹的长度。尽管如此，已观察到蒸馏变体如DeepSeek-R1-Distill-Qwen32B和DeepSeek-R1-Distill-LLaMA-8B在推理中保持了对相对位置的可靠内部估计，表明元认知行为存在根本差异，可能在这些能力的获取方面也是如此[71]。最后，Lu等[189]等工作在一定程度上探讨了元认知对推理效能的影响；此类研究揭示了在模型表现出弱元认知敏感性的场景中，思维链对最终答案的忠实度常常出现偏差。还观察到反思行为对模型置信度的影响通常很小，表明缺乏元认知基础。这些发现强调了在LRM中需要超越表面级别的对齐。此外，元认知仍然是LRM研究中相对未被充分研究的组成部分，相关论文中只有一小部分考虑了元认知方面[130]。

任务特定的发现。最后，一系列近期研究在任务特定的功能情境中对模型的元认知技能产生了见解。这包括评估模型以下方面的能力：通过引导提示命名并策略性地将技能应用于数学推理任务[62]；部署元认知策略进行知识编辑[76]；在论文写作中进行自我反思[280]；对生成温度进行内省[55, 257]；进行元语言分析[15]；在对抗性辩论中自我评估和修正立场[135, 224]；以及执行系统提示学习[219]。关于这些元认知派生能力的发现通常因模型和任务情境而异。尽管如此，这些情境构成了一个丰富的测试平台，以更能代表人类元认知能力多样性的方式探测和评估LLM的元认知能力。

模型规模、家族和表现的影响。现有工作普遍揭示了模型规模与元认知能力之间的一致性关联[288, 177, 220]，无论研究重点是元认知效率、元认知敏感性还是内省意识。这表明元认知行为可能随着更大模型的性能提升和泛化能力增强而自然涌现。尽管如此，这些发现仅得到有限数据点的支持，这些数据点来自小型（90亿参数以下）模型或规模未公开的大型专有模型，且来自不同模型规模的特定且互不关联的任务设置；尚不清楚观察到的元认知模式是否在中等规模的LM以及更广泛的任务设置和模型家族（包括专有LLM）中持续存在。此外，正如Lindsey [177]所指出的，这些趋势可能很复杂，并且对其他因素如后训练策略更为敏感，我们将在下文中讨论。

模型家族是影响LLM元认知分析的另一个变异维度。Cacioli [26]发现，即使任务表现相似，不同模型之间的元认知效率也存在显著差异，具有相似校准水平（通过期望校准误差衡量）的模型在元认知效率上也表现出明显的梯度差异，并且温度对元认知敏感性和效率的影响可能因模型家族而异（例如，Mistral和Gemma 2根据生成温度呈现相反的趋势）。Park等[220]进一步表明，在规模相似但家族不同的模型中，可以根据元认知表现得出明确的排名。

推理模型的使用可能引入额外的复杂性，导致趋势偏离在非推理LM中观察到的结果。特别是，总体表现更好的LRM未必表现出最强的元认知敏感性[245]，并且在某些模型家族中，最小的推理模型表现出比其更大对应模型更高的元认知敏感性。Sha等[245]将此归因于较大模型中大量使用中间推理步骤，这有助于表现但增加了准确自我评估的难度；然而，他们的研究仅集中于数字操作任务。另一方面，Advani [3]研究了元认知反思任务，并表明推理模型存在至少70-90亿参数的“能力阈值”，低于该阈值时元认知提示干预可能是有害的。他们发现，虽然小模型可以通过这种反思识别并修正一些推理错误，但它们在此过程中难以避免引入新错误，并且常常反而陷入幻觉或逻辑跳跃——得出结论认为，在没有足够模型规模或容量的情况下，元认知会导致混乱。但值得注意的是，这项工作从概念角度定义元认知，较少基于心理学中的技术定义。Huang等[111]在非推理环境中提出了类似的发现，即较小的模型对元认知提示更具抵抗力；然而，这可能仅仅是由于指令跟随能力较弱。

更普遍地说，评估方法、任务领域和实验设置（提示、置信度激发方法等）缺乏一致性，使得难以可靠地比较和验证关于模型元认知能力的发现和趋势。这仍然是一个有待系统、全面研究的开放领域。

后训练的影响。后训练过程对元认知能力的影响尚未得到充分确立。Lindsey [177]在对模型规模和表现影响的评论之外，提供了初步证据表明内省强度对后训练方法敏感。Cacioli [26]也直接比较了Llama 3家族中相应的指令模型和基础模型，发现后训练对元认知效率的影响具有领域特异性。即，虽然两种变体表现出几乎相同的meta-d′和d′，但指令模型的M-ratio略有下降，这种效应在科学领域比艺术、文学、历史、政治和地理领域更为显著。他们得出结论，RLHF可能专门降低STEM任务上的元认知效率。进一步的分析表明，在不同温度下，虽然基础模型的meta-d′和d′保持相当稳定，但指令模型表现出一种分离现象，即两个量中的一个增加或减少而另一个保持稳定（模式因模型家族而异）。这些发现指向了后训练与元认知能力之间复杂的动态关系，尽管其重要性，但仍有待全面刻画。

采样温度的影响。生成温度可以对所得的元认知观察结果产生可测量的影响。虽然温度的影响在校准文献中已得到广泛认可，⁸ 但对于类型2任务的补充发现才刚刚开始出现，Cacioli [26]表明温度操作会导致指令调优模型的元认知敏感性与置信度策略之间出现分歧。观察到，如果模型的元认知效率过低，通过温度调整进行校准无法有意义地解决潜在的元认知缺陷，置信度信号仍然信息不足。另一方面，那些置信度或敏感性未因温度设置而发生显著变化的基础模型似乎不反映这一趋势。这些结论的真实性和普遍性仍有待研究，值得进一步调查温度在塑造LLM所展现的元认知表现中的作用。

置信度估计方法的影响。现有LLM元认知评估中潜在的一个重要不一致来源是用于估计模型置信度的方法[288]。例如，响应级置信度可以通过采样一致性[194, 14, 41, 131, 304]、语义变异性[203, 145, 99, 214]、token概率[126, 67, 114]或自我报告的置信度分数[122, 272, 108, 306, 309, 328]等方法来估计。虽然对这一决策影响的系统研究基本缺失，我们总结了近期工作中的一些相关见解。首先，Dai [60]研究了口头化置信度量表操纵对元认知敏感性的影响，在长文本和短文本任务中发现，领先的开源和专有LLM（如GPT-5.2）的置信度量表设计直接影响了自我报告置信度分数的质量，从而也影响了元认知表现。特别是，他们观察到在典型的0-100范围内引发的口头化置信度值高度稀疏且离散，超过75%的响应集中在三个数值上，而使用0-20量表则显著且一致地提高了元认知效率。为绕过这一问题，Wang等[288]利用token对数概率来估计模型置信度，专注于短文本问答任务中的90亿参数以下开源模型。他们发现，使用这种连续置信度估计时，获得的M-ratio大约在0.85-1.05范围内，而使用自我报告置信度分数时获得的M-ratio约为0.62-0.92[60]。Wang等[288]进一步为元认知评估结果随置信度方法而变化的观点提供了证据，他们提出的针对LLM的SDT模拟方法也表现出类似的敏感性。

元认知指标捕捉到而校准指标未捕捉到的内容。从理论和实证上讲，元认知表现的分析提供了关于模型置信度信号质量的额外见解，这些可能无法仅通过典型的基于校准的评估来揭示。考虑这样一种情况：多个模型根据ECE [101]、Brier分数[97]或AUROC [260]等指标似乎都校准良好。⁹ 在这种情况下，元认知敏感性特别能够区分“知道自己不知道什么”的模型，这在置信度关键的下游设置中的模型选择可能很重要，并影响人机交互。例如，如果两个具有相同ECE的模型表现出不同的d′和meta-d′行为，并且其中一个模型将被部署到下游系统进行选择性预测任务，那么具有较高d′（任务表现）但较低M-ratio（元认知效率）的模型相对于具有较低准确性但较高元认知效率的模型表现会更差。这种权衡无法仅通过ECE来反映。Cacioli [26]引用了这类概念性示例以及AUROC和M-ratio产生完全反转的模型排名的实证证据，提出依赖置信度的应用因此应优先考虑高M-ratio的模型。因此，对LLM的元认知评估可以提供一种互补的视角来评估模型质量。然而，将这种评估扩展到开放式回答任务——这是LLM的一个关键基准设置——仍未得到探索。

LLM元认知的领域通用性与领域特异性。人类元认知是依赖于跨不同任务共享的领域通用资源还是领域特定的评估过程，长期以来一直存在争议[207]。对LLM也可以提出类似的平行问题。也就是说，LLM的元认知行为是由单一的“全局”机制中介的，还是由各自独立的领域特定过程所支配？LLM的元认知表现——例如通过元认知效率衡量——是否跨领域一致且泛化？领域特异性是否取决于所评估的特定元认知技能？据我们所知，尚无工作考虑第一个或第三个问题的合理性。然而，Cacioli [26]为支持第二个问题提供了早期证据，表明LLM的元认知效率实际上是领域特定的，不同模型在不同任务领域表现出不同的表现。

总体而言，本节强调的发现强调了在不同的实验和任务设置中系统评估LLM元认知能力的重要性。虽然LLM似乎表现出基本的元认知局限性，且受到后训练和置信度估计方法等因素的复杂化影响，但仍存在大量的进一步研究机会，特别是在理解如何测量、激发和改善这些能力方面，这具有如§3中所讨论的重要影响。

5 赋予LLM元认知能力

在先前对LLM中元认知的观察基础上，我们现在考察实现和改善LLM、LRM和智能体系统元认知能力的方法。这些方法涵盖架构和模块化设计、基于提示的技术以及训练策略（例如，在RL期间使用自生成信号[138, 314]）等。值得注意的是，将元认知编码到AI系统中的前景早于LLM的出现，早期方法利用元认知原则来提高智能系统的鲁棒性[238]、合成通用的“元模型”[32]，以及将人类元认知能力转化为AI的类似物[246]，此外还有其他目标[300]。关于更广泛的人工元认知努力的细节，我们请读者参考此类工作。

5.1 LLM中元认知的实现

当前在LLM中实例化元认知功能的努力通常利用专门的框架或架构。

框架。一些研究旨在直接从认知心理学中呈现的元认知框架出发，为LLM开发类似的元认知机制。例如，Yan等[308]从双重过程理论[127]中汲取灵感，提出了一个LLM中元认知辅助推理的框架，涉及自我意识、监控、评估和调节。Pangu Embedded [39]是一个类似启发的框架，它从双重过程理论出发，为推理优化的LLM实现系统1（快速、直觉）和系统2（缓慢、深思熟虑）处理，结合使用蒸馏微调、强化学习和元认知提示，赋予模型更细致、高效和通用的推理能力。Oh和Gobet [217]提出了监控-生成-验证（MGV）框架，它是Flavell [81]和Nelson [212]元认知理论的计算转化，包含显式监控以在生成之前捕获元认知体验，以及回顾性监控和验证。这一方法由Oh [216]具体实现，并展示了其对有效推理的益处。更广泛地，Scholten等[239]提出了一个理论框架来解释LLM中元认知缺陷的五种症状的存在，作为有限监控和控制能力的副产品。Conway-Smith和West [57]进一步提出，赋予LLM类人元认知能力需要实现类人的程序性记忆。

其他框架直接设计方法以在特定任务设置中为LLM实现元认知功能。例如，另一个针对推理任务的框架是MetaR1 [64]，它将显式的元认知能力引入具有推理能力的LLM，并在模型和任务中展示了一致的性能和效率提升。为改进数学推理，Huang等[113]提出了一个名为MetaMathLLaMA的模块化框架，它将基于transformer的元认知子任务调度器与符号解析和符号-神经计算相结合。关于知识边界意识，Park等[220]提出了元认知对齐进化策略（ESMA），这是一个加强模型内部知识与显式行为之间对齐的框架。Fan等[76]引入了一个模拟具有自我意识、边界监控和反思性思维的元认知学习以迈向类人知识编辑的框架。最后，Li等[169]提出了一种元认知测试时推理方法，使视觉LM（VLM）能够在推理过程中进行自我反思和自适应学习。

架构。为了在LM中实现元认知功能，一些工作还提出了专门的模型架构。Aviss [8]引入了状态流变换器（SST）架构，发现它可以展现增强的推理能力和涌现的元认知行为，并将其归因于规划和调节的高阶过程。另一方面，Jha等[121]提出了SAGE-nano，一个40亿参数的模型，它通过专门的元认知组件扩展了transformer架构，能够对前向推理进行逆向分析。这类架构通常保持或增强推理性能，并可以提高模型透明度。优化方面的一项相关创新是Zhang等[324]提出的元认知内省奖励架构（MIRA），它利用双层优化循环来驱动策略学习，同时纳入元认知监督以监控学习动态。

更普遍地说，这一领域的大部分努力集中在实现元认知功能以辅助以推理为中心的LLM应用；虽然重要，但这些方法的实证支持可能有限，设计类似方法以用于更广泛的用例也很有价值。

5.2 推理模型的元认知

越来越多的研究考察了如何将元认知机制整合到LRM中。Ha等[102]、Wang等[289]发现LRM已经表现出通常与专家元认知推理相关的潜在反思行为，如自我批判和反思，这推动了进一步调控和放大这些倾向的工作。受此启发，已开发了几种提示框架来显式地引出结构化的元认知推理。Shakoo和Sameti [247]引入了动态认知协调器（DCO），这是一个两阶段框架，首先生成依赖于问题的推理策略，然后执行该策略，在复杂推理任务上取得了强劲的表现。类似地，Fang和Chen [77]提出了概率链式证据（PCE）框架，通过提示工程将不确定性量化整合到推理过程中，在幻觉率等指标上始终优于经典的CoT。Li等[160]采用了一种互补的涌现方法，通过独立的规划和求解模型动态调整思维策略以改进数学推理。一条平行的工作线侧重于推理时的元认知重用：Yang等[310]首先引入了思维缓冲（BoT），它利用从先前问题解决过程中蒸馏出的“思维模板”来提高性能和泛化能力。Didolkar等[63]将这一想法扩展到推理模型，整合了一个“行为手册”——从先前轨迹中整理的行为记录——在保持准确性的同时减少了token使用。Cheng等[48]在MCTS中应用了类似的原则，使用从先前搜索轨迹的元认知反思中提取的启发式和谬误的共享记忆来指导后续推理分支，将轨迹需求减半同时提高了准确性。Xiang等[302]也针对推理时效率，在生成过程中监控反思信号以评估当前CoT是否足以终止，将推理长度减少了近35%，而准确性损失极小。

在训练方面，研究人员已开发出将元认知能力嵌入推理模型参数中的方法，大致分为两类：在增强轨迹上进行微调，以及整合自生成信号。Ha等[102]通过将推理和控制解耦为独立优化的组件来解决“过度思考”问题（模型生成重复推理），提高了准确性并减少了token使用。Wang等[289]在自我批判的推理轨迹上应用SFT和RL，以提高准确性和反思质量；Sun等[264]类似地在自我修正轨迹上进行微调，为更困难的问题添加了层次分解步骤。Li等[160]通过在带有难度评估和计划分解增强的轨迹上进行SFT和RL，扩展了其基于提示的方法。Didolkar等[63]类似地将“行为手册”整合到SFT目标中，实现了token效率和准确性的提升。第二类将自生成信号整合到训练目标本身中。Kim等[138]通过将关于即将生成内容的预测统计信息（如通过率和解决方案长度）与实际输出对齐来微调LRM，显著提高了准确性和领域外泛化能力。Yeom等[314]则整合了关于答案正确性的自信号，提高了准确性和校准——这对于部署在关键任务环境中的LRM尤为重要。第三种形式完全绕过了推理轨迹监督：Leong等[156]表明LRM拥有追踪自身推理特征的潜在推理信念，并通过在元认知QA对上进行微调来利用这一点，从而以较低成本重塑模型的自我概念以朝向期望行为——与更强的基线相匹配。Zhao等[327]从互补角度出发，训练模型在生成前估计额外推理的期望值，从而能够就给定问题是否投入计算做出原则性决策。Li等[164]提出了在推理轨迹对之间进行成对比较的中期训练，以改善推理与元认知之间的权衡。最后，Li等[159]采用内省方法CoRE-Eval，分析推理过程中隐藏状态轨迹的几何结构以识别冗余思考的循环模式，实现了无需训练的提前终止，减少了推理长度并提高了准确性。

5.3 LLM智能体的元认知

第三条研究线索涉及在智能体系统中实现元认知能力，以提高其实用性并解决其局限性[323]。特别是，虽然LLM智能体已在各种应用中获得了关注，但它们仍然存在缺陷，如僵化的任务链、浅层推理、脆弱的记忆保持、陷入不可预见的循环或遇到不可恢复的故障，这可能导致用户挫败感和信任度降低[305, 5]。在本小节中，我们讨论了在这一方向进行研究的工作，并根据所研究的特定任务设置或元认知能力对其进行分类。

学习、内省、适应和自我改进。现代智能体系统涵盖广泛的结构，包括将动态目标制定和记忆与自然语言推理和环境反馈相结合的混合架构[37, 312, 251]。整合元认知监控和控制机制为提高其功能提供了机会。为此，一些工作开发了用于自我改进、能力和学习进度的自我预测、改进策略选择以及LLM智能体“思维”过程和行动监控的元认知框架[277, 95, 305, 109, 281]。此类工作通常表明，为智能体增强元认知能力能够提高任务成功率[305]、在开放目标空间中更有效地学习[95]、更系统地进行反思和使用程序性知识[109]、在不同情境中更迭代和自适应地选择策略[277]、更好地处理新场景[281]、增强子任务分解技能[290]以及自动生成智能体工作流[332]。

多智能体系统。与单智能体设置类似，元认知方法可以在多智能体情境中提高系统的能力和实用性。这一方向的工作包括开发基于训练或模块化的“元思维”实例化[18, 286]，以及为多智能体系统实现细粒度错误检测和自我修正机制[249]。观察到这些方法可以解决多智能体系统的已知局限性，包括错误传播、在复杂或高风险情境中有限的灵活性和可靠性，以及在推理、LLM作为评判者和数学任务等方面的不足。

推理。LLM智能体中的推理是另一个受到关注的用例。虽然大多数在LM中实现元认知辅助推理的工作直接关注推理模型（§5.2），但一些研究设计了针对智能体的特定方法，包括AutoCrit [236]，它在一个反馈循环中整合了批判、推理和监控智能体以减轻不一致性和错误传播；RefRea [193]，它利用一个元认知模块来比较参考模型和推理模型的动作，并通过反思和环境响应适应来指导结果；以及Light等[175]，它使用脚手架构建的上下文元推理示例。

协作。其他工作研究了元认知机制对改进智能体协作的贡献。例如，Zhang等[325]借鉴元认知和心理理论的心理学理论，在多智能体环境中模拟类人的社会推理；而Yang等[311]提出了一种人机协作范式，利用元认知策略的判断来决定何时向人类专家寻求帮助。

记忆。由于LLM智能体依赖累积记忆来处理长周期和决策任务，记忆管理是另一个受元认知启发的能力，具有改进空间。在这一方向上，Liang等[174]指出，许多智能体方法依赖于单一抽象级别的固定记忆表示，这可能阻碍泛化。因此，他们提出将记忆抽象视为一种可学习的技能，并引入一种受元认知启发的方法，通过DPO训练一个单独的模型来学习将知识蒸馏为具有合适格式和适当抽象级别的表示以便重用。

搜索、检索和工具使用。另一个已被探索的应用场景是利用元认知监控或反思来更好地在智能体应用中的搜索、检索、推理和其他工具之间分配资源。例如，Sun等[265]引入了一个用于深度搜索智能体的监控框架，将执行级控制与任务级推理分离开来，提高了此类智能体的鲁棒性和实用性。类似地，Chen等[44]提出了一个受元认知启发的框架，使智能体能够动态评估何时使用现有知识进行推理或寻求新证据，这有助于消除冗余检索。Musumeci等[209]也利用元认知衍生的自我反思机制，使智能体能够以更结构化的方式处理基于知识的QA任务，并动态地编排查询回答。另一个相关方向涉及时间意识，提出了诸如LLM如何知道其知识已过时以验证更近期（外部）来源等问题。

6 提升LLM能力的元认知方法

到目前为止，我们的讨论集中于对LLM元认知能力的直接观察和改进。同样有价值的一个方向，特别是为了实现类元认知加工的各种下游益处（§3），是设计功能性基于元认知的方法来改进和扩展LLM的能力。这一方向的努力可以大致分为两类：旨在提高特定任务设置中的表现，或旨在提高学习发生的效能和效率。

6.1 提升任务表现

我们讨论了旨在提升LLM在不同任务中表现的多种受元认知启发的方法。

通用表现。由于元认知加工广泛适用于各个领域，一类工作包含旨在提高LLM通用表现和问题解决能力的方法。通常，模型会经过后训练（例如，指令调优）以改善对人类偏好和指令的遵从，并获得强大的零样本能力。沿着这些思路，一些工作表明，使用与模型认知加工一致的指令或推理时的元认知提示（诱导自我反思和自我评估）可以在多个基准上提高问题解决和推理能力[231, 293, 9, 321]。捕捉不同类型元认知行为的提示设计对所得改进的贡献不同[231, 180]。此外，模型在QA设置中检测和解释错误预测的能力可以通过多阶段微调来改善，其中模型通过遇到其先前的预测来获取经验；这有助于以元认知方式进行自我验证[188]。然而，改善LLM的自我修正能力可能不需要微调：Tan等[268]提出使用稀疏子网络来捕获决策过程以实现更好的内省监控。关于如何构建和利用元认知方法来提高LLM的通用能力，仍有充足的空间有待进一步探索；然而，回顾§4.2中关于元认知领域通用性与特异性的讨论，专注于特定设置的实例化可能更有效。

置信度校准。评估和传达自身不确定性的能力是元认知的一个决定性特征。然而，虽然LLM可以维持内部不确定性信号，但它们表达的置信度通常与准确性和内部不确定性都不一致。为此，一些工作试图设计元认知方法来提高模型以可靠和校准方式向人类用户传达其置信度的能力。就置信度与准确性之间基于事实性的对齐而言，Steyvers等[261]利用监督微调（SFT）来增强模型为答案分配校准置信度分数并根据预期正确性区分两个可能答案的能力。他们观察到多任务训练对于这种技能的有效泛化是必要的。另一方面，另一条工作线研究了加强模型表达置信度与内在置信度之间忠实对齐（即“忠实校准”）的元认知方法。Liu等[180]表明，直接告诉模型它具有强大元认知敏感性的元认知系统提示可以以普遍化的方式带来忠实校准的一致、适度改进。在此基础上，Liu等[181]证明，在RL期间使用元认知表现作为额外训练信号来缩放优势分数并优先优化完成排名，可以在忠实校准方面带来显著提升，同时赋予模型以逐点方式自我预测表现的改进能力。这种带元认知反馈的强化学习（RLMF）范式可以优于标准RL，并普遍性地提高元认知监控和目标任务的表现。这与Steyvers等[261]关于泛化性的基于SFT的发现形成对比，表明控制元认知能力泛化的动态更为复杂——这是一个迄今为止尚未探索的研究方向。存在不同类型的元认知任务（例如，表达置信度与比较问题难度），某些形式的泛化可能比其他形式更容易掌握。

幻觉减少。自我识别错误以及检测和表达不确定性来源的能力在特征上非常适合应用于幻觉缓解。初步研究确实表明，赋予模型元认知能力——例如，通过在微调期间使用平均元认知误差作为梯度更新的损失函数[166]——可以减少文本生成过程中幻觉的发生。这种方法在概念上类似于Liu等[181]提出的RLMF范式，但使用了不同的元认知表现衡量标准，在训练过程的不同点应用它，并侧重于不使用RL的微调。它还涉及更复杂的多模型设计。尽管如此，这为利用元认知表现信号来指导训练和优化的价值提供了额外的证据。除了训练之外，Miki和Vincent [206]还表明，在LLM中强制结构化系统1和系统2“思维”的元认知提示可以减少上下文幻觉，支持使用提示引导模型表现类元认知行为并随后改善输出质量的平行方法。

知识边界检测。模型检测并传达自身知识范围的能力是另一项重要技能，可以为有效的资源使用提供信息、提高事实性并增强可信度[225, 42, 191]。然而，LLM经常经历知识与置信度之间的差距，导致过度自信的错误或不确定性真理[40]。为解决这一问题，一些研究提出了使用元认知方法来改善知识差距意识。例如，Tiwari和Gupta [275]设计了受元认知启发的反思性提示，以在这一方向上引发自我评估和错误修正，这也适用于幻觉缓解。Chen等[40]引入了一种更系统的方法，其中利用模型的内部信号将其知识空间划分为掌握区、困惑区和缺失区，从而为现有知识的有针对性的增强提供信息。Roy和Roy [235]进一步利用基于物理的约束来改善LLM的自我知识能力及其在选择性预测、校准和响应修订方面的表现。

抵抗说服。在人类中，与准确置信度评估和自我知识密切相关的一种自然能力是在适当时抵抗说服的能力。关于LLM中这一属性与元认知关系的研究有限，但Huang等[111]的初步证据表明，基于引发自我报告置信度分数的元认知提示实际上可能增加信念侵蚀的脆弱性，并且模型规模、家族和后训练可能在影响这种易感性方面很重要。尽管如此，重要的是要注意，已知LLM中的口头化置信度存在不一致和不可靠的局限性。我们将此解释为对进一步研究元认知在抵抗不当说服或反事实方面的潜在益处的动机，其中替代的元认知提示、训练或其他方法可能产生不同的结论，并可能为改善对误导性或对抗性构造输入的鲁棒性提供另一条途径。

可解释性。监控和报告能力、知识和置信度的改进能力的副产品是增强的可解释性。Tankelevitch等[270]提出了这一观点，他们认为可以通过考虑元认知来增强现有的可解释性方法。对此提议的实证支持有些有限，但Plunkett等[223]的工作虽然未明确关注元认知，但强调模型报告其决策过程的详细、定量理由的能力可以通过训练得到改善，为以人类用户可理解的方式描述内部操作的更通用能力提供了步骤。

非推理模型的推理。LLM元认知方法的另一个具体应用是改善那些不一定为推理任务优化的模型的推理表现。这一方向的工作通常集中在几类特定的方法上。一些研究提出了新的框架来调整人类元认知原则以用于LLM推理。例如，Haque [104]提出了一个元认知控制器，使模型能够动态选择如何思考：实际上，他们的框架使用关于推理的推理来为给定输入识别最合适的推理风格（例如，思维链、思维树、思维图），已被证明对FlanT5-Small模型（约8000万参数）有效。其他值得注意的基于框架的方法包括Huang等[113]、Oh [216]、Ta等[267]，它们侧重于增强LLM的数学推理能力。这些方法可以提高生成推理的可解释性（例如，解决方案中更清晰的步骤），有利于帮助学生和教育工作者。Elenjical等[72]是该领域另一项值得注意的工作，具有更强的心理学基础。第二类工作利用特殊的元认知提示来增强推理表现。这包括指示模型反思推理步骤和步骤内容的确定性[227, 77]，在推理前识别知识冲突[10]，以及根据任务要求在推理方法之间进行动态选择[93]。这类方法通常优于思维链提示，并产生更好的不确定性表达。一种相关技术利用迭代反思在推理任务中诱导类元认知加工[183]，这可能对小型LM特别有帮助[163]。Khandelwal等[134]表明，对表现进行元认知监控并随后提供反馈可以实现渐进式解决方案改进，使LM优于推理模型。最后，受元认知启发的分析可用于通过影响图对LLM推理进行建模[58]，有助于识别推理轨迹中的关键点并提高推理效率和可靠性。

检索。由于资源分配是元认知辅助的关键功能之一，一些人设计了元认知方法来提高检索增强生成（RAG）过程的效率[165]。例如，Chen等[44]提出了动态评估探索效用、识别覆盖或相关性缺陷以及评估何时寻求新证据或推理的框架。这有助于消除冗余检索步骤，改善上下文演进和简洁性，从而优于基于文本和知识图谱的RAG基线。知识边界检测是另一项元认知派生能力，Lv等[191]通过上下文学习利用它来提高检索前自我知识评估的准确性。监控、评估和规划等元认知功能的通用应用也被用于辅助检索增强型LLM，并显著优于先前的工作[334]。

其他。元认知方法也被用于改善LLM的其他多种能力。这包括元认知框架、训练流程、提示方法和决策指导。例如，Lin等[176]、Qin等[228]、Shan等[248]设计了整合元认知自我评估、错误检测和学习策略的框架，以提升LLM识别和缓解领域特定风险、进行创造性规划、在角色扮演任务中保持一致性以及从蒸馏训练中学习的能力。在风险缓解方面，Shan等[248]认为元认知监控策略可以通过绕过任务特定训练的需求，同时避免与过于通用的解决方案相关的深度损失，来帮助导航泛化-特化的权衡。Qin等[228]表明训练期间的元认知评估可用于提供可解释的中间生成状态。Lin等[176]还发现元认知学习可以培养创造力并提高效率，使模型能够以最少的演示执行机器人任务。除此之外，在训练期间通过附加注释（例如，解决问题所需的技能）将元认知知识整合到训练样本中已被证明有助于减少灾难性遗忘[322]。元认知提示方法已被应用于改进提示工程[198, 229]和模型进行因果推理[218]、自我识别和减少偏见[105]、检测讽刺[152]以及生成本体[178]的能力。此外，元认知信号（例如，能力的自我评估）已被用于支持工具使用和教育环境中的自适应决策，使模型能够动态调节何时调用外部工具，并以更可解释的方式指导人类学习过程[165, 184]。

综上所述，本节讨论的工作表明元认知监控和控制行为可以为LLM的多种下游能力带来切实的益处。尽管如此，结论似乎分散在不同的模型和任务中，其中一些已经过时。

6.2 提高学习效能

我们介绍了通过元认知方法提高LLM学习和技能获取的效率与效能。

任务监控。可靠地评估和跟踪任务进展的能力是高效和有效学习的基本方面。这种监控使个体能够定期将当前的理解状态与预期目标进行比较并相应调整。然而，由于LLM元认知校准不良、系统性的过度自信以及有限的自我监控和调节（§4.2），这在LLM中常常受到阻碍。为此，近期研究开始调查显式的元认知监督是否可以作为解决方案。在深度搜索任务的背景下，Sun等[265]观察到智能体失败通常不完全归因于推理薄弱，而是缺乏检测检索状态和推理轨迹何时变得不可靠的机制。因此，他们引入了一个层次化监控框架，包括快速一致性监控器和缓慢经验驱动监控器。快速一致性监控器负责确保模型的推理与外部证据一致。如果存在差异，则缓慢经验驱动监控器访问记忆记录以生成修正行动。这模拟了一种元认知监控形式，能够改进对任务完成进展的调节。类似地，Roy和Roy [235]提出了一种微调方法，以改善模型在学习基于物理的任务时的元认知校准，从而带来改进的预测表现和监控能力，并进一步支持了元认知监控监督框架的价值。相关地，Fan等[76]提出了一个模拟人类元记忆机制学习过程的框架，使多模态LLM能够更好地（元认知地）监控新信息的范围和可靠性。这相对于先前的认知启发方法提高了学习成功率，并进一步改进了多个基准上的知识编辑。

自我批判。反思是一种元认知特质，促进错误识别和修正以改善学习结果。为此，近期工作实施了元认知自我批判策略来增强LLM的反思能力和随后的表现。Hills [105]证明LLM可以通过元认知提示被启动以评估并在推理中传达有偏见的决策。Wang等[289]进一步通过一个训练框架超越了肤浅的反思行为，该框架利用高质量反思来构建强化学习的奖励信号，引导模型内化自我修正程序，从而实现有效的自我蒸馏。值得注意的是，他们提供了反驳先前关于模型固有反思行为是真正元认知的主张的证据。

策略选择。对使用什么方法以及何时一种方法优于另一种方法做出准确判断的能力是学习和规划的另一个关键特征，这由元认知提供信息[34]。现有受元认知启发的此方向方法主要关注LLM智能体，并在§5.3中已讨论。这一能力的一个应用是集成选择，其中多个专家模型可用并根据最大化累积奖励的选择策略进行选择。在这一方向上，Trinh等[278]利用元认知敏感性来指导模型选择，发现这种机制提高了联合准确性，优于个体表现，并且优于标准的基于置信度的选择——后者常常掩盖了对完整理解模型置信度信号可靠性和随后策略选择决策（§4.2）至关重要的元认知品质。

自我改进。更一般地，模型自主地、可泛化地、迭代地改善其表现和能力的能力是元认知的一个关键方面，它支撑着高效和有效的学习[185]。一些工作通过提出模型在其推理、修正和进化能力上进行自我改进的框架来研究这一点。例如，Li和Qiu [168]提出了一个框架，其中模型可以在无需额外训练的情况下通过使用存储在记忆中的高置信度推理路径进行“预思考”来自我改进，强化了自我改进取决于有效抽象和回忆成功且相关的解决问题的观点。作为这一视角的补充，Qu等[230]表明自我改进可以通过自我进化机制实现，引入了一个微调框架以实现LLM的持续内省和自我完善。Bao等[11]进一步实现了一个整合元认知监控、自适应记忆和动态学习的持续自主改进框架；其目标是使智能体能够识别知识差距、寻求相关信息并随时间完善其内部表征。

7 LLM元认知的应用

赋予LLM更接近人类的元认知能力和行为可能有助于增强下游的人机交互。对此类益处的研究相对有限；我们总结了三个主要方向。

人机决策。人机协作决策已被证明是改善任务结果的有力方法，基于LLM和其他AI系统的元认知表现在最大化决策准确性方面发挥着关键作用。在心理学中已充分证实，元认知评级对于人类的最优联合决策很重要[150]。类似地，近期工作强调了元认知敏感性（回忆：分配能够区分正确与错误反应的置信度分数的能力）与基于LLM和其他AI系统的预测准确性相结合，对优化混合决策结果的互补贡献[171, 170]。此类研究制定了理论框架来建模和评估这两种属性在混合决策情境中的相对影响，表明更好的AI元认知敏感性可提高人类决策表现，并且准确性较低但元认知敏感性较高的智能体实际上可以提高整体准确性。这些结果强调了优先考虑模型元认知敏感性以实现更优决策结果的重要性。更广泛地说，AI系统所发出置信度估计的可靠性对于帮助用户校准对此类系统的信任，并优化他们对AI建议的考虑和使用至关重要[150]。Fernandes等[78]发现使用AI工具可以帮助减轻人类的系统性过度自信，但有时会降低人类评估自身表现的精确度。Colombatto等[54]进一步识别了用户在活动策划设置中接受或拒绝LLM帮助时在自信度和回答细节上的差异。

然而，随着对AI依赖的扩大，人类的元认知技能变得越来越必要[116]。为LLM和其他AI系统赋予更强的元认知能力并不能免除人类用户的辨别负担。事实上，生成式AI的使用可能对人类用户施加多种元认知需求，即使可解释性有助于卸载部分工作[270]。几项研究观察到依赖LLM帮助的人类用户“元认知懒惰”增加，他们变得不太积极地参与批判性思维和学习[75, 254]。为解决这一问题，一些人提出了有针对性的努力来提高基于元认知的AI素养[237, 20]，包括让用户在考虑LLM生成的信息时有意识地参与批判性思维和理性推理[148]，以及通过特殊提示和测验进行元认知训练[263]。在AI辅助学习期间向人类提供反馈的时机还可以在这种元认知判断中发挥作用[210]。

用户模拟。LLM元认知可用于模拟人类用户，以在难以或技术上无法有效使用真实人类的情况下测试下游环境（如教学或治疗）的AI系统。Borchers等[22]研究了LLM预测新手学习者问题解决成功并反映其元认知模型的准确性，发现此类LLM模拟器与真实学生出声思维相比倾向于产生过于连贯和自信的推理。为应对这一弱点，Zheng等[329]提出了Cognitive Echo，它在真实学习交互数据上微调LLM，使其生成更接近学习者认知过程和策略的推理。这使研究人员能够预测和捕捉学生认知策略和行为，否则这些将无法被检测到。为识别高质量的学生智能体，Li等[161]引入了一个生成和过滤LLM模拟器的流程，首先在各种属性（例如，人口统计、个性、基于学习的特征）上自动生成多样化的学生档案，然后运行自动评分并通过人类专家评估评价其中的子集，最后对相似档案应用基于图的分数细化。除了模拟学生，LLM还可用于模拟治疗会话中的来访者。当前的模拟来访者不切实际地揭示和理解其思想和感受，使得难以评估模型是否能真正探究来访者的内部信念。因此，Kim等[137]提出了MindVoyager，它提供可控的开放性和元认知水平，动态适应治疗会话的进展，并表明这种设置能够对LLM治疗师进行更真实的测试。

教育学。由于元认知被广泛认为是有效学习的关键驱动力[81]，LLM——以及更广泛的AI驱动工具——有潜力通过智能设计支架式反思学习实践，在教育环境中充当元认知工具[151]。Lee等[153]引入了PedagogicalRL-Thinking，这是一个奖励模型思维过程并使用基于教学法的提示的框架，显著提高了学生的解题率。其他工作探索了交互式设计：Holub等[107]使用多智能体苏格拉底式对话来迭代完善元认知反思问题；Holmes等[106]发现围绕元认知目标设计的LLM生成提示始终优于替代方案；Tomisu等[276]将AI重新概念化为“认知镜像”——一个可教的初学者，其刻意无知迫使学习者外化和监控自身的理解。Gatzia和Wood [94]类似地研究了基于LLM的活动如何通过“论文分析作业”（学生批判性评估AI生成的文本）来促进元认知发展。然而，这种前景并不总能实现。Boettcher [21]发现学生很少将LLM用于元认知任务——在工程实验室环境中仅有23%这样做。即使学生确实参与，交互质量也有很大差异：Contel和Cusi [56]观察到许多学生将ChatGPT作为自身推理的被动替代品而非诊断性地使用它，而模型本身也经常无法支持规划和自我监控。Uittenhove等[279]报告了类似的发现，显示精心提示的元认知聊天机器人在三个教育环境中参与度较低，且参与度与学习结果之间没有关联。然而值得注意的是，Contel和Cusi [56]发现，确实表达元认知意识并将LLM用作诊断工具的学生获得了更多收益——这表明在教育中实现LLM的元认知潜力不仅需要能力强的模型，还需要围绕它们进行精心的教学法设计。

8 反思与讨论

为什么是元认知？元认知是智能的一个关键方面，涉及我们监控和控制自身认知的过程。赋予语言模型元认知能力可以使它们在学习和问题解决、决策及规划方面更加可靠、高效和有效。这可以以更普遍的方式提高LLM在下游任务上的表现，增强对用户需求的适应性，并扩展LLM的基本能力[93, 248]。它还可以使LLM更易于解释和说明，并提高人机交互的可靠性和质量。

LLM真的能够表现元认知吗？到目前为止，很明显LLM尚不具备鲁棒的元认知能力[274]。表明LLM表现弱或有限元认知（§4）的迹象包括：（1）它们系统性地倾向于过度自信，推理与置信度表达不一致[155, 36, 245]；（2）它们在涉及知识、表现和资源分配的元认知判断任务上表现困难[315, 19, 117, 118, 129, 327]；（3）它们的内省和修正能力脆弱[316, 103, 224, 162]；以及（4）它们容易受到冗余信息的影响[239]。LLM在元认知能力和行为方面似乎也与人类不同[260]。尽管如此，一些观察表明LLM可能确实表现出元认知倾向，并且这些倾向与人类相似，包括通过训练或提示干预在元认知技能上有所改善的能力（§5，§6），在推理和反思过程中表现出元认知派生能力（§5.2），在不同任务环境中元认知表现水平不同，以及表现与元认知之间看似无关的关系（§4.2）。需要对模型架构、优化目标、训练数据和过程等因素进行更深入的分析，同时开发更系统的基准来测量LLM的元认知能力[321]。

此外，关于模型是否能够真正参与元认知过程而非仅仅表面模拟它们，目前仍存在持续的争论[227]。这反映了关于模型是否表现出真正理解或仅仅（假装）模仿它[218]的更广泛讨论，包括关于LLM推理真实性的质疑。意识不一定是元认知的先决条件[213, 234, 147, 273]，元认知可能在个体没有意识到它、不相信自己的意识且没有内省的情况下运作[133, 297, 36, 128]。元认知也可以在LLM等实体中功能性地运作。然而，一些人提出，使LLM在元认知方面更接近人类可能需要一种规范性的转变，这与将其用作工具的目标存在张力[274]。在使用“元认知”一词时保持精确也很重要，注意不要将其与例如简单的反思过程相混淆[73]。

设计有效的LLM元认知方法面临哪些挑战？LLM的元认知干预需要精心设计才能有效。例如，关于元反思提示在不同环境中的效用存在相互矛盾的证据[231, 180, 92, 275]。针对特定模型的设计可能很重要，因为将为一种模型设计的策略适配到其他模型可能会忽略模型特定的元认知表征[216]。这与人类对自身元认知的特权访问[212]相似，不同元认知策略和训练的助益性因人而异[201, 298, 271, 33]。元认知方法的选择及其在心理学上的知情程度是其他需要考虑的因素。基于训练的方法仍然有限，现有工作大多依赖提示，尽管涵盖了多种用例。这引发了一些问题：元认知策略应在多大程度上设计为通用型而非针对特定任务定制，需要多高的复杂度（例如，是否需要复杂的框架），以及在多大程度上应纳入心理学原则。关于（AI）元认知的替代观点[132]也可能有用；例如，Fitousi [79]将元认知敏感性重新表述为一个涉及多个智能体的信息处理问题，为研究置信度和元认知效率提供了不同的理论操作化方式。不可靠的自我报告以及元认知估计对置信度激发方法的敏感性，为该领域的分析和设计提出了更多问题。当使用自我报告信号时，前瞻性判断与回顾性判断之间的区别可能具有相关性[250]。最后，随着该领域的发展，LLM元认知的安全影响值得关注。对齐和元认知的进步携手并进可能是有价值的，同时关注人类和AI元认知之间的差异，这可以分别增强监督和协作。同样重要的是要注意LLM元认知明显的领域特异性，因为一个模型在一个领域中元认知效率高而在另一个领域差可能会带来部署风险。

LLM元认知的风险是什么？近期研究表明，LLM可以监控、报告和调节其内部状态和神经激活，并表现出行为自我意识——即在没有明确监督的情况下准确描述或预测所学行为的能力[162]。Betley等[17]的研究还发现模型可以意识到后门攻击和其他漏洞。如果一个模型是诚实的，这些能力使其能够识别其行为中可能出现的问题倾向（例如，训练偏差、数据投毒[46, 74, 285, 31]）。然而，这也引发了安全担忧，因为一个不诚实的模型可能利用其意识在评估期间策略性地歪曲或有目的地混淆其真实能力和内部过程[98, 25]。为此，更好地理解LLM元认知能力的程度可能至关重要。与某些元认知能力（例如，自我导向的计划或学习）相关的自主性也必须被考虑，并可能在安全或隐私关键的环境中被监控[5]。探讨人类与LLM元认知之间的相互作用也很有意义。一个通常具有良好元认知的人类用户可能自信地认为他们能够检测AI何时在误导他们，因此相对于对其自身评估技能不太自信的用户，会更不仔细地审视输出[199]。如果用户对系统的元认知能力和相关保障措施了解不足，对错误威胁的警惕则是另一项风险。一些人进一步提出，能够进行元认知加工的模型应对行动和决策承担更大的责任[232, 82]，这代表了进一步讨论的另一个方向。

尽管存在潜在风险，LLM的元认知也可以通过直接对抗过度自信来帮助提高高风险环境中的安全性和透明度，从而降低系统未能识别其正沿着有缺陷的解决方案路径或有害策略前进的可能性[233]。

元认知缺陷常常被认为是模型内部不确定性与表达置信度之间，或内部决策与口头推理过程之间差异的根源，因此改进元认知可以进一步提高模型与人类用户沟通的忠实度，增强可解释性，并提升我们发现错误决策的能力[149, 50]。总体而言，元认知的风险与益处需要仔细关注和进一步考量。

9 未来方向

LLM中的元认知仍是一个新兴和探索性的领域，鉴于元认知能力的广泛范围，未来研究的许多方向都是可能的。我们在下面突出了一组有代表性的方向，从更一般和基础性的路径开始，然后转向新兴主题，最后以更长期、更具推测性的问题结束。

测量、理解、改进和应用LLM元认知。虽然LLM元认知具有广泛的应用，但需要更系统、稳健和全面的方法来测量和量化LLM现有的元认知能力，以推动进展。当前评估LLM特定元认知能力或在特定任务环境中量化其元认知技能的范式，在测量技术、置信度激发策略、任务形式、模型以及温度、数据集大小等其他实验因素（§4）方面缺乏一致性，使得评估所得观察结果的可靠性和泛化性变得困难。以元认知为重点的基准在系统性和范围方面也存在类似的局限性，且数量稀少（§4.1）。所考虑的任务可能是人为的，可能无法反映现实世界的环境。此外，尽管LLM的元认知能力以多种方式影响其下游表现和实用性，且元认知指标可以提供超越标准置信度校准测量（§4.2）的补充性见解，但在通用评估基准中，LLM的元认知能力在很大程度上被忽视了。

目前尚不清楚我们如何解释LLM中类元认知加工或行为的涌现，也不清楚这些能力是以通用方式还是领域特定方式表现出来。理解后训练过程、训练数据属性（例如，多样性、提示结构）、模型架构和其他因素对LLM元认知的作用是这一方向的一个研究线索。应用机械可解释性技术或其他针对性分析来揭示观察到的元认知行为背后的潜在机制，是另一个尚未探索且富有成效的途径。

在改进和应用LLM元认知方面，未来的工作可以研究为更广泛的模型、任务场景和实际应用设计和利用受元认知启发的机制，并可能将其与现有方法相结合。例如，元认知奖励设计已被几项工作所考虑，并在提高LLM的忠实度和校准方面取得了成功（§5.1，§6）。元认知在多大程度上可以支持学习效率和效能以及其他基本相关的功能过程，也仍有待探索。LLM中更敏感和校准良好的元认知可能进一步释放新能力，如自我导向的行为和学习、好奇心驱动的探索和创造力[260]。

元认知与创造力。创造力对各种认知能力和任务都很重要，如问题解决[9]、机器人规划[176]和研究构思[182]。在人类中，元认知感受是创意想法生成、评估和选择不可或缺的一部分[226]。它在协同创作环境中也很重要，这是一种日益普遍的人机交互形式，其中元认知支持的反思可以调节用户如何随时间调整创意策略并解释系统行为和设计意图[287]。初步工作表明，元认知提示可以提高人机科学构思系统的可解释性和有效性，并帮助研究人员检查想法如何演变[182]。通过基于元认知原则研究LLM的创造机制，可能进一步实现任务表现和下游应用方面的收益。

元认知与自我改进。由于元认知是学习的基本组成部分，能够实现主动评估、反思和适应，它可能是开发自我改进智能体的关键。自我改进指的是以最少（人类）监督持续获取新能力和经验的能力。当前在基于LLM的智能体系统中实例化这一能力的方法往往僵化，或缺乏泛化性和可扩展性。一些人[185]认为这是由于依赖纯粹外部的元认知机制，这些机制依赖于固定的、人类设计的元认知实现，而非内在的元认知学习。无论如何，赋予LLM更强的元认知能力是朝着更通用和更对齐的自我改进迈出的有希望的方向。在此过程中，如何在人类和智能体之间最佳地平衡元认知责任是一个开放性问题。

元认知与心理理论。LLM元认知的研究可能有助于理解其心理理论能力——这是LLM近期关注的人类认知的另一个方面，对涉及多智能体的协作或社会环境具有影响。心理理论（ToM）描述的是将不可观察的心理状态（例如，意图、欲望、信念）归因于他人的能力，它与心智化密切相关，心智化指的是将类元认知监控应用于其他个体[89, 142]。¹⁰ 一些工作表明LLM可以表现出涌现的ToM能力[6, 45, 110, 283]，尽管发现不一。ToM可以提高模型对用户心理建模的能力，以人文方式了解用户，并生成更有效、更具适应性和情境适宜性的回应（例如，在风格、范围、语气、说服力方面），在教育和其他智能体环境中具有进一步效用[215]。值得注意的是，Leer等[154]证明元认知提示可以改善LLM中的ToM，并减少AI辅导应用中的ToM预测误差。考虑到元认知和ToM的功能相似性，赋予LLM更好的元认知可能对其建模和推理其他智能体或人类用户认知过程的能力产生影响。

元-元认知的前景。近期证据表明，人类拥有评估自身元认知置信度判断质量的元-元认知能力[200, 330, 242]。LLM是否具备这种能力尚未被研究，这为未来表征LLM元认知的工作提供了另一个有趣的方向。人类与LLM元认知之间的比较也可能为这一问题和更广泛的其他问题提供有价值的见解，并作为更原则性地解释LLM元认知的框架。

10 结论

本文提供了关于LLM元认知研究和知识现状的首次全面且最新的综述。我们组织和统一了该主题的现有工作，讨论了测量和激发LLM元认知的技术、改进和应用LLM元认知能力的方法、该领域工作的发现和启示，以及未来研究的挑战和开放方向。虽然LLM在许多NLP任务和不同下游环境中取得了显著进展，但它们能在多大程度上展示、获取和应用元认知能力仍不清楚。需要进一步研究来理解这些，以及模型是能够真正进行元认知还是仅仅模拟记忆模式，元认知如何促进其他理想的行为和品质，以及LLM元认知对安全监督、部署和人机交互的影响。我们希望本文能作为进一步探索和讨论这一重要主题的基础。

局限性

在本文中，我们的目标是系统、全面地概述关于LLM元认知的现有研究。虽然我们引用了大量与该主题相关的研究，并尽最大努力涵盖了迄今为止最相关的工作，但仍有可能遗漏了一些工作。此外，鉴于该领域日益增长的兴趣，在本文撰写和审阅期间可能同时产生了新的贡献。我们鼓励读者也查阅引用本文的后续论文，以获取关于LLM元认知方法和应用的更最新理解。最后，我们注意到在我们的讨论中，凡是提到模型置信度的地方，我们主要是通过元认知的视角来处理的，而没有提供对校准的全面论述，因为校准是一个已确立的领域，已有大量现有综述[112, 301]。

原文链接：https://arxiv.org/pdf/2607.11881v1