EMNLP 2026 | 逻辑一致的结构化知识推理|模型权重|结构化知识推理

论文题目：
Last Layer Logits to Logic: Empowering LLMs with Logic-Consistent Structured Knowledge Reasoning
论文链接：
https://arxiv.org/abs/2511.07910

一、研究背景

大语言模型在自然语言推理任务上表现出色。经过海量非结构化文本预训练后，LLMs能够理解自然语言中的语义关系，并生成逻辑连贯的回答。然而，当问题需要模型严格遵循知识图谱中的实体、关系和结构化路径时，模型的推理能力会出现明显退化。

知识图谱以预定义 schema 和三元组形式组织事实，例如“实体—关系—实体”。这种表示方式与大语言模型熟悉的自然语言存在显著差异，使得模型在知识图谱问答（KGQA）中容易偏离问题意图，或生成知识图谱中根本不存在的推理路径。论文将这一现象概括为 Logic Drift（逻辑漂移）：模型看似在进行推理，实际上输出已经偏离了问题逻辑或知识图谱结构。

Logic Drift 主要表现为两类错误：一类是生成与问题语义无关的路径，例如面对“某首歌曲的歌词作者使用了什么吉他”这一问题，模型却沿着歌曲语言或作曲者等无关关系展开；另一类是生成知识图谱中不存在的关系或实体，形成结构化知识场景下的特定幻觉。如下图所示。

在 CWQ 数据集的抽样分析中，现有 ToG、DoG、GCR 和 KG-CoT 等方法生成的路径中，仅有 35.2% 与问题和知识图谱同时保持一致，另有 56.1% 存在知识图谱不一致的逻辑漂移，8.8% 存在问题不一致的逻辑漂移。这说明，单纯依靠提示词、复杂工作流或多智能体协作，仍然难以从根本上约束模型的最终输出。

二、核心假设

本文从大语言模型的自回归生成过程出发，提出一个核心观察：LLM 每一步生成下一个 token 时，真正决定输出的是最后一层的 logits 分布。如果与问题逻辑一致的 token 在 logits 中得分较低，而语义无关或不属于知识图谱的 token 得分较高，模型就会在生成的第一步偏离正确路径，后续推理也会持续累积错误。

因此，结构化知识推理的关键问题并不只是“如何设计更复杂的输入提示”，而是如何让模型的输出分布同时对齐两种逻辑：一是问题本身所要求的语义逻辑，二是知识图谱所规定的结构逻辑。基于这一视角，本文提出 Logits-to-Logic 框架，将知识图谱中的合法路径与问题语义映射到 logits 概率空间，直接在模型输出层面纠正 Logic Drift。

这一思路把结构化知识推理从“输入引导”推进到“输出校正”：不再依赖针对特定任务设计的复杂 agent workflow，而是在每一个 token 生成时，根据问题和知识图谱动态调整候选分布，使模型更倾向于输出正确且合法的推理路径。

三、方法概述 3.1 状态转移推理：用NFA统一LLM生成与知识图谱路径

知识图谱中的推理路径可以表示为连续的实体—关系—实体转移，而大语言模型的生成过程同样可以看作一系列 token 状态转移。本文利用二者的共同结构，将知识图谱中的合法路径编译为非确定性有限自动机（NFA）。

NFA 的初始状态是问题中的主题实体，状态转移函数规定了在当前推理前缀下哪些 token 可以继续生成，接受状态则对应知识图谱中的完整合法路径。由于 NFA 允许多个可能的状态转移，它能够自然地匹配 LLM 概率化的 token 生成过程，并为后续 logits 约束提供结构基础。

3.2 问题形式化：联合优化问题逻辑与知识图谱逻辑

给定问题 q 和知识图谱 G ，模型需要从主题实体出发，找到能够连接到答案实体的合法路径。本文将模型原始输出分布记为，将问题语义逻辑对应的分布记为，将知识图谱结构逻辑对应的分布记为。

Logits-to-Logic 的目标是在解码过程中同时对齐和，让与问题相关且存在于知识图谱中的路径获得更高概率，同时压低无关路径和非法 token 的概率。最终，模型输出的路径既符合问题意图，也遵守知识图谱结构。

3.3 三阶段逻辑一致推理机制

阶段1: 逻辑编译与合法路径评分

以问题中的主题实体为起点，通过 BFS 抽取知识图谱中的多跳路径，并将所有合法路径编译成 NFA。随后使用轻量级 sentence-transformer 计算每条路径与问题的语义相似度，将高分路径作为与问题逻辑一致的候选路径，将低分路径视为噪声路径。这样，NFA 同时编码了知识图谱结构和问题语义。

阶段2: Logits Strengthening：强化问题相关路径

即使合法路径存在于知识图谱中，LLM 仍可能因为原始 logits 分布偏差而优先生成无关 token。为此，本文设计 Logits Strengthening 模块，通过原始 Prompt 与 Mask-Prompt 的对比获得问题逻辑信号。

具体而言，将高分合法路径在 Mask-Prompt 中替换为特殊 MASK token，使模型输出更多暴露出噪声路径倾向；再计算原始输出与 Mask 输出之间的差异，并通过强度系数放大正确路径 token 的 logits，从而提升与问题语义一致的候选路径概率。

阶段3: Logits Filtering：过滤知识图谱外的非法路径

Logits Strengthening 能够提升问题相关路径的得分，但仍可能保留知识图谱中不存在的高概率 token。为此，本文进一步利用 NFA 的状态转移函数执行 Logits Filtering：在每一步生成时，只保留当前状态下属于合法路径的 token，将不符合知识图谱结构的 token logits 设为负无穷。

例如，在“Help Me Make It Thru the Night”案例中，模型可能错误地将 award 或 common 作为下一 token。Logits Filtering 会根据 NFA 直接屏蔽这些非法候选，使生成过程沿着知识图谱中真实存在的关系继续推进。

三阶段流程最终形成如下目标：先用 NFA 编译结构化知识，再用 Logits Strengthening 对齐问题逻辑，最后用 Logits Filtering 对齐知识图谱逻辑，从输出源头减少 Logic Drift。

四、实验结果 4.1 主实验：Logits-to-Logic 在多项KGQA基准上全面领先

实验覆盖 Freebase 上的 WebQSP、CWQ、GrailQA 和 Simple Questions 四个 KGQA 数据集，涵盖多跳问答与单跳问答任务。默认使用 LLaMA-3.1-8B 作为基础模型，并与基于普通提示词的 LLM Reasoning 方法以及多智能体 Agentic Reasoning 方法进行比较。

结果显示，Logits-to-Logic 在四个数据集上均取得最高 Hit@1：WebQSP、CWQ、GrailQA 和 Simple Questions 分别达到 95.4、80.8、82.0 和 80.3。相较于已有方法，在 WebQSP 上超过 RoG 和 GoG 9.7% 和 11%，在 CWQ 上超过 KG-Agent、SymAgent 和 GCR 8.6%、22% 和 5%，在 GrailQA 上超过 DoG、PoG 和 DARA 2%、5.5% 和 5%，在 Simple Questions 上超过 KG-CoT 和 ToG 2.5% 和 13.6%。

值得注意的是，许多对比方法使用 ChatGPT、GPT-4 等闭源大模型，而 Logits-to-Logic 仅使用较小的 LLaMA-3.1-8B，仍然取得更强的结构化知识推理性能。

4.2 消融实验：Logits强化与Logits过滤共同决定逻辑一致性

消融实验分别移除 Logits Strengthening（）和 Logits Filtering（）模块，检验两种逻辑信号的作用。

结果显示，在 WebQSP 上，去掉后 Hit@1 从 95.4 降至 93.9，去掉后降至 86.2；在 CWQ 上，去掉后从 80.8 降至 74.0，去掉后降至 79.5。两个模块同时移除时，WebQSP 和 CWQ 的 Hit@1 分别降至 57.6 和 59.7。

这表明，Logits Strengthening 主要解决“模型是否理解问题要找什么”的问题，Logits Filtering 主要解决“模型是否遵守知识图谱允许的结构”的问题。只有将两种约束结合起来，模型才能稳定地产生逻辑一致的推理路径。

4.3 强度系数实验：适度强化才能获得最佳推理效果

本文进一步研究 Logits Strengthening 中强度系数的影响。当时，模型输出偏离问题逻辑；当时，过度放大正确 token 会破坏原有语言建模能力。综合不同数据集和指标，获得最优结果，因此被选为默认设置。

4.4 输出分布可视化：从错误token到逻辑一致token

通过可视化不同模块下的 logits 排名，可以直接观察 Logits-to-Logic 如何改变模型的决策过程。理想情况下，与问题和知识图谱同时一致的正确 token 应该具有更高排名，而知识图谱外的非法 token 应该被压低。

可视化结果显示：移除 Logits Filtering 后，知识图谱不允许的 token 仍然可能获得较高 logits；移除 Logits Strengthening 后，正确路径 token 的排名会降低；同时移除两个模块时，模型出现明显的 Logic Drift。完整的 Logits-to-Logic 能够让正确 token 排名更靠前，形成与问题和知识图谱逻辑一致的输出分布。

4.5 迁移实验：无需修改即可适配不同知识图谱与任务

为了验证方法的灵活性，本文将 Logits-to-Logic 直接迁移到 Wikidata 上的 QALD10-en、T-REx 和 Zero-shot RE，并覆盖多跳问答、槽位填充等不同任务类型。

结果显示，Logits-to-Logic 在三个任务上的性能分别达到 59.2、87.5 和 91.3，说明该框架不依赖特定知识图谱或固定任务流程，能够通过 NFA 编译与 logits 调整适配不同的结构化知识推理场景。

4.6 错误分析：Logic Drift显著减少

本文将错误分为问题不一致的 Logic Drift 和知识图谱不一致的 Logic Drift 两类。与 ToG、DoG、KG-CoT 和 GCR 相比，Logits-to-Logic 的总错误数最低，仅为 14，其中问题不一致的 Logic Drift 只有 10，而其他方法均超过 27。

4.7 Backbone实验：不同开源模型均能受益

本文在 Microsoft Phi、Mistral、InternLM、Qwen 和 Meta-LLaMA 等不同规模与系列的开源模型上测试 Logits-to-Logic。

实验表明，Logits-to-Logic 并不依赖单一模型架构。较小的 Qwen-2-0.5B 和 Qwen-2-1.5B 也能获得较好的推理性能；综合准确率、F1 与效率，论文最终选择 LLaMA-3.1-8B 作为默认 Backbone。

4.8 计算效率：单次调用完成结构化知识推理

Logits-to-Logic 在生成过程中通过内部回调完成 logits 强化与过滤，对外表现为每个问题一次 LLM 调用。在 CWQ 上，平均总 token 数为 1,270.8；在 WebQSP 上为 716.9，明显低于 ToG、DoG 和 PoG 等需要多轮 agent 交互的方法。

Logits-to-Logic 在 CWQ 上相比 ToG、DoG 和 PoG 分别减少约 89%、96% 和 84% 的 token 消耗；在 WebQSP 上同样保持较低的 token 开销。虽然 logits strengthening 在每个解码步包含两次前向计算，但通过内部回调封装为一次 generate 调用，因此对外仍只需要一次 LLM 调用。其中，Logits Filtering 通过限制非法 token 减少解码搜索空间，能够提升生成速度；Logits Strengthening 仅增加一次 Mask-Prompt 的前向计算。在 LLaMA-3.1-8B 上，方法额外显存约 3GB，并在 CWQ 和 WebQSP 上分别增加约 3 小时和 1 小时运行时间，换来了更强的逻辑一致性和更低的 API 调用开销。

五、结论

本文提出 Logits-to-Logic 框架，从模型输出分布的角度解决大语言模型在结构化知识推理中的 Logic Drift 问题。我们将知识图谱合法路径编译为 NFA，使知识图谱结构能够参与每一步 token 生成；同时设计 Logits Strengthening 和 Logits Filtering，分别对齐问题语义逻辑与知识图谱结构逻辑。

大量实验表明，Logits-to-Logic 在 WebQSP、CWQ、GrailQA 和 Simple Questions 上取得 95.4、80.8、82.0 和 80.3 的 Hit@1，并能够迁移到不同知识图谱与任务。相比依赖复杂提示词和多智能体流程的方法，Logits-to-Logic 直接作用于 LLM 的最后一层 logits，从输出源头抑制无关路径与非法路径，为构建更准确、更可解释、更易迁移的结构化知识推理系统提供了一种简洁而有效的方案。

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。