ACL 2025 | 大模型结构化知识提示的泛化能力研究|普适性|细粒度|结构化知识

本研究系统评估了结构化知识提示（SKP）的泛化能力。结果表明，现有方法（尤其结合MLP适配器）可为LLM注入宏观结构化知识，并提升其在子图推理和三元组推理任务上的表现。但其局限性也较明显：缺乏细粒度事实感知，对新实体理解不足，跨任务迁移能力有限，且适配器层数存在最佳边界（3–4层）。这些发现揭示了SKP在特定任务中表现突出的原因，同时提示未来需突破细粒度推理和新知识泛化的瓶颈。

论文题目： Have We Designed Generalizable Structural Knowledge Promptings? Systematic Evaluation and Rethinking 论文链接： https://arxiv.org/abs/2501.00244 代码链接： https://github.com/zjukg/SUBARU

一、引言

本论文关注大型语言模型（LLMs）在知识密集型任务中面临的关键挑战：事实准确性不足。虽然结构化知识提示（Structural Knowledge Prompting, SKP）通过将知识图谱（KGs）的结构化表示整合到LLMs中，显著提升了如问答和知识图谱补全等任务的性能，成为主流范式，如下图所示，已有的SKP通常用一个结构编码器+适配器的形式将从KG中提取到的结构化信息注入LLM，但现有研究大多聚焦于特定任务应用，缺乏对SKP范式本身泛化能力的系统性评估。

本文旨在填补这一空白，首次对SKP的泛化能力进行全面审视，围绕四个核心维度展开：知识粒度（Granularity）、跨任务与元素的可迁移性（Transferability）、可扩展性（Scalability）以及对不同LLM的普适性（Universality）。为此，作者构建了一个全新的多粒度、多难度基准测试集 SUBARU 来支撑这项评估。

二、方法 2.1 结构化提示的工作流程

SKP的核心目标是将知识图谱（KG）的结构化信息高效注入大型语言模型，以提升其事实准确性。其工作流程分为三步：

知识抽取与编码：给定用户查询，从外部知识图谱中检索相关元素（实体、关系或子图）。通过预训练的结构编码器如 TransE、R-GCN）将每个元素转化为向量嵌入。

表示空间对齐：由于 KG 嵌入与 LLM 的文本表示空间存在异构性，需通过适配器（Adapter）进行映射。适配器将结构嵌入转换为与 LLM 词向量维度对齐的提示 token

对于单个提示token而言，整个过程可以表示为：

论文测试了四类适配器：单层全连接（FC）、多层感知机（MLP）、混合专家（MoE）和 QFormer。

LLM 协同推理：生成的提示 token 序列与原始查询拼接，输入冻结的 LLM。LLM 基于联合输入生成答案：

训练时仅优化适配器参数，损失函数为标准的Next-token Prediction损失

2.2 SUBARU数据集的构建逻辑

为系统性评估 SKP 的泛化能力，作者设计了 SUBARU 基准，其构建遵循两个核心原则：多粒度知识覆盖与任务难度分层。SUBARU设计了三种不同的任务粒度和三种不同的任务难度。

三种粒度：

实体级（EG）
三元组级（TG）
子图级（SG）

三种难度：

分类（CLS）
选择（MC）
描述（DESC）

实例采样。首先，我们从KG中按不同粒度采样实体/三元组/子图实例，以准备不同的任务。对于EG任务，我们采样大约2万个具有充分描述的实体，比例为8:1:1。对于TG任务，我们使用CoDeX-M三元组的拆分来构建数据集。对于SG任务，我们从EG任务中选择实体，然后随机采样它们的一跳和二跳邻域以构建子图。同时，每个任务都有特定设置。对于CLS任务，我们将一个实体ID与其真实的简短名称视为正例。对于TG和SG，我们将从现有KG中采样的每个三元组和子图视为正例。

我们进一步通过随机扰动生成负样本，保持1:1的比例。在MC任务中，我们为每个实例采样四个选择：对于EG，我们预测实体名称；对于TG和SG，我们预测缺失的实体。TG-MC中的缺失实体预测类似于传统的KGC任务，预测给定查询(h, r, ?)中的缺失尾实体。对于SG，查询提供一个子图，其中缺少一个核心实体，要求预测子图中缺失的实体。对于DESC任务，实体、三元组和子图的描述作为生成的目标。实体和三元组的描述直接来自CoDeX数据集，而子图描述是使用{GPT-3.5-turbo}生成的。

提示生成。从CoDeX KG中采样后，我们通过为每个任务应用手工编写的指令提示I来创建特定任务的实例，将这些实例转换为文本格式以便进一步评估。遵循现有的范式，我们将SKP放置在输入序列的前面，向LLM提供来自KG的结构化信息。为了客观评估模型利用这些SKP的能力，我们去除了指令模板中相关元素的重要文本信息，使模型主要依靠SKP而不是文本来完成任务，以评估SKP的利用效果。

三、实验分析

作者在SUBARU上进行了广泛的实验，测试了多种结构编码器和适配器组合，主要使用Llama3-8B作为基础LLM，并扩展到其他LLM验证普适性。核心发现如下：

知识粒度（RQ1）：实验表明，MLP适配器在绝大多数任务中表现最佳，甚至优于更复杂的QFormer或MoE。SKP在粗粒度推理（三元组级/TG和子图级/SG的多选问答/MC任务）上表现出色，说明它能有效整合子图或三元组级别的结构化信息辅助LLM决策。然而，SKP在细粒度理解上存在明显局限：它几乎完全无法完成实体级描述生成（EG-DESC）任务，表明LLM无法仅凭SKP准确识别和理解新的、未见过的实体细节。案例研究进一步证实，SKP模型生成的子图描述能捕捉大致语义关联（如职业、领域），但无法精确复现关键实体名称。

可迁移性（RQ2）：评估跨任务迁移性时发现，混合训练来自不同粒度或难度的任务数据，对提升目标任务性能帮助有限，表明当前SKP架构的跨任务泛化能力不强。但在处理新元素（如新实体）方面，三元组级任务（TG-MC）展现了令人鼓舞的结果：模型在预测涉及未见实体的三元组时，性能接近其在已知实体上的表现，且训练数据中涵盖更多实体有助于提升这种归纳能力。

可扩展性（RQ3）：研究适配器深度（MLP层数）的影响发现，性能并非随深度单调增长。3-4层的MLP通常能达到最佳效果，更深层可能导致性能下降。这表明适配器存在一个舒适区，过深的网络在当前数据规模下可能引入不必要的复杂性或训练难度。

普适性（RQ4）：SKP范式被证明具有较好的模型无关性。在Llama2-7B、Llama3-8B和Mistral-7B等不同架构的LLM上应用SKP，整体性能趋势保持一致，尽管不同LLM间存在微小差异。这证实了SKP作为一种增强LLM知识能力的通用方法是可行的。

案例分析：

在我们在SUBARU基准测试中设计的三个难度级别中，分类（CLS）和多选问答（MC）任务能提供明确的答案和量化指标，便于精确比较模型性能。然而，对于子图描述生成（DESC）任务而言，评估生成文本的质量更具主观性。因此，本节通过案例研究分析SKP模型在描述子图结构时的能力。本案例研究的目的并非比较不同SKP模型的性能差异，而是揭示其在描述中存在的共性特征。

如图5所示，我们展示了一个简单案例：提供标准答案（Golden Answer）与多个不同SKP模型的预测结果（均以人工描述形式呈现）。通过观察可得出以下两点关键结论：

所有SKP模型均无法准确识别中心实体，这突显了SKP在传递高度精确和个性化信息上的能力缺失。这也解释了为何表2中所有SKP模型均在实体级描述任务（EG DESC）中失败——该任务要求精确识别实体。
SKP模型展现出对粗粒度知识的理解能力：模型能捕捉输入SKP中实体与关系的语义关联，并在生成文本中体现理解。优秀的预测结果可解码出SKP中隐含的信息（如职业、专业领域、国籍、技能等）。

综上可知，SKP能为LLMs提供粗粒度信息以大致理解子图结构，却难以处理细节信息（如具体名称、地点或专业术语）。尽管SKP擅长识别实体属性等宏观知识，但其缺乏对细粒度细节的认知能力。考虑到文本生成与深层理解是LLMs的核心能力，我们认为未来SKP的改进应聚焦于通过额外的提示token激活更精确、细粒度的信息。

四、结论

本研究首次对结构化知识提示（SKP）范式进行了系统性的泛化能力评估。核心结论是：当前的SKP方法（尤其是结合MLP适配器）能有效地为LLMs注入粗粒度的结构化知识，显著提升其在子图和三元组级别推理任务（如知识图谱补全、多选问答）上的表现。然而，研究也揭示了其关键局限性：无法实现细粒度的、精确的事实感知，特别是在理解和描述新实体方面能力欠缺；跨任务迁移性较弱；适配器的可扩展性也存在边界（3-4层最佳）。

这些发现对领域发展具有重要意义：它们解释了现有SKP方法在特定任务（如QA, KGC）上成功的原因（擅长粗粒度推理），同时也为未来研究指明了方向——需要设计更先进的SKP方法，以突破其细粒度理解和新元素泛化的瓶颈，从而更全面地提升LLM的事实准确性。

作者：张溢弛来源：公众号【知识引擎实验室-ZJU】

llustration From IconScout By IconScout Store

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

michellechang@thejiangmen.com

或添加工作人员微信（michelle333_）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。