超图的动态学习框架: Heterogeneity

Learning from Heterogeneity: A Dynamic LearningFramework for Hypergraphs

从异质性中学习：超图的动态学习框架

https://arxiv.org/pdf/2307.03411

摘要

近年来，图神经网络（GNN）因其在建模复杂图结构数据方面的能力和灵活性而越来越受欢迎。在所有图学习方法中，超图学习是一种在训练图的嵌入空间时探索隐含高阶相关性的技术。在本文中，我们提出了一个名为“从异构性学习”（Learning from Heterogeneity, LFH）的超图学习框架，该框架能够利用图的异构属性进行动态超边构建和注意力嵌入更新。具体来说，在我们的框架中，首先通过成对融合策略生成高质量的特征，该策略在生成初始节点嵌入时利用显式的图结构信息。然后，通过隐含超边的动态分组构建超图，接着进行类型特定的超图学习过程。为了评估我们提出的框架的有效性，我们在几个流行的数据集上对十一种最先进的模型进行了全面的实验，这些模型涵盖了节点分类和链接预测任务，包括同构图学习、异构图学习和超图学习等类别。实验结果表明，与最近的最先进方法相比，我们的框架在性能上有了显著提升（节点分类平均提高了12.5%，链接预测平均提高了13.3%）。

索引术语—异构超图，表示学习，超图生成，分类。

I. 引言

近年来，图学习因其在建模基于结构的数据方面的卓越能力而受到极大关注。特别是，图模型（即GNN：图神经网络）在许多应用领域中的使用日益增多，如社交网络推荐[1]、医学诊断[2]、[3]和文本分析[4]。图学习的目标是将不同输入数据的图结构编码到嵌入空间中，其中表示可以用于下游的节点/边/图任务。

存在标准图和超图。图1展示了（a）一个标准图，其中一条边连接两个顶点，不考虑边的类型，以及（b）一个具有三个超边的超图。标准图可以使用许多现有的GNN模型进行建模，如图卷积网络（GCN）[5]、图注意力网络（GAT）[6]和异构图学习（PC-HGN）[7]。这些模型大多旨在对结构良好的图数据中的成对关系进行建模。然而，这可能不适用于超图，因为超图可以在每种边类型上包含任意数量的顶点（节点），呈现出丰富的底层信息和更高阶的相关性。在这种情况下，成对图学习模型变得不可行。具体来说，超图展示了更复杂的非成对关系，这些隐含关系不仅是二元的（成对的），而是三元的甚至更高[8]。一般来说，超图学习可以被视为传统图学习的一种泛化形式。像GCN这样的成对图学习模型一样，超图学习也可以被视为揭示和传递不同超边之间的结构信息的过程，在该过程中可以学习并使用低维节点/图级嵌入表示用于下游任务，如节点分类[9]、链接预测[10]和聚类[11]。

由于探索数据中高阶相关性的潜力巨大，超图学习已经引起了学术界的日益关注，并已应用于图像分类[12]、视频分割[13]和高光谱图像分析[14]等应用中。如何构建超边是超图学习的核心。现有研究通常采取两种方法，即基于属性的构建和基于邻域的构建。早期的工作侧重于根据每个顶点的特征构建超图[15]。这种策略指导模型仅使用特征信息，这在拓扑角度上不可避免地牺牲了一定的普遍性。基于邻域的策略通过启用局部性概念来解决这一弱点。具体来说，通过聚类主顶点及其邻域顶点来构建超边[16]。然而，聚类方法（例如，k最近邻（k-NN））将超图构建与图学习过程分开，因此对噪声数据敏感，特别是在视觉分类任务中。此外，大多数基于邻域的模型未能将拓扑异构性纳入学习过程，这限制了学习仅限于单一类型的超边。

为了应对这些挑战，我们提出了一个动态学习框架，即从异构性学习（Learning from Heterogeneity, LFH），以提高超图表示学习的质量。我们的LFH框架由三个关键模块组成：1）初始嵌入生成，2）动态超图构建，3）基于注意力的异构超图学习。具体来说，初始嵌入生成旨在利用图中的成对连接性，帮助将显式拓扑信息融合到初始嵌入空间中。随后，作为表示学习的一个组成部分，异构超图被构建并动态学习。

总结来说，这项工作的主要贡献是：

• 我们提出了一个新颖的超图学习框架LFH，包含三个模块：初始嵌入生成、动态超图构建和基于注意力的异构超图学习。还考虑了成对融合策略，以充分利用显式的成对图信息生成高质量的初始嵌入。

• 我们设计了一个动态学习过程，以生成不同类型的隐含超边来构建超图，并在学习过程中动态调整超图构建。嵌入通过特定类型的多头注意力机制迭代更新，以便将异构属性编码到嵌入空间中。

• 我们在两个不同的下游任务上进行了广泛的实验，包括节点分类和链接预测，并表明我们的LFH在所有数据集上一致地优于最先进的同构成对图学习模型、异构成对图学习模型和超图学习模型，性能提升幅度很大。

本文的其余部分安排如下。第2节回顾了关于同构、异构和超图的图学习的相关工作。第3节提供了超图的预备知识，而第4节介绍了我们提出的LFH框架的详细信息，包括分析和讨论。实验结果在第5节中报告和分析。最后，第6节总结了本文。

II. 相关工作

A. 同构图学习

作为基本的图结构，同构图由单一类型的节点和单一关系组成。典型的同构图GNN模型包括GCN[5]和GAT[6]。GCN将传统的卷积神经网络（CNN）扩展到处理图结构数据，通过在图节点的谱/空间域执行卷积来捕获图的结构信息。另一方面，GAT应用自注意力机制为节点的邻居分配动态权重，然后对他们的嵌入进行加权求和，以获得节点的表示。这使得GAT能够学习自适应的邻域表示并捕获节点之间的复杂关系。

不同GNN模型之间的主要区别在于节点之间传递消息的方式，以学习表示。GraphSAGE[17]不是为每个节点训练单独的嵌入，而是利用学习算法中的节点特征来训练一组聚合函数，为完全未见过的节点生成嵌入。针对视觉问答（VQA）服务，李等人提出了一个基于GAT的平台，将每张图片编码成图，并模拟多类型对象间关系，从图中学习关系表示[18]。姜等人提出了一个基于GCN的框架（GLCN），用于图数据表示学习。GLCN通过同时进行图学习和图卷积，在统一的网络架构中生成基于相似性的图结构[19]。与只能为单个固定图生成嵌入的嵌入框架（如GCN中的归纳学习）相比，曾等人提出了GraphSAINT，一种基于图采样的归纳表示学习方法，以跨不同图泛化。GraphSAINT为节点生成低维向量表示，对具有丰富节点属性信息的大型图有益[20]。

B. 异构图学习

与同构图不同，异构图中的节点通常通过不同类型的关系与各种类型的邻居连接。因此，异构图上的表示学习更具挑战性。它不仅需要整合异构结构（图）信息，还需要考虑与每个节点相关的异构属性[21]。

张等人提出了一个异构GNN模型（HetGNN），用于捕获结构和内容的异构性。HetGNN首先捕获每个节点的强相关异构邻居，然后聚合这些采样邻居的特征信息[22]。赵等人提出了一个基于GNN的框架，名为HGSL，它联合执行异构图结构学习和GNN参数学习以进行分类。在HGSL中，特征相似性图、特征传播图和语义图分别生成，以全面学习最优的异构图[23]。张等人设计了一种以关系为中心的池化和卷积（PC-HGN）操作，使得在异构图上可以进行特定于关系的采样和跨关系卷积，从而通过自适应训练过程更好地将图的结构异构性编码到嵌入空间中[7]。

HAN（Heterogeneous graph Attention Network，异构图注意力网络）[24]是基于节点级和语义级注意力机制的异构图学习框架。具体来说，节点级注意力学习节点与其基于元路径的邻居之间的重要性，而语义级注意力学习不同元路径的重要性。胡等人提出了一个用于建模异构图的异构图变换器（HGT）[25]。HGT引入了依赖于节点类型和边类型的注意力机制，同时为每种节点和边类型分配不同的可训练参数。HGT可以整合高阶异构邻居信息，自动学习隐式元路径的重要性。考虑到关系感知特征，余等人提出了一个用于异构图的关系感知表示学习模型（R-HGNN）。该模型从一组特定于关系的节点表示中派生出细粒度表示，反映了与特定关系相关联的节点的特征[26]。

C. 超图学习

超图学习探索数据中的高阶相关性，将传统的图学习模型扩展到更高维、更完整的非线性空间。它为分析具有满意性能的复杂结构数据提供了一个有希望的解决方案[16]。从给定数据构建超图是超图学习的关键步骤，这显著影响最终的学习性能。

张等人提出了动态超图结构学习（DHSL），在学习方法中迭代更新超图结构[27]。从调整后的特征嵌入中对初始超图结构进行动态修改是必要的。冯等人提出了一个名为超图神经网络（HGNN）的框架，用于处理复杂和高阶相关性。在HGNN中，复杂数据相关性在超图结构中得到公式化，超边卷积操作被用来利用高阶数据相关性进行表示学习[9]。

为了利用特征之间的高阶关系，姜等人提出了一个动态超图神经网络（DHGNN）框架，由动态超图构建（DHG）和超图卷积（HGC）组成。DHG利用k-NN方法生成基本超边，并通过k-means聚类扩展相邻超边集，从而提取局部和全局关系。HGC旨在编码超图结构中的高阶数据关系[28]。蔡等人引入了一个超图结构学习（HSL）框架，以端到端的方式同时优化超图结构和HGNN。为了有效地学习超图结构，HSL采用超边采样策略来剪枝多余的超边，随后通过关联节点采样来剪枝不相关的关联节点，并发现潜在的隐式连接。通过超边内对比学习模块保持优化结构与原始结构之间的一致性[29]。高等人提出了一种基于张量的动态超图学习（t-DHL）模型，以高效地学习动态超图。t-DHL利用张量表示来更灵活地表征动态超图结构。在优化张量表示的过程中，不仅可以调整权重，还可以调整超边的数量和顺序。作为HGNN的扩展版本，提出了一个名为HGNN+的通用超图神经网络框架，通过将多模态/多类型数据和超边与超边组桥接，实现数据间高阶表示的建模[30]。

最近的工作大多集中在构建超图中超边时采用基于邻域的构建策略。具体来说，超边通常是通过聚类主顶点及其邻域顶点来构建的。然而，对于通常采用的聚类方法，如k-NN[9]、[12]、[28]，它们将超图构建和图学习分开处理。因此，这些模型容易受到噪声数据的影响，这限制了它们的应用。除此之外，大多数基于邻域的模型未能将拓扑异构性纳入学习过程，导致单一类型的超边[16]。在这项工作中，我们提出了一个异构超图学习框架LFH，以解决上述问题。LFH根据不同类型的边构建超边，然后将其整合到学习过程中，以改进学习到的表示。

III. 预备知识和问题表述

在这一部分，我们首先介绍相关的定义，然后阐述与异构超图上的表示学习相关的主要问题。本文使用的符号列表见表I。

III. 预备知识和问题表述

在这一部分，我们首先介绍相关的定义，然后公式化与异构超图上的表示学习相关的主要问题。本文使用的符号列表见表I。

图2提供了异构成对图和超图之间的对比说明。图2（a）草绘了由三种节点类型（作者、论文、主题）和四种边类型（撰写、被撰写、属于、包含）组成的ACM数据集。相比之下，异构超图能够通过构建不同类型的超边来建模更复杂的图结构，其中每个超边可以连接任意数量的节点以模拟特定类型的数据关系。如图2（b）所示，紫色超边模拟了作者对主题的偏好，而黄色超边模拟了不同主题之间的关系。

问题2.（异构超图上的表示学习）。给定一个异构超图G = {V, E, Te, Tv, W}，我们的目标是学习一个映射函数，其中所有节点的嵌入表示G的表示。这个表示嵌入可以用于下游预测任务，如节点分类和链接预测。

IV. 异构超图

在这一部分，我们介绍了我们提出的针对超图的从异构性学习（Learning from Heterogeneity, LFH）框架。图3提供了LFH的概览。我们首先展示了从异构成对图到获得高质量初始节点嵌入的成对融合过程。随后，我们通过特征重构在不同节点类型之间动态生成异构超边。构建异构超图后，我们提出的动态超图学习可以进行，以训练节点嵌入空间，在该空间中可以派生出用于下游节点分类和链接预测任务的节点表示。

A. 初始节点嵌入

B. 异构超边生成

如图3所示，动态超图学习包括两个关键部分：超边嵌入更新和多头注意力节点嵌入更新。本节详细阐述了这些组件和损失函数。

1) 超边嵌入更新：我们将节点嵌入聚合到包含这些节点的超边中。超边嵌入表示为。每个超边的嵌入如下获得：

2) 多头注意力节点嵌入更新：先前的工作计算超边之间的相似性，然后使用它们作为更新相应节点嵌入时的权重系数[32]，[33]。然而，超图中的异构性被忽略了，特别是在有多种类型的超边和节点的情况下。为了应对这一点，我们设计了一个异构多头注意力机制，可以训练异构超边相对于节点的重要性，如图4所示。

D. 损失函数

我们以端到端的方式实现LFH，包括节点嵌入的初始化、动态异构图超边的生成和异构图超边的学习。学习到的节点表示随后可以用于下游任务，如节点分类和链接预测。

集成训练过程以监督的方式进行。我们提出了一个统一的损失函数，它结合了动态异构图超边生成中的重构损失和监督下游任务的损失。

我们以节点分类为例来说明下游任务。在这种情况下，节点集V的标签是。我们使用一个多层感知器（MLP）将节点表示映射到标签空间，节点分类中的损失可以计算为：

其中Lrecon在公式6中定义。使用从候选从节点集重建主节点的过程可以揭示主节点与其他节点之间的隐含关系。然而，正如上文指出的，这个过程对噪声节点很敏感。过度依赖重构损失会损害我们模型的性能。为了增强泛化能力，我们需要使用权重超参数α来平衡监督下游任务的损失和重构损失的效果。

E. 模型分析与讨论

我们分析了计算成本，并总结LFH的优势如下：

1) 计算成本：在异构图生成过程中，计算成本主要在于从其候选从节点集重建主节点（公式4）。由于为每个节点生成不同类型超边是必要的，异构图生成的计算成本为O(d|Tv|N)，其中N是节点数，d是节点嵌入的维度，|Tv|是节点类型的数目。此外，对于动态超图学习的过程，我们使用关联矩阵H和节点嵌入X来更新超边嵌入，计算成本为O(dMN)。注意超边数M与N和边类型数|Te|的乘积成正比，因此超边嵌入更新的计算成本为。此外，多头注意力节点嵌入更新的计算成本为，其中Te是超边类型的数目。因此，我们提议的总计算成本为。d、Te和Tv的规模通常远小于N，这种计算成本与许多现有的基于超图的模型相当，如[12]和[34]。

2) 讨论：与成对图学习模型如GAT [6]和PC-HGN [7]相比，LFH能够建模隐含的高阶数据关系。此外，LFH有两个优势。首先，超边生成的过程是在考虑图的异构性的同时，与超图学习一起在一个统一的训练过程中进行的。这使得它比HGNN [9]具有更适应性的超图建模能力，后者的超边是通过聚类方法k-NN生成的。其他使用静态聚类方法生成超边的工作采用了不同的k-means策略或k-NN和k-means的组合来生成不同的超边[27]，[35]。这一系列工作的主限制是静态聚类方法对噪声和异常值很敏感。另一个问题是聚类方法的超参数可能影响超边生成，而在训练过程中适应性地校准聚类方法的超参数并非易事。另一方面，LFH可以结合不同头部的不同类型超边信息，使用异构多头注意力机制。该机制根据节点表示和相关超边表示之间的相关性动态量化超边的权重，使权重更能描述相关超边对节点的重要性。

V. 实验

在本节中，我们将实证评估我们的LFH框架的有效性，并分析其关键组件对最终性能的影响。我们在三个不同的图数据集上进行实验，包括DBLP、IMDB和ACM。此外，我们将LFH的性能与十一种基线模型进行比较，这些模型包括同构图学习、异构图学习和超图学习模型。

A. 实验设置

• DBLP1是一个来自四个研究领域的学术网络，包括数据库、机器学习、数据挖掘和信息检索。它使用论文（P）、作者（A）和会议（C）作为不同的节点类型，而边以P-A、A-P、P-C和C-P的不同边类型呈现。这四个研究领域用作该数据集的标签。初始节点特征是使用词袋模型计算的。

• ACM2 与DBLP具有相似的数据特征。它包含论文（P）、作者（A）和主题（S）作为节点类型，以及四种类型的边（P-A、A-P、P-S和S-P）。论文被标记为三个类别（数据库、无线通信、数据挖掘）。它也使用词袋模型构建初始节点特征。

• IMDB3 包含电影（M）、演员（A）和导演（D）。每部电影根据其类型（动作、喜剧、剧情）进行标记。节点特征也是使用词袋模型初始化的。

2) 基线模型和配置：我们与一些最先进的基线进行比较，每个基线在分类任务中都报告了有希望的结果。尽管这些基线模型有学习图表示的共同目标，但它们最初是为完成不同类型的图数据的图学习而设计的，包括同构图学习、异构图学习和超图学习。

• GCN [5] 是一个专门为同构图学习设计的图卷积网络。GCN中的层深度设置为2。

• GAT [6] 是第一个在同构图学习中引入注意力机制的工作。它使得来自邻接节点的加权消息聚合成为可能。注意力头的数量设置为3。

• GraphSAGE [17] 在从邻接节点聚合消息时设计了一个采样方法。它还支持不同的聚合函数。GraphSAGE的样本窗口设置为10。

• GraphSAINT [20] 将更大图中的节点和边分割成多个子图，在这些子图上应用GCN进行节点表示学习。我们采用GraphSAINT的节点采样策略，使用8000作为节点预算，25作为子图数量。

• HAN [24] 在异构图学习中使用注意力技术，其中节点嵌入通过手动设计的元路径进行更新。注意力头的数量设置为8。

• HGT [25] 设计了类型特定的注意力层，为每种节点和边类型分配不同的可训练参数。为了获得HGT的最佳性能，注意力头的数量设置为8。

• R-HGNN [26] 提出了一个关系感知模型，用于学习边的语义表示，同时根据不同关系类型区分节点表示。它旨在学习异构图表示。R-HGNN中的层深度设置为2。

• PC-HGN [7] 采用基于采样的卷积。它设计了一种高效的跨关系卷积，允许同时从不同连接关系类型的消息聚合。我们将核的数量设置为64，池化大小设置为2，以获得最佳性能报告。

• HL [36] 使用超图来表示对象之间的复杂关系，其中属性值被视为超边。正则化因子的值设置为0.1。

• HGNN [9] 通过超图拉普拉斯进行卷积，进一步通过截断的切比雪夫多项式近似，以处理表示学习期间的数据相关性。生成超边的邻居数量设置为10。

• HGNN+ [30] 利用每种模态/类型的多模态/多类型相关性，并在空间域中进行超图卷积，以学习各种任务的通用数据表示。选择k跳邻居生成超边的k值设置为1。

框架的共享参数设置可以在表III中找到。我们随机将所有数据集按照0.2/0.1/0.7的比例分割为训练/验证/测试。值得一提的是，所有基线模型的超参数都设置为其原始论文中报告的最优值。所有模型都使用固定的100个周期进行训练，当验证集上的性能连续30个周期没有改善时，采用早停策略。神经网络的所有可训练参数都通过Xavier [37]初始化，并使用Adam [38]优化，学习率为2e-3。dropout率设置为0.3 [39]。我们模型的超参数的最优选择在下一节中进一步分析。

B. 性能分析

我们在节点分类和链接预测任务上评估我们提出的框架的性能。

1) 节点分类：在节点分类任务中，我们将原始数据分割为训练数据和测试数据。然后，训练数据被分割为一系列[10%, 30%, 50%, 70%]。生成训练数据集的策略与[41]相同，其中每个随机选择的节点至少与其他节点有一个成对关系。所有数据集中最好的F1结果在表IV中展示，最高分以粗体标记。我们比较了三类图学习模型：同构图学习模型、异构图学习模型和超图学习模型。我们提出的LFH在所有数据集上的性能都比其他基线模型提高了2%-35.8%。我们的模型在所有数据集上的平均性能提高了12.5%。与四个同构图学习基线GCN、GAT、GraphSAGE和GraphSAINT相比，LFH在所有数据集上的平均F1得分提高了14.4%。关于精选的异构图学习模型和超图学习模型，我们的模型在所有数据集上的平均性能分别提高了9.7%和13.7%，与所有数据集中的最佳记录结果相比。值得注意的是，HGNN+ [30]是唯一一个利用成对信息生成超边的超图学习基线，与其他超图学习模型相比，其性能更好，除了我们的模型。此外，我们的模型的训练过程，结合了类型特定的超边生成和注意力嵌入更新，利用了图的异构性，使LFH在所有数据集上平均比HGNN+提高了5.7%。此外，与最新的异构学习模型PC-HGN [7]相比，我们模型的最佳结果平均提高了5.2%。对于不同分割比例的训练数据，我们观察到LFH仍然优于所有基线。当分割比例分别为70%、50%、30%和10%时，我们的模型平均比其他模型分别提高了8.6%、8.7%、10.9%和17.7%。获得的结果证明了我们模型在信息丰富情况下的鲁棒性和泛化能力。

2) 链接预测：为了调查我们提出的框架的有效性，我们还将我们的模型应用于链接预测任务。在这个任务中，给定一个移除了一定比例边的图，因此目标是预测这些缺失的边。按照[40]中采用的实验设置，50%的现有边被随机设置为隐藏的正样本，同时确保移除边后剩余的图保持连通。为了生成负例，我们随机从图中采样相等数量的节点对，这些节点对之间没有连接边。类似于相关工作[10]、[42]，我们使用逻辑回归分类器作为链接预测的预测器。为了获得每条边的表示，我们使用哈达玛运算符计算连接节点对的逐元素乘积。我们比较了LFH与四个基线的性能。Node2vec [40]是链接预测任务的经典模型。其他三个基线GAT、PC-HGN和HGNN+是在节点分类任务中表现最好的同构图学习模型、异构图学习模型和超图学习模型。实验结果总结在表V中。与Node2vec、GAT、PC-HGN和HGNN+相比，LFH分别获得了16.8%、18.8%、2.9%和14.6%的性能提升，并在三个数据集上平均提高了13.3%，超过了四个基线模型。这表明我们的模型在捕捉隐含数据关系方面具有潜力。值得一提的是，在节点分类中表现良好的HGNN+在链接预测中并没有可比的性能。这是因为用于链接预测任务的HGNN+严重依赖成对边来生成超边，因此现有边数量的急剧减少导致性能下降。

C. 超边构建的影响

在我们提出的LFH中，λ和γ被用作超参数。

具体来说，λ是重构误差的权重超参数，而γ是规范超参数，用于权衡重构系数向量的l1-范数正则化和l2-范数正则化（见公式6）。图5和图6展示了LFH受λ和γ影响的整体性能。图5展示了不同数据集上λ对F1得分的影响。在该图中，我们将γ固定为0.02、0.2和0.2，而λ的范围在0.0001到1之间。当λ很小时，λck(vi m)的重构损失变得微不足道，重构系数向量p在整个训练阶段不会经历大的调整，从而影响超边的生成并降低LFH的性能。相反，当λ增加到大约0.2时，λck(vi m)的重构损失占据了总损失的适当比例，因此在这种设置下实现了最佳性能。当λ继续增加到20时，F1得分迅速下降，这清楚地表明重构损失的主导地位损害了LFH的泛化能力。

另一方面，图6描述了γ的影响。在该图中，我们将λ固定为0.001、0.01和0.1，而γ的范围在0.002到20之间。当γ非常小时，l1-范数正则化的决定性作用使我们的模型能够围绕较少的从节点生成超边，这使得我们的模型对噪声和异常值更敏感。当γ较大时，l2-范数正则化的主导地位导致了过度平滑问题。当γ在[0.0001, 1]范围内时，对于所有固定值的λ，在所有数据集中F1得分在γ = 0.2时达到最高，之后开始下降。结果表明，同时考虑l1-范数正则化和l2-范数正则化可以提高我们模型的泛化能力。

D. 敏感性分析

我们研究了LFH中关键参数的影响，包括节点嵌入大小和注意力头的数量，如表VI和表VII所示。

1) 节点嵌入大小的影响：我们测试了所有数据集在10%的数据分割比例下不同节点嵌入大小的影响。如表VI所示，模型的性能起初提高，然后开始下降，报告了嵌入大小为256时的最佳结果。直观地说，节点嵌入的较大维度大小在训练过程中带来了额外的冗余，从而导致了意外的性能下降。

2) 多头数量的影响：我们分析了多头数量K的影响。如表VII所示，当注意力头的数量增加时，模型的性能通常会有所提高。然而，观察到随着K的增加，LFH的性能提高幅度较小，同时导致了大量的计算成本。当K=4时，是在性能和计算成本之间进行权衡的最优点。

E. 消融研究

F. 超参数α的影响

如公式6中定义的，我们提出的统一损失是动态异构超边生成中的重构损失和下游任务的监督损失的线性组合。我们进一步研究了α对LFH性能的影响。在实验中，探索了α的敏感性，以控制训练模型时每个主节点重构造成的影响程度。当α的值接近1时，意味着模型被优化以实现重构的正确性。图8揭示了随着α变化F1得分的变化。当α的范围在[0.001, 0.5]之间时，性能首先达到顶峰，然后显著下降，这表明过度依赖重构损失会加剧我们模型的泛化能力。我们观察到当α = 0.1时，在所有三个数据集中F1得分达到最高。结果表明，在训练过程中将重构损失结合起来在一定程度上可以帮助提高模型性能。

VI. 结论

在本文中，我们提出了一个用于表示学习的异构超图学习框架。该框架首先使用指定的成对融合函数生成高质量的初始节点嵌入，旨在最大限度地利用成对图信息。随后，动态构建多类型超边，形成超图。然后，通过类型特定的注意力机制迭代更新嵌入，目的是将异构属性编码到嵌入空间中。我们在三个广泛使用的公共数据集上进行了全面的实验，并与十一种基线方法进行了比较，以证明我们提出的框架的有效性。结果和分析表明，我们提出的框架在节点分类和链接预测任务上都能实现新的最先进性能。

原文链接：https://arxiv.org/pdf/2307.03411