Nat. Commun. 速递：通过神经嵌入进行网络社团检测|大模型|实验|神经嵌入|神经网络|算法|聚类

导语

从社交网络到生物系统，从交通网络到金融市场，复杂网络无处不在。这些网络中的社团结构反映了系统的基本组织方式，其识别和分析对于理解网络功能至关重要。传统的社团检测（community detection）方法主要依赖于谱分析或信息传播模型，但在处理现实世界中普遍存在的稀疏网络时往往表现不佳。特别是当网络规模增大、结构变得更加复杂时，这些方法的性能会显著下降。最新发表在 Nature Communications 上的研究提出了一种基于神经网络嵌入（node2vec）的社团方法，该方法能够达到理论最优性能。这项研究表明，即使是简单的神经网络结构，在合理设计下也能在社团检测任务中达到理论最优性能。

关键词：网络科学，复杂网络，社团检测，图嵌入，网络稀疏性，图神经网络

刘志航| 作者

论文题目：Network community detection via neural embeddings 论文链接：https://www.nature.com/articles/s41467-024-52355-w

网络是复杂、高维、离散的对象，如何获得其有效的数学表示一直是一个重要挑战。例如，社交网络的推荐系统通常需要能够捕捉重要结构特征的变量（或“特征”），但这些特征的设计往往依赖于反复试错，且可能难以推广到其他网络。近年来，图嵌入（graph embedding）方法为解决这一问题提供了新的思路。这类方法能够自动识别网络结构的有用特征，将每个节点表示为一个低维连续向量空间中的点。这种向量表示使得我们可以直接应用强大的机器学习方法来解决可视化、聚类和预测等各种任务。特别是在社团检测（community detection）这一基本问题上，图嵌入方法展现出了良好的应用前景。

社团结构是网络的一个基本特征，指的是网络中存在的节点群组，其中组内连接密度高于组间连接密度。随机块模型（Stochastic Block Model, SBM）是研究网络社团结构的基本生成模型，经常用作社团检测算法的基准测试。在大型稠密网络中，一些社团检测方法能够正确地将所有节点分类到其所属的社团中。然而，现实中的大多数网络都是稀疏的，即它们的平均度数通常远小于网络规模。首先，网络的稀疏性意味着可用于推断社团结构的信息更少。其次，稀疏性往往导致网络中出现更多的随机波动，使得区分真实的社团结构和随机噪声变得困难。为了解决这些问题，研究人员提出了一些改进方案，如非回溯随机游走和共识聚类等方法，但这些方法在实际应用中仍然存在局限性。

最新发表在 Nature Communications 上的研究表明，基于浅层神经网络的图嵌入方法node2vec在社团检测任务上展现出了优异性能。这项研究不仅从理论上证明了 node2vec 能够达到信息论的可检测性极限，还通过大量实验验证了其在各类网络上的实际表现。

1. 植入分区模型与社团检测的理论极限

在社团检测研究中，植入分区模型（planted partition model, PPM）是一个基础性的理论框架。在这个模型中，网络被划分为q个大小相等的社团，同一社团内的节点以概率pin相连，不同社团的节点以较小的概率pout相连。为了研究网络的稀疏性特征，pin和pout被设定为与节点数n成反比，使得网络的平均度数〈k〉和社团混合参数μ （定义为μ= npout/〈k〉）不依赖于网络规模。

图1：不同方法在 PPM 网络上的表现。(A-F)展示了在不同稀疏度（〈k〉=5,10,50）和不同社团数量（q=2,50）下的性能比较。虚线表示理论检测极限μ*，社团在μ<μ*时理论上是可检测的。在稠密网络(C,F)中，谱方法能达到理论极限，但在稀疏网络(A,D)中表现不佳。

在社团检测任务中，我们的目标是根据网络结构恢复模型中的社团成员关系。当社团结构清晰时（即μ较小），算法可以准确地识别社团。然而，随着社团间连接增多，社团内外连接密度的差异减小，算法的准确性会下降，最终可能无法比随机猜测更好。这个临界点被称为信息论可检测性极限（information-theoretic detectability limit）。

特别地，对于PPM网络，这个理论极限可以用混合参数表示为：

当μ＞μ*时，即使是理论上最优的算法也无法准确检测出社团结构，因为社团内外的边密度差异在统计上变得不显著。

传统的社团检测方法主要包括谱聚类和信念传播（BP）算法。谱聚类方法利用网络的拉普拉斯矩阵特征向量来检测社团。虽然这类方法在理论上能够达到检测极限，但实际上仅适用于较密集的网络。当网络变得稀疏时，其性能会显著下降。

信念传播算法虽然被证明是PPM网络的理论最优方法，但在实践中也面临挑战。该算法的性能严重依赖于网络中环路结构的存在。在稀疏且度分布均匀的网络中，环路较少，算法表现良好。然而，当网络具有异质性时（例如度分布不均匀），即使网络很稀疏，也可能形成大量环路，导致算法收敛到次优解。这解释了为什么信念传播算法在具有50个社团的网络中，即使在μ值很小的情况下也会失效。

这些局限性促使研究者们探索新的方法。特别是在处理稀疏网络时，需要既能保持理论上的最优性，又能在实际应用中展现稳健性的算法。这就引出了基于神经网络嵌入的新方法。

2. node2vec：

从简单神经网络到最优社团检测

node2vec 的核心思想是将复杂的网络结构转化为简单的向量表示。这种方法首先通过随机游走来采样网络结构，然后使用浅层神经网络学习节点的低维表示。与传统的深度学习方法不同，node2vec 采用了一种简单而优雅的设计：它只使用一个隐藏层，甚至不需要非线性激活函数。

图2：node2vec的图核函数Φ(λi; T)随不同T值的变化。该函数在0<λi≤1时单调递减，在1<λi≤2时为负值，这一特性使得 node2vec 能够有效地编码网络的社团结构。

具体来说，node2vec 首先在网络上进行随机游走，生成节点访问序列。这些序列被输入到一个基于 skip-gram 的神经网络中进行训练。研究团队证明，这个简单的训练过程实际上等价于对网络的标准化拉普拉斯矩阵进行特殊的变换。更重要的是，他们证明了这种变换能够保持社团检测所需的关键信息，使得 node2vec 能够达到理论上的最优检测限：

这一理论结果表明，尽管采用了极其简单的架构，node2vec 仍然能够达到信息论预言的最优性能。这个发现具有重要意义：它说明在社团检测这一特定任务中，复杂的深度神经网络架构可能是不必要的，相比之下，理解网络的本质特征并设计相应的简单模型可能更为重要。

3. 从理论到实践：

node2vec 在不同网络上的表现

为了全面评估node2vec的性能，研究团队设计了一系列实验，包括在合成网络和真实网络上的测试。这些实验不仅验证了理论分析的正确性，还揭示了该方法在实际应用中的优势和局限。