导语
无论是自然界中的生态网络，还是现代社会的电力系统，这些复杂网络系统在面临外部扰动时的核心挑战在于保持“韧性”（resilience），即在剧烈变化中依然维持稳定运行的能力。传统的统计物理方法虽然为分析复杂网络的韧性提供了宝贵的理论基础，但通常依赖于高度简化的假设，而现实世界中的网络系统往往表现出更复杂和多样的行为，难以用这些简化模型准确描述。最新发表在 Nature Communications 上的一项研究，展示了如何利用人工智能方法预测和分析复杂网络的韧性，通过从观测数据中提取潜在规律，为破解复杂网络系统的韧性问题提供了全新思路。
研究领域：复杂系统，复杂网络，人工智能，统计物理，韧性预测
刘志航| 作者
论文题目：Deep learning resilience inference for complex networked systems 论文链接：https://www.nature.com/articles/s41467-024-53303-4
无论是自然界中的生态网络，还是现代社会中的电力系统，都会面临外部扰动，其核心挑战便是如何保持“韧性”——在剧烈变化中依然维持稳定运作的能力。韧性作为复杂系统的基本属性，是解开这些系统内在动力学的关键。
科学家主要依赖于将复杂系统抽象为具有互连节点和加权链接的网络系统，并通过简化的数学模型来研究系统韧性。然而，不同系统在扰动下的行为通常需要根据各系统独特的内在动力学进行逐一分析。这种方法导致缺乏统一的韧性评估框架，仅能应对特定情境下的系统描述。直到最近几年，巴拉巴西等人提出了一种相对统一的复杂系统韧性评估框架——Gao-Barzel-Barabási （GBB） 框架。GBB 框架通过简化高维网络系统，定义了一个一维的韧性参数 βeff，并提供了一个可用于分析系统韧性的标准：当系统的韧性参数 βeff 超过某个临界阈值时，系统被认为是韧性的，即该系统在面临内部故障和外部扰动时可以维持其正常功能状态。
1. 巴拉巴西的韧性推理框架（GBB 框架）
复杂网络节点状态的动态演化过程可以利用非线性的耦合常微分方程组来描述，其形式为：
其中F(xi)表示节点 i 的自我动力学行为，G(xi, xj) 表示节点之间的相互作用，Aij是加权邻接矩阵，描述节点之间的相互作用强度。通过数学分析，GBB 框架将这个多维方程简化为一个单维方程形式：
其中，βeff 是复杂网络的韧性参数。这个简化过程依赖于将网络的所有复杂参数凝缩成一个可预测的单一参数。这种简化可以帮助分析系统的临界点，并预测系统从韧性状态向非韧性状态的相变。然而，这种方法在处理真实世界的复杂网络时存在显著局限性，原因如下：
首先，GBB 框架虽然考虑到了节点之间的互动关系，但为了简化求解过程，在假定不存在显著度相关的前提下，引入了加权邻接矩阵，使用出度加权节点活动 xi 定义平均邻居活动xeff来简化求解过程，
因此，GBB 框架将多维复杂系统简化为一个有效的一维系统，这种方法可以很好地捕捉一些简单或中等复杂的网络的整体行为。但是，上述 GBB 框架对多维复杂系统的简化过程假设系统拓扑具有低度相关性，即相连接的节点的度是独立的。同时，GBB 框架使用平均场近似节点状态复杂的动态演化过程，而忽略了节点状态之间的多维、非线性和高度耦合的关系。现实中的复杂网络，其相连节点度之间往往存在显著的相关性（例如社交网络、引文网络）和复杂、非线性的系统动力学，这超出了GBB框架的能力范围。
如图1所示，GBB 框架在节点度独立 （中性关联） 的条件下表现良好。然而，当网络拓扑表现出显著的正或负关联度时 （即节点度之间存在显著的相关性） ，这种一维简化的做法导致韧性推断的准确性下降。
图1：GBB 框架在预测网络韧性时的局限性。（a-c）描述了共生动力学（mutualistic dynamics）、基因调控动力学（gene regulatory dynamics）、神经元动力学（neuronal dynamics）网络，其中r表示度关联系数（assortativity，同配性）。中性（neutral）同配性意味着节点连接是随机的，而负同配性表示高度连接的节点倾向于与低度连接的节点相连，正同配性高度节点更倾向于与其他高度节点连接。（d-f）显示了 GBB 框架的韧性预测结果。红色和蓝色曲线分别表示正常功能状态和系统崩溃状态下，平均邻居活动水平xeff与βeff的关系，并给出了临界点。当βeff小于临界点时，系统被推断为非韧性；否则，被推断为韧性。然而，GBB 模型对有负或正度相关性的网络给出不准确的推断。（g-i）核密度估计图展示了节点活动的稳定状态分布，实际模拟表明，有些网络系统的韧性推断与 GBB 框架相反。例如，图 (g) 中的 Network (II) 尽管被 GBB 框架认为非韧性，但实际有且只有一个非平凡的正常功能稳定状态，显示它实际是韧性的。非平凡稳定状态（non-trivial stable state）描述的是一个复杂系统非零的稳定状态。这与平凡稳定状态形成对比，后者通常代表系统所有节点活动为零，完全崩溃。
2. 基于深度学习的网络韧性预测（ResInf）
为了解决 GBB 框架的局限性，这篇论文的研究人员开发了 ResInf 框架。ResInf利用了Transformer和图神经网络模型，用以解析复杂网络的拓扑结构和节点状态的动态演化过程，即系统动力学，并精确推断网络的韧性。具体而言，Transformer 可以捕捉不同节点状态复杂的时间关联，能够建模各种时间尺度上的相互作用。而图神经网络通过消息传递机制编码拓扑信息，考虑多跳依赖关系和节点之间的关联效应。ResInf 通过学习从观察数据中提取系统韧性信息，而不需要任何明确的动力学方程假设，极大地扩展了其适用性。
图2. ResInf 框架的工作原理分为三个主要模块：系统动力学编码器、拓扑编码器和 k 空间投影器。系统动力学编码器：使用堆叠的 Transformer 编码器层从输入的节点状态轨迹中学习节点状态动力学的表示。这一模块无需任何先验知识，通过建模节点状态之间的复杂相关性生成密集表示。拓扑编码器：使用图神经网络（GNN）对输入的邻接矩阵进行建模，通过消息传递机制递归聚合来自邻居节点的特征，生成每个节点的多跳邻域的区分性拓扑表示。k 空间投影器：将学习到的系统动力学和系统拓扑结构的表示聚合到一个虚拟全局节点中，提供系统级的特征表示。随后，通过多头自注意力网络动态融合这些轨迹表示，并使用降维网络将其投射到 1 维 k 空间，以实现准确的韧性推断。
然而，值得注意的是，ResInf 依赖于需要标签的监督学习架构，而这些标签（系统是否具有韧性0，1标签）在现实中往往很难获取，尤其是在复杂或动态变化的系统中。这在没有充分观测数据的场景下可能导致模型表现下降。而GBB不依赖监督信号，因此深度学习方法和传统的复杂系统建模分析方法（如GBB）在不同场景下各有优劣。ResInf 可能更适合在真实世界中可以获得大量观察数据的复杂系统，比如实验室的微生物系统，这类系统的节点活动动力学方程无法明确描述，因此传统的分析方法难以适用。这篇论文在微生物系统韧性预测的数值结果显示，ResInf 达到了显著的准确率，平均 F1 分数高达 0.829。研究人员进一步的实验显示，利用与真实微生物生态系统韧性丧失模式相似的合成系统数据预训练模型，可有效迁移到动力学方程未知的真实系统，取得与在真实数据上训练相当的预测性能，平均 F1 分数也可达到 0.807。对 ResInf 的这一应用方式为解决对真实数据采集和标注的依赖提供了一种行之有效的路径。
图3. 真实世界微生物系统的韧性预测。（a）不同物种的相对丰度，颜色区分物种，韧性系统中的物种丰度存在稳定态，非韧性系统中物种丰度波动剧烈。（b）不同模型的 F1 得分对比。（c）使用 SIS 网络动力学生成的合成系统数据进行预训练后，模型在推断这些真实微生物系统韧性方面的性能。
此外，在三种代表性系统动力学 （共生动力学、基因调控动力学和神经元动力学） 驱动的合成网络系统中，ResInf 明显优于传统方法，与 Gao-Barzel-Barabási （GBB） 框架和谱维度降维 （SDR） 方法相比，最大 F1 分数分别提升了 41.59% 和 14.32%。此外，ResInf 在观测数据含有噪声的条件下，例如网络拓扑中连边的冗余或缺失，节点状态的观测轨迹含有随机噪声等，依然保持鲁棒性，这些结果表明，精心设计的深度学习模型能有效利用观测数据进行复杂系统分析，并且 ResInf 框架可以在不依赖简化假设的情况下适应各种实际复杂系统。
图4. ResInf 及其他基线方法的韧性推断表现。（a）共生、（b）基因调控和（c）神经动力学网络
在图2中，ResInf 通过这种多层次学习机制展示了其在捕捉复杂网络非线性系统动力学机制和拓扑结构特征方面的较强性能，显著提高了韧性预测的准确性。
3. 模型的泛化能力与可解释性
在真实世界中，具有相似功能的网络系统通常具有相同形式的系统动力学机制，而它们的动力学参数通常不同。例如，物种的自我繁衍和不同物种之间的互利共生效应对物种丰度的影响机制在大多数生态系统中可以使用相同的共生动力学形式描述。然而，共生动力学中的参数，例如物种的最大环境容纳量 在不同的生态系统之间差异很大。研究人员设计了一系列实验，验证 ResInf 在不同参数的动力学方程之间的泛化表现。结果表明，ResInf 能有效捕捉系统动力学机制的核心特征，在含有训练集中未出现动力学参数的测试系统中表现优异。例如，使用共生动力学、基因调控动力学和神经元动力学进行测试时，ResInf 分别取得了 0.921、0.892 和 0.924的F1分数，显示出其较强的学习与泛化能力。
研究人员进一步探索了ResInf是否可以从具有与所研究系统不同动力学的数据训练中受益，并直接推断所研究系统的韧性，即 ResInf 在不同动力学方程形式之间的泛化能力。结果发现，ResInf 能在覆盖多种韧性丧失模式 （相移和多稳态出现） 的数据上进行训练，并捕捉这些潜在的共性模式，将这些通用知识应用于以前未见的复杂系统。他们引入了 SIS （易感染-感染-易感染） 动力学 （SIS dynamics，对应相移的韧性丧失模式） 和抑制动力学 （inhibitory dynamics，对应多稳态出现的韧性丧失模式） 用于生成训练数据进行ResInf模型训练，然后将ResInf应用于训练集中未见过的动力学系统，例如前述的共生动力学网络和神经元动力学网络。结果表明，尽管不同动力学方程的特性差异显著，ResInf 可以捕捉不同动力学系统中韧性丧失的共性模式，并以高精度进行预测。
此外，ResInf 提供了一种可视化工具，其将高维复杂系统映射到一维的 k 空间进行表示。在这个空间中，系统与韧性临界点的距离直观地展示了其韧性，为科学家提供了实用且易于理解的解释方式。与 GBB 和 SDR 相比，k 空间投影在区分韧性和非韧性系统时表现更佳，让科学家更清晰地看到复杂系统行为的全貌。
图5：ResInf 的 k 空间决策表现及与 GBB 和 SDR 的比较。ResInf 在k空间中实现了韧性系统与非韧性系统的更清晰线性分离，表现出更强的韧性预测能力。
4. 人工智能与统计物理的关系
ResInf 作为一种数据驱动的方法，克服了以往前沿分析方法中对网络拓扑和动力学的假设，例如对低度相关性拓扑结构的要求、线性系统动力学的限制，以及对系统动力学显式方程的已知需求。这一设计显著扩展了 ResInf 在更广泛的复杂网络系统中的应用场景，包括社交网络中的复杂传染、电网中的能量传输，以及食物网中的捕食行为，这些系统通常具有难以预见或明确定义的动力学过程。
尽管复杂网络的观测数据越来越多，获取高质量的节点活动轨迹和网络拓扑仍然是一项挑战，特别是在需要大规模实验室环境的真实网络中以及准确的韧性标签数据。作者也强调 ResInf 可以应对两类主要韧性丧失模式，但未明确如何处理未来可能发现的新韧性丧失模式。如果这些新模式与已知模式显著不同，ResInf 的泛化能力可能会受到影响，表现出次优性能。在出现这些未预见的新韧性丧失模式时，ResInf 可能需要大幅度调整或重新训练，这可能导致无法迅速应对突发的网络系统问题。对此，论文作者指出，可以将这些新型模式纳入 ResInf 的预训练集中以帮助应对这一挑战。
同时，尽管 ResInf 通过 k 空间映射提供了一定程度的解释性，但相比于传统的分析方法，如 GBB 提供的明确数学推导，这种解释性仍显得不够直观。这可能限制 ResInf 在对可解释性要求高的应用场景中的使用，例如在电网管理或流行病防控中，决策者通常需要明确的因果关系或数学逻辑支持，特别是需要具体到中尺度的网络拓扑恢复的策略指导。当应用场景的系统动力学过程可用明确的公式描述时，传统的分析方法，如 GBB 等提供的明确因果关系和数学推导逻辑可以与 ResInf 通过数据驱动的方式得到的k空间映射形成有效的互补和验证。基于统计物理的理论分析方法和基于深度学习的数据驱动方法可以相互协同，为决策者提供更为全面的分析框架。
论文作者进一步阐述了 ResInf 在网络拓扑恢复方面的应用。具体来说，在实施拓扑结构恢复和节点重燃[3]后，可将重组的系统拓扑结构和节点的状态演化过程输入 ResInf。恢复后网络在 k 空间中的映射 k 值可作为确定韧性恢复的指标，进而使我们能够改进和优化设计的恢复策略。这种观点将恢复的重点从孤立的单节点干预措施转移到更综合、更系统的方法，优先考虑网络的结构完整性及其组成部分之间的协同关系，这对于应对复杂的现实挑战至关重要。
这一研究不仅展现了人工智能在复杂网络韧性预测中的强大潜力，还揭示了深度学习与统计物理之间日益密切的联系。人工智能技术，如深度学习，通过从大量观测数据中捕捉网络系统的隐含规律，正在推动统计物理研究迈向新的维度。这一跨学科融合为理解和应对复杂系统中的不确定性提供了新的思路与工具。
参考文献：
[1] Gao, J., Barzel, B. & Barabási, AL. Universal resilience patterns in complex networks. Nature 530, 307–312 (2016). https://doi.org/10.1038/nature16948
[2] Artime, O., Grassia, M., De Domenico, M. et al. Robustness and resilience of complex networks. Nat Rev Phys 6, 114–131 (2024). https://doi.org/10.1038/s42254-023-00676-y
[3] Sanhedrai, H., Gao, J., Bashan, A., Schwartz, M., Havlin, S., & Barzel, B. "Reviving a failed network through microscopic interventions." Nat Phys 18.3, 338-349 (2022). https://doi.org/10.1038/s41567-021-01474-y
相关读书会
感兴趣的朋友可以观看论文作者刘畅在「复杂系统自动建模」读书会第二季对相关工作的介绍：
https://pattern.swarma.org/study_group_issue/769
复杂系统自动建模读书会第二季
“复杂世界，简单规则”。
集智俱乐部联合复旦大学智能复杂体系实验室青年研究员朱群喜、浙江大学百人计划研究员李樵风、清华大学电子工程系数据科学与智能实验室博士后研究员丁璟韬、美国东北大学物理系Albert-László Barabási指导的博士后高婷婷、北京大学博雅博士后曹文祺、复旦大学数学科学学院应用数学方向博士研究生赵伯林、北京师范大学系统科学学院博士研究生牟牧云，共同发起。
读书会将于9月5日起每周四晚上20:00-22:00进行，探讨四个核心模块：数据驱动的复杂系统建模、复杂网络结构推断、具有可解释性的复杂系统推断（动力学+网络结构）、应用-超材料设计和城市系统，通过重点讨论75篇经典、前沿的重要文献，从黑盒（数据驱动）到白盒（可解释性），逐步捕捉系统的“本质”规律，帮助大家更好的认识、理解、预测、控制、设计复杂系统，为相关领域的研究和应用提供洞见。欢迎感兴趣的朋友报名参与！
详情请见：
1.
2.
3.
4.
5.
6.
热门跟贴