北大、港理工革新性LiNo框架：线性与非线性模式有效分离|多变量|序列|残差|算法|鲁棒性

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文的通讯作者为北京大学计算机学院长聘副教授杨仝和香港理工大学助理教授王淑君。第一作者为香港理工大学 24 级博士生余国齐，以及联合作者北京大学 21 级软微学院博士生、每因智能创始人郭潇宇等。研究工作在北京大学计算机学院数据结构实验室和每因智能发起的研究课题中完成。

论文链接：https://arxiv.org/pdf/2410.17159
代码链接：https://github.com/Levi-Ackman/LiNo

时间序列数据，作为连续时间点的数据集合，广泛存在于医疗、金融、气象、交通、能源（电力、光伏等）等多个领域。有效的时间序列预测模型能够帮助我们理解数据的动态变化，预测未来趋势，从而做出更加精准的决策。然而，时间序列数据通常包含复杂的线性和非线性模式，这些模式往往相互交织 (见下图 Fig.1)，给预测模型的设计和优化带来了巨大挑战。

Fig.1 现实世界的时间序列往往是多种线性和非线性的交叠。上图中红色的序列可以被表征为其下方的两种线性和两种非线性模式的加和。

现有的模型依赖于 Autoformer 中提出的基于残差的 Trend (线性) 和 seasonal (非线性) 分解 —— 先使用一个运动平均核 (Auto/FEDformer,DLinear) 或者可学习卷积 (Leddam) 来获取 Trend 项，然后使用原始序列减去 Trend 得到 Seasonal 项。但是这样只能获取简单的线性模式，而且得到的非线性模型或者说 Seasonal 项事实上是由未充分提取的线性模型，待提取的非线性模式，以及序列中的噪声所组成的，应该被称为 Residual（残差），而不是 Seasonal。

Fig.2 LiNo 在电力数据集中最后一个变量上的预测可视化，LP 指线性预测，NP 指非线性预测。左侧的 Prediction（预测值）被划分为 General 的线性和非线性预测，中间和右侧，线性和非线性预测进一步被划分为更细致的多种模式。

Fig.3 Fig2 中用于预测各个线性和非线性分量的抽象权重的可视化。可以看到每种模式的预测权重是各有差异的。

同时，观察 Fig2&3，我们可以看到线性模式更多关注序列的长期模式，而非线性更多关注短期浮动。另外，用于预测线性和非线性的权重，以及用于预测不同线性或者不同非线性的权重之间均存在差异。因此，高效地对这些线性和非线性模式进行分离，不仅可以帮助理解时间序列内部的特质，得到更具有解释性的预测结果，还能帮助我们设计更高效更鲁棒的预测算法。

正是在这样的背景下，北京大学联合香港理工大学以及每因智能的研究团队提出了 LiNo 框架。该框架通过递归残差分解（Recursive Residual Decomposition, RRD）技术，实现了对线性和非线性模式的显式提取。

Fig.4 LiNo 框架图

LiNo 框架的算法核心在于其递归残差分解（RRD）策略，该策略灵感来源于经验模态分解（Empirical Mode Decomposition, EMD）。LiNo 采用两个主要的模块：Li 块和 No 块，分别负责线性和非线性模式的提取。

Li 块（Linear block）：这一模块负责提取时间序列中的线性模式，如趋势和周期性成分。通过学习时间序列数据的自回归特性，Li 块可以捕捉长期依赖关系。Li 块可以采用移动平均核或其他线性滤波器，以捕捉数据中的线性结构。
No 块（Nonlinear block）：这一模块负责提取时间序列中的非线性模式，如突变和复杂的季节性变化。No 块可以采用 Transformer 编码器或 TSMixer 等其他非线性模型，以捕捉数据中的非线性动态。
通过交替和递归地应用 Li 块和 No 块，LiNo 框架能够逐步剥离并提取时间序列中的复杂模式，直到残差信号中不再包含有用的信息。在经过多个 LiNo 块的处理后，最终的预测结果是通过聚合所有 Li 块和 No 块的输出得到的。

这种方法不仅提高了模型对周期性特征的捕捉能力，而且增强了对非周期性特征的建模能力。

以下是算法的详细过程：

1.Li 块（Li Block）

Li 块的设计目的是提取时间序列中的线性模式。它通过一个可学习的自回归模型（AR）来实现，该模型具有完整的感受野，可以替代传统的移动平均（MOV）、可学习的一维卷积核（LD）和指数平滑函数（ESF）。

这种方法不仅提高了模型对周期性特征的捕捉能力，而且增强了对非周期性特征的建模能力，从而在多个真实世界数据集上实现了优于现有最先进方法的性能。

在涵盖电力、金融、交通等 13 个广泛使用的真实世界数据集上，无论是单元时间序列预测还是多元时间序列预测，LiNo 均取得了优于现有最先进方法的性能，而且展现出优异的鲁棒性。

LiNO 框架在多变量时间序列预测中表现卓越（如表 1），尤其在 10 个基准数据集中的 9 个上实现了最低的 MSE 和 8 个上的最低 MAE，显著超越了包括 iTransformer 在内的先前模型。在高维度和复杂非线性的 PEMS 和 ECL 数据集上，LiNO 通过精细的非线性模式提取，平均 MSE 分别实现了 11.89% 和 7.87% 的降低。这些结果突出了 LiNO 在处理复杂时间序列数据时的高效能力，无论是在电力、交通还是金融领域，都展现了其在捕捉线性与非线性模式平衡中的重要性。

表 1 多变量时间序列预测

LiNO 框架在单变量时间序列预测任务中展现了顶尖的性能，根据表 2 的分析，它在所有 6 个数据集上都取得了最佳的预测结果。与先前的最先进方法 MICN 相比，LiNO 在六个数据集上将均方误差（MSE）降低了 19.37%，平均绝对误差（MAE）降低了 10.28%。特别是在 Weather、ETTh2 和 Traffic 数据集上，LiNO 分别实现了 47.11%、28.64% 和 12.97% 的 MSE 降低，这标志着预测精度的显著提升。LiNO 在单变量和多变量时间序列预测中的一致优越表现证明了它在不同场景下的广泛适用性。

表 2 单变量时间序列预测

LiNO 框架在单变量时间序列预测领域的表现极为出色，其设计基于 iTransformer 这一领先业界的变换器模型作为基础架构。如表 3 所示，通过与 'Raw'（传统设计）和 'Mu'（N-BEATS 中使用的递归表示分裂预测设计）的比较，LiNO 在 ETTm2、ECL 和 Weather 数据集上实现了 2.96%、6.34% 和 6.72% 的 MSE 降低，这一成就凸显了其在有效分离和处理线性与非线性模式方面的高效率。此外，LiNO 在面临不同噪声水平的挑战时，依然展现出了卓越的鲁棒性和可靠性，如图 5 所示，这不仅验证了其设计的稳健性，也进一步证实了在时间序列预测模型中区分线性与非线性模式对于提升预测鲁棒性的重要性。