张量网络遇上神经网络：综述与未来展望|云计算费用|卷积|向量|张量|神经网络|算法|高维

Tensor Networks Meet Neural Networks:A Survey and Future Perspectives

张量网络遇上神经网络：综述与未来展望

https://www.alphaxiv.org/abs/2302.09019v2

摘要：

张量网络（TNs）和神经网络（NNs）是两种基本的数据建模方法。张量网络的引入旨在通过将指数级的维度转换为多项式复杂度，解决大规模张量中的维度灾难问题。因此，张量网络在量子物理和机器学习领域受到了广泛关注。与此同时，神经网络在计算机视觉、自然语言处理和机器人研究等多种应用中展现出了卓越的性能。有趣的是，尽管这两种网络起源于不同的观察视角，但它们通过张量网络和神经网络共同的多线性结构内在地联系在一起，从而激发了关于张量网络和神经网络结合的大量研究进展。在本文中，我们将这些结合称为张量神经网络（TNNs），并从三个主要方面介绍TNNs：网络压缩、信息融合和量子电路模拟。此外，本综述还探讨了改进TNNs的方法，考察了实现TNNs的灵活工具箱，并记录了TNN的发展，同时强调了潜在的未来发展方向。据我们所知，这是首次全面综述，搭建了神经网络、张量网络和量子电路之间的联系。我们提供了一个精选的TNNs列表，可在以下链接访问：https://github.com/tnbar/awesome-tensorial-neural-networks。

索引词：张量网络、深度神经网络、网络压缩、信息融合、量子电路模拟

1 引言
张量是表示多个模态源之间多维交互的高阶数组。相比之下，向量（即一阶张量）和矩阵（即二阶张量）分别仅在一个或两个模态中被访问。作为一种常见的数据类型，张量已在多种场景中被广泛观察到[1, 2, 3, 4]。例如，功能性磁共振成像（fMRI）样本本质上是四阶张量，由随时间变化的三维体素组成[5, 6, 7]。在量子物理中，用于研究多体量子系统的变分波函数也是高阶张量[8, 9]。对于时空交通分析，从多条道路收集的车流量/速度信息可以被结构化为一个三阶张量（路段×天×一天中的时间）。然而，对于更高阶的张量，随着模态数量的增加，张量中的元素总数呈指数增长，这导致存储和处理张量的灾难性问题，也被称为“维度灾难。张量网络是解决这一问题的通用且有效的方法。

张量网络（TNs）。张量网络[8, 11, 12]通常是通过张量收缩相互连接的小规模张量的可数集合。这些小规模张量被称为“组件”、“块”、“因子”或“核心”。通过张量网络，超大规模张量可以被近似地表示为极其压缩和分布式的格式。因此，对于以前无法处理的高阶张量，实现分布式存储和高效处理成为可能。通过使用张量网络方法，可以缓解甚至完全克服维度灾难。常用的张量网络格式包括CANDECOMP/PARAFAC（CP）[13, 14, 15]、Tucker分解[16, 17]、Block-term Tucker（BTT）分解、矩阵乘积态（MPS）/张量列车（TT）分解[19, 20, 21]、矩阵乘积算子（MPO）/矩阵张量列车（mTT）分解[19, 20, 21]、张量环（TR）分解、树状张量网络/分层Tucker（HT）分解、投影纠缠配对态（PEPS）/张量网格分解[8, 24]、多尺度纠缠重整化等。为了理解张量网络的相互连接结构，开发了张量网络图作为一种直观的图形化表示（具体内容见第2.2节）。张量网络可以为一些计算上不可接受的任务提供理论和计算框架。例如，基于张量网络的低秩结构，Pan等人利用512个图形处理单元（GPU），在15小时内解决了量子随机电路采样问题；此前，该问题被认为需要在最强大的经典超级计算机上运行超过1万年，并有效挑战了谷歌量子计算机“悬铃木”（Sycamore）的量子霸权。其他应用包括脑分析、降维、子空间学习等。

神经网络（NNs）。神经网络是一种学习范式，通过反向传播从观测数据中学习知识[122, 123]。堆叠多层的神经网络，即深度神经网络（DNNs）[124, 125]，因其强大的能力能够从深层结构中捕获丰富信息，被广泛应用于人工智能领域。典型的DNN类型包括限制玻尔兹曼机（RBMs）、卷积神经网络（CNNs）[125, 127]、循环神经网络（RNNs）[128, 129]和Transformer[130, 131]。DNNs目前在计算机视觉和自然语言处理的广泛应用中达到了最先进的性能。例如，AlexNet、VGGNet、GoogLeNet和ResNet等CNN架构在ImageNet数据集上获得了冠军，展示了其解决图像分类任务的良好潜力。特别是，Alphafold2[139, 140]能够在几天内识别蛋白质的结构，而此前这需要研究人员花费数年时间。Alphafold2[139, 140]已以平均原子精度预测了几乎所有已知蛋白质的结构。最近，基于Transformer架构的ChatGPT在各种专业和学术基准测试中展现出人类水平的表现，并将极大地改变许多现有工作的工作模式。深度学习技术仍在推动包括语音识别、DNA突变检测、结构生物学等多个学科的进步。

张量网络与神经网络的结合。张量网络（TNs）和神经网络（NNs）是两种来自不同起源并在不同方面取得成功的网络类型，如上所述。有趣的是，它们并不是相互独立的，而是通过多线性数学属性紧密联系在一起[11, 144]。因此，一个有前景的方法是通过多线性将它们整合起来，以实现“整体大于部分之和”的目标。张量网络的主要优势在于其紧凑的结构、多入口以及与量子力学的密切关系，而神经网络则以其广泛的应用而闻名[8, 12]。基于这些观察，将张量网络和神经网络结合在一起有三种可行的方式。

（1）网络压缩。神经网络（NNs）在各种任务中取得了许多成功[124, 125]。然而，神经网络仍然面临着大量维度的多余线性乘积计算以及维度灾难的问题。一个有前景的解决方案是利用张量网络（TNs）的轻量级和多线性特征[41, 51, 52]。具体来说，张量网络可以将神经网络中的任何张量分解为更小的块，从而将维度降低到线性复杂度[30, 31]。例如，与使用传统的长短期记忆（LSTM）网络进行行为识别任务相比，利用张量网络技术分解权重张量的TR-LSTM模型可以将参数数量压缩约34,000倍，同时性能优于传统的LSTM。

（2）信息融合。在现实世界的数据分析中，建模来自多模态源数据的高阶交互对于实现更好的性能至关重要。然而，神经网络通常用于处理单模态向量输入，因此它们缺乏足够的表达能力来建模这种高阶交互。为了解决这一问题，一个有前景的方法是将张量网络嵌入到神经网络中，作为高效的融合单元，借助其多入口特性处理多模态数据[73, 74, 76]。以视觉问答（VQA）任务为例，多模态Tucker融合（MUTAN）可以通过Tucker格式框架学习文本表示和视觉表示之间的高级交互。因此，MUTAN凭借其高效参数化的低秩结构实现了最先进的性能。

（3）量子电路模拟。张量网络可以作为模拟器，成为经典神经网络和量子电路之间的桥梁。首先，许多研究表明，将神经网络实现在量子电路上，通过量子计算方案的超并行性加速其运行速度[146, 147]。然而，目前的量子计算机还不足以直接部署神经网络，这使得验证量子神经网络（QNNs）可能的性能变得困难。幸运的是，由于张量网络和量子电路之间的等价性[8, 148]，张量网络可以成为电子计算机中有效的量子模拟器。具体来说，量子电路中的输入量子比特和酉操作门可以被视为张量，而门之间的连接也可以被视为张量网络方案中的张量收缩。通过利用张量网络实现神经网络的量子电路模拟，可以在实际强大的量子计算机制造出来之前开启量子神经网络探索的新纪元。

我们将这种连接张量网络与神经网络的方法家族称为张量神经网络（TNNs）。据我们所知，这是首次全面综述，搭建了神经网络、张量网络和量子电路之间的联系。TNNs及其应用的概述见表1。

本文的其余部分安排如下：第2节介绍张量符号、张量图和张量网络格式的基础知识；第3节讨论利用张量网络构建紧凑TNNs的用途；第4节探讨使用TNNs进行高效信息融合的过程；第5节讨论张量网络在量子电路和TNNs中的一些基本应用；第6节解释TNNs的一些训练和实现技术；第7节介绍可用于处理TNNs的通用和强大工具箱。

2 张量基础
2.1 张量符号

2.2 张量图
在本小节中，我们介绍张量网络（TN）图及其对应的数学运算。张量网络图最早由罗杰·佩内罗斯（Roger Penrose）在1970年代初开发，目前常用于描述量子算法[8, 9]和机器学习算法[12, 30, 81]。在这些图中，张量通过带边的节点图形化表示。张量网络图是直观展示和方便表示复杂张量的实用工具，因此在张量领域得到了广泛应用。由于深度学习领域的数据和权重都是张量，张量图也有望成为该领域通用的网络分析工具。张量的基本符号概述如图1所示。

2.2.1 张量节点

2.2.2 张量收缩
张量收缩是指两个张量沿着它们相关的成对指标收缩成一个张量。因此，相应的连接边消失，而悬挂边仍然存在。张量收缩可以表述为张量积的形式：

多个张量（例如，张量网络）之间的张量收缩可以通过依次对每对张量进行张量收缩来计算。值得一提的是，为了实现更好的计算效率，必须确定收缩的顺序。

2.2.3 虚拟张量
最近，Hayashi 等人提出了一种新设计的虚拟张量，用于表示卷积操做。如图 1 所示，带有星号和箭头符号的节点表示虚拟张量。该操作可以表述为

2.2.4 超边
如图 1 所示，我们展示了 Hayashi 等人引入的超边。大小为 R 的超边可以表示为

2.2.5 超对角张量

2.2.6 张量展开
张量展开是一种将张量虚拟地展平为高维但低阶张量的操作。矩阵化是张量展开的一个特例。具体来说，给定一个N阶张量，其模-n 展开过程会产生一个矩阵。这种操作也可以被视为与特定设计的张量进行张量收缩。图 1 展示了一个四阶张量展开的示意图。

2.3 张量分解格式
常用的术语“张量分解”（TD）在某种程度上等同于“张量网络”（TN）。以前，TD 主要用于信号处理领域。TN 最初主要用于物理和量子电路领域。传统的张量分解模型，如 CP 分解和 Tucker 分解、可以被视为基本类型的张量网络。在信号处理领域，一些强大的 TN 架构也已用于量子分析。例如，MPS 分解被定义为 TT 分解，并在许多应用中取得了巨大成功。经过多年的跨领域合作与进步，这两个术语之间已没有显著区别。因此，在本文中，TD 和 TN 以统一的方式处理。我们通过张量网络图简要介绍一些基本的张量分解。

其中，R表示 CP 秩（定义为秩-1 张量的最小可能数量），G表示N阶超对角张量，表示一系列因子矩阵。CP 的张量网络图如图 2（a）所示。

在计算 CP 格式时，首先遇到的问题是如何确定秩-1 张量分量的数量，即 CP 秩R。实际上，这是一个 NP-hard 问题。因此，在实际应用中，通常会预先假设一个数值（即，作为一个超参数），以适应各种基于 CP 的模型。之后，可以通过算法迭代直接求解对角核心张量G和因子矩阵，通常涉及最初在 [13]、[14] 中提出的交替最小二乘（ALS）方法。

2.3.2 Tucker 分解

Tucker 分解是一种常用的分解方法，可以通过将核心张量G设置为超对角张量来退化为 CP 分解。此外，Tucker 分解对其因子没有约束，导致其分解结果的非唯一性，这在实际应用中通常是不受欢迎的，因为缺乏可解释性。因此，通常会对成分矩阵施加正交限制，从而产生了著名的高阶奇异值分解（HOSVD）算法。

2.3.3 BTT 分解
CP 分解和 Tucker 分解都将一个张量分解为核心张量与每个模态上的矩阵的乘积，而 CP 分解通过在核心张量上施加超对角约束来简化核心张量的结构信息。为了在 CP 方法和 Tucker 方法之间进行权衡，提出了一种更通用的分解方法，称为 BTT 分解。BTT 分解通过在 Tucker 分解的核心张量上施加块对角约束来实现这种权衡。BTT 分解的张量网络图如图 2（c）所示。

BTT 分解的主要优势在于其与 CP 分解和 Tucker 分解的兼容性。这是因为当 Tucker 秩等于 1 时，BTT 分解退化为 CP 分解；而当 CP 秩等于 1 时，它退化为 Tucker 分解。这种设计使得 BTT 分解能够在 CP 分解的稀疏性和 Tucker 分解的灵活性之间进行权衡，从而更好地适应不同应用场景的需求。

2.3.4 TT 分解
TT 分解，在量子物理学中也被称为 MPS 分解，是完全从张量网络（TNs）中推导出来的。TT 分解将一个高阶张量分解为一系列三阶核心张量的线性乘积。例如，给定一个N阶张量，TT 分解可以以元素形式表示为

2.3.5 TR 分解
TT 分解具有快速收敛的优点，但其两端点限制了基于 TT 模型的表示能力和灵活性。因此，为了释放线性架构的潜力，研究人员将两端点连接起来，形成一种环形结构，称为 TR 分解。对于一个张量X∈，其 TR 分解可以表示为

2.3.7 PEPS 分解
也可以考虑具有不同拓扑结构和更高维连接的张量网络（TN）结构。PEPS 分解，也被称为张量网格分解，是一种高维张量网络，是对矩阵乘积态（TT）的推广。PEPS 分解提供了一种自然的结构，能够捕捉更多的高维信息。PEPS 的核心张量可以表示为。其数学公式是

其中，M和N分别是张量核心的行数和列数，分别是行方向和列方向上的秩。PEPS 分解的张量网络图如图 2（g）所示。PEPS 分解具有与分离距离的多项式相关衰减。相比之下，MPS 分解具有指数相关衰减。这表明 PEPS 分解具有更强大的表示能力，因为它增强了不同张量模态之间的相互作用。

3 网络压缩与张量网络
深度神经网络（DNNs）具有极高的空间和时间复杂度，因为深度堆叠的层中包含大规模的矩阵乘法。因此，DNNs 通常需要花费数天时间进行训练，同时在推理时占用大量内存。此外，研究表明，DNNs 中存在大量的权重冗余，这表明在保持性能的同时压缩 DNNs 是有可能的。受此启发，研究者们开发了一系列压缩技术，包括剪枝、量化、蒸馏和低秩分解。其中，将张量网络（TNs）应用于 DNNs 以构建张量神经网络（TNNs）是一个不错的选择，因为 TNNs 在使用更少参数的情况下能够很好地近似原始权重。在这一方向上，研究者们已经完成了许多研究，尤其是在通过各种张量分解格式重构卷积层和全连接层方面。凭借紧凑的架构，这些 TNNs 能够以更少的冗余实现更好的性能。在本节中，我们将介绍五种常见的 TNNs，即第 3.1 节的张量卷积神经网络（TCNNs）、第 3.2 节的张量递归神经网络（TRNNs）、第 3.3 节的张量 Transformer、第 3.4 节的张量图神经网络（TGNN）和第 3.5 节的张量受限玻尔兹曼机（RBMs）。

3.1 TCNNs
卷积神经网络（CNNs）近年来取得了巨大成功。然而，CNNs 的庞大尺寸导致了权重冗余和不必要的计算，影响了它们的性能和效率。张量分解方法可以有效解决这一问题。通常，以张量格式表示的 CNNs 被称为张量卷积神经网络（TCNNs）。在介绍 TCNNs 之前，我们将图 3（a）所示的标准 CNN 表述为

为了加速 CNN 的训练和推理过程，CP-CNN通过将卷积权重分解为 CP 格式构建而成，如图 3（d）所示。CP-CNN 仅包含向量作为子组件，从而形成极其紧凑的结构，并实现了最高的压缩比。与 CP-CNN 类似，还可以通过将张量格式（如图 2 所示的示例）应用于卷积权重来实现其他 TCNNs。Tucker 分解是一种广泛使用的张量格式，通常应用于 CNNs 以形成 Tucker-CNNs。与简单的 Tucker 格式不同，BTT-CNN 具有一个超边Rc，可以表示 Tucker 分解的求和。其他 BTT-CNNs也已被提出。与 Tucker CNNs 相比，BTT-CNNs 更加强大，通常能够获得更好的结。高度紧凑的 TT 格式也已被引入到 CNNs 中，以实现 TT-CNNs、。与 TTs 相比，TR 格式通常更加紧凑，而 TR-CNNs比 TT-CNNs 更加强大。有趣的是，为了解决张量层中的退化问题，提出了一种稳定的分解方法 CPD-EPC，它为 CP 卷积层和混合 Tucker2-CP 卷积层设计了最小敏感性。

还有一些张量卷积神经网络不仅分解卷积核。张量化网络（T-Net）将整个网络视为单层架构，然后对其进行分解。因此，T-Net 以更轻量化的结构实现了更好的结果。CP 高阶卷积（CP-HOConv）利用 CP 格式处理更高阶数据的任务，例如时空情感估计。对于多任务任务，Yang 等人分别使用 TT 和 Tucker 格式提出了 Tensor Train 多任务（TTMT）和 Tucker 多任务（TMT）模型，以缓解硬共享架构中的负迁移问题，并减少软结构中的参数量。还提出了一个类似 PEPS 的连接张量网络层用于多任务任务。与 TTMT 和 TMT 模型不同，后两者由于其硬共享架构而受到负迁移问题的影响，PEPS 结构仅包含一个软共享层，从而实现了更好的性能。

3.2 TRNNs
传统的递归神经网络（RNNs），例如标准 RNN 和长短期记忆网络（LSTM），在处理序列数据方面已经取得了令人鼓舞的性能。然而，在处理高维输入数据（例如视频和文本数据）时，RNN 中的输入到隐藏层以及隐藏层到隐藏层的转换会导致较高的内存使用率和计算成本。为了解决这一问题，低秩张量分解（TD）在实际中是一种有效的压缩转换过程的方法。首先，我们将 RNN 表述为

实现 TRNN（张量 RNN）的过程与实现 TCNN（张量 CNN）的过程相同，即将权重重塑为高阶形式，并用张量格式替换它们。最直接且简单的压缩方法是仅对庞大的输入到隐藏层矩阵 W W进行分解。CP-RNN 和 Tucker-RNN [35] 可分别直接采用 CP 和 Tucker 格式构造。CP-RNN 由于采用极为紧凑的低秩结构，相比其他张量格式，始终能得到最小的模型规模。TT-RNN [50] 在 RNN 上应用了 TT 格式，以获得高参数压缩比。然而，TT-RNN 由于采用线性结构，并且两端较小，限制了基于 TT 的模型的表示能力和灵活性。

为了释放线性架构的潜力，提出了 TR（张量环）来连接两端，形成环形格式 [22]。基于 TR 的 RNN（TR-An RNN）[52] 被构建为一个更紧凑的网络。BTT-RNN [42], [51] 是基于广义张量分解（TD）方法——BTT 分解 [169] 构造的。BTT-RNN 能够自动学习参数间的相关性，以隐式剪枝冗余的稠密连接，同时提升性能。

此外，研究人员正在利用张量分解（TD）来压缩 RNN 的两个变换层，有些研究甚至开发了适用于 RNN 和 CNN 的分解方法。TT-GRU [55] 和 HT-RNN [53] 通过对 ([W, U]) 进行分解来实现更高的压缩比。具体而言，TT-GRU [55] 采用张量列格式（TT）进行分解，而 HT-RNN [53] 采用高阶张量（HT）分解。

与以往对隐藏矩阵进行分解的研究不同，Conv-TT-LSTM [57] 利用了 TT 的思想来表示卷积操作。如图 4 所示，Conv-TT-LSTM 通过类似 TT 的卷积，可以用更少的参数替代卷积 LSTM，同时在动作基准测试上取得良好效果。

为了适应 CNN 和 RNN 的压缩，提出了一种混合张量分解（HT-TT）方法 [45]，结合 HT 和 TT 分解来压缩 CNN 和 RNN 的 \([W, U]\) 矩阵。此外，张量收缩层（TC-Layer）[44] 被设计为替代全连接层，因此可以作为 CNN 的最后一层或 RNN 的隐藏层。值得注意的是，TC-Layer 是 TT 层的一种特例，可通过将秩设为 1 来获得。

3.3 张量化 Transformer

Transformer [130], [170] 以处理序列数据而闻名。与 CNN 和 RNN 相比，Transformer 可以堆叠成大规模结构，以实现卓越的性能 [131]。然而，Transformer 仍然存在冗余性，类似于经典的深度神经网络（DNN），因此可以通过缩小模型规模来提高效率 [62]。因此，作为一种灵活的压缩工具，张量分解（TD）可用于减少 Transformer 的参数量 [58], [59], [61]。

因此，大多数压缩研究都集中在消除这些矩阵的参数上。例如，提出了 MPO 结构来分解 Transformer 中的每个矩阵，生成包含核心信息的中心张量和较小的辅助张量。进一步采用了一种调整策略，继续训练辅助张量以实现性能提升，同时冻结中心张量的权重以保留原始矩阵的主要信息。此外，观察到低秩 MPO 结构可能导致性能严重下降，基于混合 TT 分解提出了 Hypoformer；这种方法将一个密集矩阵部分与一个低秩 MPO 部分连接起来。Hypoformer 在保留全秩特性的同时，减少了所需的运算次数和参数数量，以压缩和加速基础 Transformer。此外，通过将所有矩阵连接成一个更大的张量，Tucker-Bert 使用 Tucker 分解对连接后的张量进行分解，极大地减少了参数数量，从而实现了极端压缩，并保持了相当好的结果。与压缩原始注意力操作相比，多模态多方式 Transformer（MMT）探索了一种新颖的广义张量注意力操作，用于建模多模态数据集的模态感知多方式相关性。有趣的是，Tuformer 将多头自注意力（MHSA）推广到 Tucker 形式，因此具有更强的表达能力，并取得了更好的结果，如图 5 所示。最近，通过使用因果胶囊和控制潜在变量交互的 Tucker 格式张量 Transformer，张量因果学习也得以实现。

3.4 TGNNs
图神经网络（GNNs）在多个应用和领域中取得了突破性的性能。一个经典的 GNN 层包括一个聚合函数，用于聚合邻接节点的信息，以及一个更新函数，用于更新当前节点的信息。例如，GNN 中第k层的节点v的处理步骤可以表述为

为了高效地参数化排列不变的多线性映射，以建模无向图结构中邻居之间的交互，张量图神经网络（TGNN）利用对称的 CP 层作为其节点聚合函数。研究表明，TGNN 具有强大的能力来表示任何排列不变的多线性多项式，包括求和和均值池化函数。与无向图处理相比，TGNN 更适合处理高阶图结构，如知识图谱或多视图图。传统的关系图卷积网络忽略了知识图谱中的三线性交互关系，并将实体所拥有的信息简单相加。为了提高多线性建模的效率和计算空间需求，提出了使用低秩 Tucker 层作为聚合函数的时间图卷积网络（TGCN）。为了在多视图图学习任务中捕捉潜在的高阶相关性信息，引入了应用 Tucker 格式结构来提取公共特征空间中图结构特征的关系张量图神经网络（RTGNN）。TGNN 也适用于动态时空图处理场景中的高阶相关性建模。例如，动态时空图神经网络（DSTGNN）分别应用可学习的 TTG 和 STG 模块来发现动态时间关系和空间关系。然后，DSTGNN 通过 PEPS 层探索 STG 和 TTG 模块之间的动态纠缠相关性，从而减少了 DSTGNN 的参数数量。

3.5 张量化的受限玻尔兹曼机（Tensorial RBMs）
受限玻尔兹曼机（RBMs）是一种可以从输入数据集中学习概率分布的生成型随机神经网络。一个标准的 RBM 包含一个可见层变量和一个隐藏层变量，并为联合向量 {v,u} 分配以下能量函数：

其中，Z 是一个配分函数。然后，可以通过可学习的分布公式定义一些损失函数来优化参数。RBM 的参数主要基于映射权重矩阵。

因此，大多数压缩研究集中在减少权重矩阵变量的数量。例如，Tv-RBM [71] 探讨了使用 RBM 处理更高阶输入。在该模型中，权重矩阵被转化为 CP 层结构，其中每个可见层表示为张量，而每个隐藏层仍然是一个向量。在另一个更高阶的 RBM，即 Mv-RBM [72] 中，其可见层和隐藏层都表示为矩阵，且其权重被表示为 TC 层 [44]。MPO-RBM [172] 和 TT-RBM [69] 使用 TT 层表示权重矩阵，从而大大压缩了所需参数的数量。此外，TR-RBM [70] 对其 RBM 进行 TR 分解，其中 TR-RBM 的可见层和隐藏层都被泛化为张量。

备注：紧凑型 TNN 已证明能够在保留模型性能的同时实现极高的压缩比。然而，与压缩比相比，它们的计算加速率并不显著，这主要由于收缩操作。因此，需要进一步研究以改进所采用的收缩策略，因为未优化的收缩策略可能导致不理想的运行内存消耗。

4 信息融合通过张量网络（TNNs）

在现实世界的数据分析中，收集的数据可以来自多个来源；例如，视频数据中可能包含视觉、声音和文本信息 [145], [173]。例如，在视觉问答（VQA）任务中，关键点在于有效地建模两种模态之间的交互，即文本和图像信息。当处理这类数据时，考虑将不同来源的数据统一成相同形式是不可行的。因此，理想的方法是通过多个入口融合这些信息，以处理特殊结构中的多模态源。这类带有入口的方法被称为信息融合方法。特征级融合 [174] 和决策级融合 [175] 是早期常用的方法。然而，这些方法是简单的线性方法，无法有效地建模模态内部的动态。为了解决这个问题，TNNs 被用于融合任务中，基于自然的多线性特性来建模模态内的动态。此外，TNNs 还能够处理更高阶的数据，这是一个广泛应用的能力。总之，张量网络提供了有效的张量运算框架，通过 TNNs 来表达和概括深度学习中遇到的信息融合模块（如注意力模块和向量拼接模块）是自然且有意义的 [176]。因此，许多研究采用 TNNs 来捕捉数据或参数之间的高阶交互。在本节中，我们介绍了两种主要的 TNN 结构系列用于信息融合：第 4.1 节中的张量融合层方法和第 4.2 节中的多模态池化方法。

4.1 基于张量融合层的方法

多模态情感分析是一个包含三种交流模态的任务，即文本模态、视觉模态和声音模态 [73]。针对多模态情感分析，Zadeh 等人 [73] 提出了新型的 TNNs，其中包含深度信息融合层，称为张量融合层（TFLs）。这些层能够轻松地学习模态内部动态和模态间动态，并能够聚合多模态交互，从而有效地融合三种交流模态。具体来说，TFL 首先接收由嵌入网络生成的嵌入特征向量，而不是原始的三种数据类型。然后，TFL 将一个标量 1 与每个嵌入特征向量拼接：

尽管 LMF 和 TFL 在融合结果上优于其他方法，但它们限制了交互的阶数，导致高阶交互缺乏信息。为了解决这个问题，提出了一个 PTP [76] 块。PTP 的整个过程和 TN 图示分别如图 7 和图 8 所示

其中，是权重矩阵，是可学习的对角矩阵。PTP 的结构也等同于深度多项式神经网络 [177]。PTP 模型所有非线性高阶交互。对于多模态时间序列数据，一种方法是使用“窗口”来表征局部相关性，并在多个层中堆叠 PTP 块。这样的模型称为层次多项式融合网络（HPFN）[76]。HPFN 可以递归地处理局部时间-模态模式，以实现更好的信息融合效果。

单层 PTP 块的结构类似于浅层卷积算术电路（ConvAC）网络 [83]（见第 5.3 节）。ConvAC 和 PTP 之间的唯一区别是，标准的 ConvAC 网络处理量子位置特征，而 PTP 处理时间-模态模式和多项式连接的多模态特征。HPFN 几乎等同于一个更深的 ConvAC 网络，它的强大表达能力可能隐含在它们之间的联系中。深度多项式神经网络中的递归关系也已被发现并实现，因此多项式输入可以通过层次神经网络高效计算 [76]。Chrysos 等人 [177] 也发现了类似的结果。

4.2 基于多模态池化的方法

另一类信息融合方法起源于 VQA 任务 [145]。在 VQA 任务中，最重要的方面是对视觉和文本表示之间的双线性交互进行参数化。为了解决这一问题，已经发现了一些张量融合方法。多模态紧凑双线性池化（MCB）[78] 是一种广为人知的 VQA 任务融合方法，可以被视为一种特殊的基于 Tucker 分解的神经网络。MCB 试图优化简单的双线性融合操作。

其中，v 和 q 是具有不同模态的输入向量，W 是可学习的权重矩阵。此外，MCB 基于计数 sketch 投影函数的特性，优化了外积操作的计算成本。

多模态低秩双线性池化（MLB）[79] 在数据融合步骤中采用了 CP 层，可以表示为如下形式：

MLB 方法的结构是 LMF 的一种特例（见第 4.1 节）。当模态数等于 2 时，MLB 融合方法也可以被视为一种简单的乘积池化方法。

MUTAN [77] 是 MCB 和 MLB 的推广。MUTAN 采用 Tucker 层来学习视觉特征和文本特征之间的双线性交互关系：

5. 使用张量网络（TNNs）进行量子电路仿真

近年来，量子计算理论的发展引起了广泛关注[178]，[179]，[180]。量子系统在并行性方面优于经典电子计算机[181]，[182]，因此能够实现更低时间复杂度的算法。例如，基于量子系统的 Shor 算法[183] 在理论上比经典的质数分解算法要快得多。量子电路是量子系统的计算硬件实现，理论上与张量网络（TNs）和张量网络网络（TNNs）相对应[184]，[185]，[186]，[187]。量子态是量子系统的数学实体，且与具有某些约束的高阶张量一致[8]。因此，TNNs 可以作为经典计算机的模拟器来建模实际的量子电路[8]，[148]。利用量子计算的超高并行性，某些特殊的 TNNs 可以在小型、近期的量子设备上实现[185]。在 TNN 上的量子电路仿真主要集中在 TNs 作为经典神经网络（NNs）和量子神经网络（QNNs）之间的桥梁作用，而不是更一般的基于 TN 的量子电路仿真范式。如果读者对通过 TNs 进行一般电路仿真感兴趣，请参考其他论文[8]，[26]，[148]，[188]。

在本节中，我们使用“经典数据”一词来表示经典电子计算机中的数据。我们将在第 5.1 节介绍通过 TN 将经典数据映射到量子态的方法，在第 5.2 节介绍映射后的量子态的基本监督和无监督处理方法，最后在第 5.3 节介绍著名的量子 TNN 模型，即 ConvAC。

5.1 经典数据的量子态嵌入
为了在量子系统中处理机器学习任务，输入数据应被转换为一些量子态的线性组合，作为正交基：

其中，|·〉表示具有复数值的向量的狄拉克符号 [189]，◦ 表示外积运算。张量 A 是组合系数张量，通常通过低秩张量网络（TN）表示和分析 [8]。为了将经典数据嵌入量子态并适配量子系统，Stoudenmire 和 Schwab [81] 提出了一个量子态映射函数，用于灰度图像中第 i 个像素 xi，如下所示：

其中，αi, hi 是与每个语义含义相关的组合系数。αi 的约束条件为和。完成数据映射后，嵌入的量子数据可以通过张量网络（TNNs）在实际的量子电路上进行处理，如图 9 所示。TNNs 的损失函数也可以通过量子电路的特性来定义。这样的过程可以通过张量网络（TNs）在经典电子计算机上进行模拟，并可以理论上在现实的量子系统上高效实现。

5.2 嵌入式量子数据处理

有两系列学习方法在设计和优化可以在现实量子电路上实现的TNNs方面具有重要意义和潜力。其一是应用密度矩阵重正化群（DMRG）算法 [8], [192] 来训练监督模型。另一种则采用Born机 [193] 的思想，通过无监督过程学习数据分布。我们将在下一部分介绍这些方法。

5.2.1 监督式TNN模型

监督式模型用于根据示例输入输出对，建模给定输入特征下标签（输出）的条件概率分布。以嵌入式量子数据为输入，Stoudenmire和Schwab [81] 提出了类似MPS的监督式张量多线性模型，并采用类似DMRG的算法来优化模型权重。在介绍具体实现之前，他们的模型首先需要被表述为一种优化由不同标签 ` 索引的一组函数的过程：

其中，NT 表示训练样本的数量，yn 表示 xn 的真实独热标签向量。优化过程通过随机梯度下降分阶段进行，以最小化该成本函数。单个阶段如图10所示。在每个阶段，两个 MPS 张量通过张量收缩合并成一个单一的联结张量 V。然后，张量 V 会根据梯度进行更新。最后，使用 SVD 算法重新分解成单独的张量。扫掠方法在优化嵌入量子数据的模型中非常高效，它也可以用于训练 TNN。此外，其他张量网络，包括 PEPS 结构 [194]，也可以使用类似扫掠的方法进行处理。与这些针对量子嵌入数据的扫掠优化过程不同，Ivan 等人 [85] 直接使用随机梯度下降来优化所提出的广义张量网络。

5.2.2 无监督张量网络模型

无监督生成建模的目标是建模给定数据的联合概率分布。生成对抗网络（GANs）[195] 和变分自编码器（VAE）[196] 是成功的神经网络模型，用于处理经典数据分布。嵌入量子数据是训练和设计量子张量网络（TNNs）以通过张量网络生成概率分布的关键。受量子力学中量子态的概率解释的启发 [197]，提出了一种基于 MPS 的生成模型，称为 Born 机器 [193]。Born 机器是一个源自量子力学的能量基模型 [198]。Born 机器的分布函数如下所示：

5.3 ConvAC 网络

之前开发的量子数据处理模型，如第 5.2.1 节中的 MPS 模型和第 5.2.2 节中的 Born 机器，由于缺乏非线性处理，表现力有限。经典的非线性操作符，例如激活函数（如修正线性单元（ReLU）函数）和平均/最大池化，能够显著提高模型性能。然而，经典的非线性操作无法直接在量子电路中实现。为了解决这个问题，提出了 ConvAC 网络 [89]，[199]，它采用量子可部署的乘积池化作为非线性操作符，并证明 ConvAC 可以转化为带有 ReLU 激活函数和平均/最大池化的卷积网络（ConvNets）。

ConvAC 的整个结构可以用 HT 格式表示，并已证明可以在现实量子系统中进行部署。ConvAC 的张量图示例如图 11 所示，其中 ConvAC 的一层隐藏层采用 CP 格式。ConvAC 也可以通过公式（37）将自然语言句子映射到量子态，从而处理语言数据 [83]。ConvAC 是一个里程碑，因为它将深度卷积网络与非线性模块实现于量子电路上，并为将更多的神经网络集成到量子系统中提供了启示。例如，Zhang 等人 [90] 提出了张量空间语言模型（TSLM），已证明其是 n-gram 语言模型的推广。

备注：量子 TNNs 的实现是一个具有象征意义的里程碑，构建了 QNNs 和经典 NNs 之间通过 TNs 的桥梁。然而，模拟量子 TNNs 和现实物理系统之间的严格映射算法仍需探索。此外，由于真实的高性能量子计算机仍然距离开发还有很长的路要走，验证量子 TNNs 性能的概念在近期内不可行。尽管存在这些问题，但关注 QNNs 的映射算法和性能验证仍然是重要且有意义的。

6 TNNs 的训练策略

尽管前述的 TNNs 在各种任务和机器上表现良好，但探索更稳定、更高效且具有更好性能的训练策略同样值得关注。在本节中，我们将这些策略分为三个组别：（1）第 6.1 节介绍了稳定 TNNs 训练过程的策略；（2）第 6.2 节提供了选择和搜索 TNNs 秩的策略；（3）第 6.3 节展示了应用硬件加速的策略。

6.1 稳定的训练方法

尽管 TNNs 在许多方面取得了成功，但由于其多线性特性，TNNs 仍然面临训练问题。与简单的线性操作（如矩阵乘法）相比，当模式线性增加时，张量收缩会导致数据流呈指数级扩展，即前向传播中的特征和反向传播中的梯度 [92]。一种解决方案是使用全精度的 float64 格式表示大权重，这在一定程度上可以缓解这些数值问题。然而，与低精度格式（如 float16）相比，全精度格式可能会导致更多的计算和更高的时间消耗。尽管如此，低精度可能会引发数值稳定性问题。为了解决这些问题，Panagakis 等人 [91] 提出了混合精度策略，以形成一种折衷。这种动态精度策略在减少内存占用并促进训练稳定性方面是高效的。

解决训练问题的另一个可行方法是开发合适的初始化方法。常用的自适应初始化方法包括 Xavier [202] 初始化和 Kaiming [203] 初始化，它们调节层中数据流的方差。然而，这两种初始化方法无法计算 TNNs 的正确规模，以忽略张量收缩中的交互。此外，不同的张量格式之间存在差异，这使得为不同的张量层开发通用的适应性初始化变得困难。为了解决这两个问题，Yu 初始化 [92] 提出了基于 Xavier 的统一初始化范式，用于自适应初始化任意的 TCNNs。具体来说，Pan 等人从张量卷积超图 [30] 中提取了一个骨干图（BG），然后将任意的 TCNN 编码为一个邻接矩阵。最后，可以通过邻接矩阵直接计算 TCNN 的合适初始方差。我们在图 12 中展示了使用统一初始化的三种情况。尽管 Yu 初始化是为 TCNNs 提出的，但它也可以广泛应用于其他 NNs，包括 CNNs、RNNs 和 Transformers，因为这些模型的基本层（即卷积层和线性层）都属于 TCNNs 的范围。

6.2 秩选择与搜索

先前的研究 [38], [42], [52] 主要集中在寻找有效的 TN 格式（例如，TTs 和 TRs）用于压缩 NNs，并取得了显著的效率成果，因为它们具有自然紧凑的结构。然而，尽管取得了这些显著成功，但缺乏有效的算法来调整或选择适合的 TN 秩，因为秩选择是一个 NP 难问题 [156]。因此，许多方法 [35], [41], [42], [50] 只能手动为所有秩设置值，这严重影响了生成模型的训练过程。幸运的是，秩选择问题仍然可以通过启发式策略进行优化，例如贝叶斯优化 [96], [97]、强化学习（RL）[94] 和进化算法（EAs）[93]。在这里，我们介绍一些 TNNs 的秩选择方法。

DNNs 使用神经架构搜索（NAS）[204] 来搜索最优的网络超参数，并取得了显著的成功。由于秩可以被视为架构超参数，因此 NAS 适用于搜索具有更好秩设置的最优张量层。基于这个思想，渐进搜索 TR 网络（PSTRN）[93] 使用 NAS 和进化算法（EA）来为 TR 网络（TRN）选择适当的秩。具体来说，PSTRN 采用了一种启发式假设来进行搜索：“当形状固定的 TRN 表现良好时，其部分或全部秩元素是敏感的，每个秩元素倾向于聚集在一个狭窄的区域内，这个区域被称为兴趣区域。”在兴趣区域假设的指导下，PSTRN 可以比普通的 EA 方法更高概率地达到最优点。PSTRN 由进化阶段和渐进阶段组成。在进化阶段，该方法在基准测试中验证搜索空间中的秩，并选择表现最佳的秩。然后，在渐进阶段，PSTRN 在先前选择的秩周围采样新的秩，并将其插入到新的搜索空间中。经过几轮后，启发式 EA 可以找到高性能的解决方案。通过这种高效的设计，PSTRN 成功地实现了比手动设置更好的性能，这证明了其假设是实用的。

除了 NAS，一些其他高效的方法也可用于秩选择。赵等人 [95] 通过实施一个变分贝叶斯优化过程对大秩值进行降维，从而推断出 CP 秩。霍金斯和张 [97] 将这个 CP 程序 [95] 扩展到基于 TT 的 TNNs，并采用斯坦因变分梯度下降方法，该方法结合了马尔可夫链蒙特卡洛（MCMC）方法的灵活性和变分贝叶斯推断的速度，构建了一种贝叶斯优化方法。在预训练网络中，金等人 [100] 和古萨克等人 [101] 通过采用贝叶斯矩阵分解（BMF）[205] 来展开权重张量，从而推导出近似秩。康斯坦丁等人 [96] 使用基于代理的贝叶斯优化方法，寻找 NN 压缩的最佳秩组合。与贝叶斯方法不同，程等人 [94] 将秩搜索任务视为一个游戏过程，其搜索空间是不规则的，因此应用强化学习（RL）来为训练好的 CNN 寻找比较合适的秩。然而，该算法是 TD 依赖的，这意味着其性能可能会受到所选 TD 方法的影响。尹等人 [99] 利用乘子法的交替方向法（ADMM）逐步将原始权重转化为低秩表示（即 TT）。法尔纳兹等人 [98] 提出了一个针对 TR 格式的自适应秩搜索框架，其中 TR 秩在每次迭代中逐渐增加，而不是预先确定。

6.3 硬件加速

加速 TNN 的训练和推理过程可以有助于减少资源消耗和实验调整，从而实现经济效益和绿色研究。一个直接有效的方法是优化 TNN 中张量操作的速度，以实现硬件加速。由于推理 TT 格式的 TNN 必然会导致大量冗余计算，TIE 方案 [102] 被提出，通过将工作 SRAM 分割成多个组，并设计一个良好的数据选择机制来加速 TT 层。黄等人 [103] 设计了一种具有更高 I/O 带宽的并行计算方案，提高了张量收缩的速度。后来，他们提出了一个 LTNN [103]，将 TT 格式的 TNN 映射到基于 CMOS-RRAM 的 3D 加速器中，通过垂直 I/O 连接显著提高了带宽。因此，他们同时实现了 TNN 的高吞吐量和低功耗。最近，屈等人 [104] 提出了一个空间 2D 处理单元（PE）阵列架构，并建立了一个由外部 DRAM 组成的硬件 TT 引擎。高等人 [105] 提出了一个能效高的硬件加速器，用于 CP 卷积，采用结合沃尔什-哈达玛变换和离散余弦变换的混合方法。

许多其他引人注目的方法已被开发用于加速与 TNN 相关的通用张量操作。例如，黄等人 [206] 观察到张量矩阵化操作通常资源消耗较大，因为其 DRAM 访问是基于随机读取地址；因此，他们提出了一种具有顺序地址设计的张量存储方案，以改善 DRAM 的可访问性。T2s-tensor [207] 和 Tensaurus [208] 主要专注于为稠密和稀疏张量数据设计通用计算核心。谢等人 [152] 和梁等人 [209] 加速了获取最优张量收缩序列的搜索过程。谢等人 [152] 解决了量子分析中双层 TN 收缩的巨大计算复杂度问题，并将这种双层 TN 映射到交叉的单层 TN 上。梁等人 [209] 实现了多线程优化，以提高收缩的并行性。法兹等人 [210] 也展示了 RL 在构建高效通用张量操作方面的潜力。未来，预计将开发出更多基于张量操作的通用硬件加速方案，以实现更小存储和时间消耗的 TNN。

备注：评论分为三部分。（1）为了实现训练稳定性，可以借鉴关于身份转移维护的思想来构建更稳定的初始化。此外，也可以通过添加对抗样本来增强网络的鲁棒性。（2）秩搜索对于进一步提高 TNN 性能至关重要。然而，由于它是一个 NP 难问题，秩搜索尚未得到充分探索。未来，可以通过梯度大小和演化算法在搜索 TNN 架构时指导适当的秩搜索。（3）最后，硬件研究在加速速度和减少内存方面取得了一些成功。然而，这些方法几乎都是针对特定 TD 格式的临时设计，因此缺乏对其他 TNN 结构的适用性。

7 TNN 工具箱

1973年，Pereyra 和 Scherer [211] 作为该领域的先驱，开发了一种基本张量操作的编程技术。最近，随着现代计算机的发展，许多更多的基本张量操作工具箱已被开发出来，同时也提出了一系列强大的 TNN 工具箱，主要应用于网络压缩和量子电路仿真，这是 TNN 的两个主要应用领域。在本节中，TNN 工具箱根据其设计目的分为三类：（1）用于基本张量操作的工具箱，包含 TNN 中一些重要的基本操作（例如张量收缩和置换）（第7.1节）；（2）用于网络压缩的工具箱，是基于其他基本操作工具的高层次 TNN 架构工具箱（第7.2节）；（3）用于量子电路仿真的工具箱，是从量子角度使用 TN 进行量子电路仿真或量子机器学习过程的软件包（第7.3节）。

7.1 基本张量操作的工具箱

基本张量操作的工具箱旨在实现一些特定的 TD 算法。许多基于不同编程语言和后端的基本张量工具箱已被设计用于此目的。例如，在线随机框架 for TD（OSTD）[110] 和 Tensor Toolbox [108] 是为低秩分解而构建的，并使用 MATLAB 实现。关于基于 Python 的工具箱，基于 NumPy 的 TensorTools [212] 仅实现了 CP，而 T3F [116] 是专门为 TensorFlow [213] 上的 TT 分解设计的。同样，基于 TensorFlow 的 TensorD [111] 支持 CP 和 Tucker 分解。Tntorch [113] 是一个基于 PyTorch 的库，支持 CP、Tucker 和 TT 格式的张量建模。TorchMPS [114]、TT-Toolbox [112] 和 Scikit-TT [118] 都是功能强大的基于 Python 的特定 TT 求解器，能够高效实现 DMRG 算法。Tensorly 是一个功能强大的通用 TD 库，支持多种分解格式和不同的 Python 后端，包括 CuPy、Pytorch、TensorFlow 和 MXNet [214]。TensorNetwork [117] 是一个功能强大的通用 TN 库，支持多种 Python 后端，包括 JAX、TensorFlow、PyTorch 和 NumPy。

此外，还有一些基于 C++ 的工具箱。TenDeC++ [215] 在 C++ 中利用一种名为 PointerDeformer 的独特指针技术，支持高效计算 TD 函数。ITensor [115] 是一个高效灵活的 C++ 库，用于通用 TN 计算。

7.2 网络压缩的工具箱

特定的 TNN 工具箱用于协助张量层的开发。尽管一些通用的张量工具箱，如 Tensorly [106]，在 TD 处理上非常强大，并且可以利用它们的 TD 操作在一定程度上帮助初始化 TNN 模块，但它们仍然缺乏直接构建 TNN 的应用程序接口（API）支持。因此，基于 Tensorly 开发了一个 TNN 库（Tensorly-Torch），可以在任何 PyTorch 网络中构建一些张量层。Pan 等人还开发了一个强大的 TNN 库，叫做 TedNet [35]。TedNet 可以通过直接调用 API 快速设置 TNN 层。此外，TedNet 支持在一行代码中构建 TCNN 和 TRNN。

7.3 量子电路仿真的工具箱

已经设计了许多量子电路仿真工具箱。例如，一些 TT 工具箱，如 Scikit-TT 和 TorchMPS，尽管它们并非专门为量子电路仿真设计，但可以在某种程度上部分仿真量子电路。相比之下，通用的 TN 工具箱，例如 TensorNetwork 和 ITensor，可以仿真任何量子电路。此外，通过优化的张量收缩，TeD-Q [121] 是一个针对量子机器学习的 TN 增强开源软件框架，能够仿真大型量子电路。此外，Yao [119] 是一个可扩展且高效的量子算法设计库，可以为量子电路提供 TN 输出支持。尽管目前尚未有量子 TNN 的实际实现，但这些量子电路仿真对量子 TNN 的仿真可能具有潜在的帮助。

备注：尽管现有工具箱取得了一定的成功，但仍然存在一些需要改进的领域。（1）现有的基本张量操作工具箱是基于高级软件框架构建的，限制了它们充分利用张量计算的固有能力。（2）现有的 TNN 深度模型实现工具箱只能包含有限数量的预定义 TNN 结构，无法允许用户自由设计结构。（3）现有的量子仿真工具箱更多地关注使用 TN 仿真量子电路，未能便捷处理通过 TNN 嵌入的量子数据。

8 结论与未来展望

本综述探讨了 TNs 和 NNs 之间的联系，总结了压缩 NN 参数、建模数据不同维度间的相互作用以及将 QNNs 与经典 NNs 连接的技术。如前所述，TNNs 具有显著的优势和巨大的潜力，适用于许多领域。未来，TNNs 的研究可以通过优化和实现张量友好的硬件受益；我们相信，TNNs 将在量子物理和量子计算机相关研究中产生重要影响。

基于硬件设计的加速。尽管许多 TNN 在理论上具有较低的计算复杂度，但由于其包含大量的置换操作[35]以及缺乏足够的并行性[103]，现实中的硬件部署通常未能达到这一目标。因此，开发针对通用张量加速或 TNN 加速的高效硬件和配套软件是必要的。如第 6.3 节所述，现有的张量加速软件和硬件结构主要针对特定的 TN 结构或基于并行矩阵加速。为了实现 TNNs，普适的张量操作加速是必要且紧迫的。

在量子物理中的应用。在一些需要处理大规模张量的特定物理应用中，如波函数模拟[216]，可以研究专门设计的 TNN 来高效解决涉及高阶相互作用的问题。受到通用逼近定理的启发，已有一些简单的神经网络被应用于波函数模拟任务，如自由玻色子和费米子系统[217]。然而，由于维度灾难，简单的神经网络很难应用于极大规模的波函数模拟任务，而 TNN 由于其紧凑的结构，可以轻松处理大规模张量任务。

量子力学中的实现。现有的 TNN 主要采用 TN 的数学形式，较少考虑由这些 TN 描述的量子系统的物理属性[12]，[91]。由于 TNN 与量子电路结构高度相关，通过将 TN 的概念和理论应用于量子力学，可能获得更高效、有效的 TNN。例如，从纠缠熵理论[218]的角度优化和解释 TNN 可能是产生可解释且高效神经网络的一个有意义的方向。

MERA 的潜在使用。多尺度纠缠重整化假设（MERA）[219]，[220]，[221] 是一类树状张量网络，可以以层次化的方式表达，同时保持计算优势。MERA 已经显示出能够捕捉量子力学中强耦合基态的许多复杂物理特性[219]。基于这种成功，MERA 未来可能不仅能够更好地表征 TNN 的表达能力，还能实现新的实际应用。

原文链接：https://www.alphaxiv.org/abs/2302.09019v2