可解释人工智能在工业智能诊断中的挑战和机遇：归因解释

本期阅读

文章信息

可解释人工智能在工业智能诊断中的挑战和机遇：归因解释

严如强, 周峥, 杨远贵, 李亚松, 胡晨烨, 陶治宇, 赵志斌, 王诗彬, 陈雪峰

10.3901/JME.2024.12.021

引用本文：

严如强, 周峥, 杨远贵, 李亚松, 胡晨烨, 陶治宇, 赵志斌, 王诗彬, 陈雪峰. 可解释人工智能在工业智能诊断中的挑战和机遇：归因解释[J]. 机械工程学报, 2024, 60(12): 21-40.

YAN Ruqiang, ZHOU Zheng, YANG Yuangui, LI Yasong, HU Chenye, TAO Zhiyu, ZHAO Zhibin, WANG Shibing, CHEN Xuefeng. Challenges and Opportunities of XAI in Industrial Intelligent Diagnosis: Attribution Interpretation[J]. Journal of Mechanical Engineering, 2024, 60(12): 21-40.

原文阅读（摘要）

摘要：针对目前迅猛发展的工业智能诊断方法缺乏可解释性开展综述，指出模型无关的归因解释技术在工业智能诊断中的研究现状和潜在研究方向。分析可解释性技术的主要观点和作用，针对工业智能诊断的两个特性问题—非线性高维观测、知识表征精度低，归因解释技术可以提供有效的前向理解智能模型逻辑结构、反向优化模型设计的工具。从注意力机制、显著性分析、规则提取、代理模型四个方面，概述其主要观点与作用，介绍现有方法的研究现状，并总结分析不同归因解释技术的优势与不足。通过四个案例分析，阐述不同归因解释技术在智能诊断中的效果。最后展望归因解释技术在工业智能诊断中的研究方向，包括可解释性量化、反馈模型设计、模型复杂性与可解释性平衡、高维特征的归因解释，期望为可解释人工智能技术在工业智能诊断中的发展提供方向建议。

关键词：工业智能诊断；可解释性；模型无关；归因分析

中图分类号：TH17

0

前言

人工智能(Artificial intelligence, AI)和深度学习(Deep learning, DL)在机械设备状态监测、强弱电设备管理、化工过程控制等研究领域中都取得了突破，并逐渐赋能融入到工业应用中。虽然AI算法在各种模型设计(如卷积网络、循环网络、图网络、Transformer等)、各种监测数据(如高频快变振动信号、低频缓变状态信号、视觉图像等)、多种子任务(如异常检测、故障识别、性能预测、维修决策等)等方面研究迅速，但由于算法缺乏可解释性，智能诊断模型在风险敏感工业领域中的实际应用常受到研究人员与运维人员的质疑。因此，AI模型的弱解释性已经成为制约智能诊断模型工业应用的瓶颈之一。

可解释性对智能诊断模型的使用和设计都具有重要意义。在智能诊断模型的使用方面，解释来源于工程可靠性的内在需求，使用人员通过分析智能诊断模型的底层运行逻辑，对模型的决策结果进行可信度判读，同时也增强了用户对模型决策的信心。在智能诊断模型的设计方面，解释可以反馈模型的设计过程，便于研究人员基于经验验证模型的有效性，加快研究人员对智能诊断模型的调试优化。通过使用与设计的反复迭代，智能诊断模型的性能与透明度将持续提升。

可解释AI(eXplainable AI, XAI)研究是当前AI领域的重要议题。虽然不同研究背景的学者对AI中可解释性的精确定义存在差异，但对XAI的理解认知是一致的，即可解释性技术是作用在AI模型上、反馈信息给人的技术。从对模型作用的范围来看，XAI可分为全局解释与局部解释，对于浅层的、维度不高的AI模型而言，其输入空间与输出空间中的映射关系较为清晰，可以通过全局解释技术分析浅层AI模型的性质，但对于深层的、过参数化的AI模型而言，高维输入空间或高维特征空间与输出空间的映射关系已经难以用线性思维进行分析，通常使用局部解释技术分析部分输入空间或部分特征空间与输出空间的边际效益，这也是大部分可解释性技术采用的方法，即对模型中的主要特征成分进行分析；从作用的时间维度来看，可以分为模型设计前作用和模型设计后作用(通常也被称为主动解释与被动解释、事前解释与事后解释、模型相关与模型无关)，由于XAI技术主要是通过引入外部知识源来判断AI模型的决策逻辑是否满足该外部知识源做出的一些假设或定义，通过检验AI模型对外部知识源的匹配程度，可以定性地评价模型的可解释性。因此，是否在模型设计前进行作用取决于以下几个要素：是否容易获得外部知识源、该知识源是否容易被形式化到AI模型中、该知识源是否会对AI模型的性能产生负面影响，而上述因素的关键点在于外部知识源的获取途径与知识表征的准确性，对于易形式化、精确的知识，推荐使用主动解释技术，即在设计前对模型进行作用，对于难形式化、模糊的知识，推荐使用被动解释技术，即不对AI模型的单次设计进行干预。对于大多数为复杂系统的机械设备而言，监测数据之外的知识源类型多样，包括物理场分析、振动信号分析、专家系统等，但都存在高精度知识表征难度高的问题，因此，使用模型设计后作用的被动解释技术，是一项有前景的辅助数据驱动诊断模型的可解释性技术。按照上述理解，本文讨论的问题可以界定到模型无关的、被动的、事后的XAI技术在工业故障诊断中的挑战与应用，本文将其简述为归因解释技术。

当前智能诊断领域也越来越重视可解释性技术的研究。通过文献分析统计Web of Science中近十年智能诊断若干主题的发展趋势，如图1所示，虽然当前可解释性技术在智能诊断中的研究占较小、仍处于起步阶段，但利用多项式拟合发现，可解释性诊断的关注量持续升高，越来越多的学者注意到可解释智能诊断的重要性。当前的许多研究都是从主动解释的角度开展可解释智能诊断研究，即用外部知识源赋能智能模型，许多学者从物理机理方程、小波信号分析、稀疏编码理论等角度开展了知识引导的可解释智能模型构建研究，利用故障诊断领域积累几十年的学科研究赋能智能诊断，旨在提升智能模型泛化性的同时提升模型的可解释性。但当前研究在归因解释方面的关注远远不足，有关研究相对发散、尚未形成热点群体，针对这一问题，本文将对现有归因解释技术在工业智能诊断中的研究进行综述，以期为其提供系统性梳理。本文是《可解释人工智能在工业智能诊断中的挑战和机遇》系列的下篇，旨在从特征分析的角度综述归因解释技术在智能诊断中的应用。

本文的逻辑结构如下：首先，从归因解释的直觉观点出发，分析工业智能诊断中的特性问题，作为后续工作综述的基础；然后，对现有的研究进展进行总结，以技术类别和解释效果为依据将现有方法进行分类，分析每个分类的作用目标、作用效果以及优缺点；随后，给出了一个案例分析，说明在工业智能诊断中归因解释技术的朴素用法；最后，探讨归因解释技术应用到工业智能诊断中的挑战，展望归因可解释智能诊断的潜在研究方向，重点从可解释性的量化评估标准、可解释性自动化反馈模型设计、模型复杂度与可解释性的平衡、工业诊断中的高维问题四个方向展开。

1

诊断中归因解释技术的主要观点

当前AI模型难解释的原因之一在于人很难理解非线性高维空间中的映射关系，一些低维空间中的朴素直觉难以适用于高维空间，因此归因解释XAI技术的主要任务在于将这种非线性高维关系简并为线性低维关系。对于工业智能诊断而言，非线性高维问题更加突出，监测数据具有多尺度、跨尺度特性，对同台设备可能同时存在高频快变与低频缓变两种响应频率差异跨度大的监测信号；此外，监测数据类型多样，例如声音、振动、电信号等演化规律不同的数据。上述情况都使得工业智能诊断中的非线性高维问题越发突出。

另一个影响归因解释XAI技术在工业智能诊断中应用的因素是复杂机械系统的知识表征精度低，专家知识大多只能定性地判断机械系统的状态。由于工业智能诊断大多面向的是运行中无法进行拆解检查的复杂设备，间接测量已经成为当前的主流测量技术，这导致数据驱动的智能模型难以描述机械设备内部的健康状态；而基于物理建模、信号分析等的知识模型虽然能捕捉复杂系统的主要演化规律，但在定量分析上存在短板。由于XAI技术依赖外部知识源评估AI模型的可解释性，这促使了归因解释技术倾向于利用简单的、抽象的知识源来反馈可解释性。

针对上述工业智能诊断的特性问题，归因解释的主要观点是运用人可以理解的方法来描述AI模型的内部特征，寻找AI模型复杂度与可解释性的权衡点，前向理解AI模型的逻辑结构，反向优化模型的设计。

2

基于注意力机制的归因解释

2.1 注意力机制的观点与作用

人类视觉系统在观察外界信息时，会自动聚焦于感兴趣区域并抑制不相关的信息。基于深度学习的注意力机制类似于人类视觉系统，可以从输入信息中筛选出利于模型预测的特征并赋予其更高的权重。基于注意力机制的事后可解释方法通过可视化注意力权重解释信号特征对模型决策的贡献。具体来讲，在深度网络中融入注意力机制，在训练过程中通过反向传播算法优化网络，注意力权重会自适应为输入信号的特征分配权重。注意力权重越高，则表明相应特征对于模型决策贡献越多，反之则表明贡献越少。注意力机制是一种通用的思想和技术，其能与任何模型融合。在预测与健康管理领域，大量研究在模型中融入注意力机制以增强可解释性，其中具有代表性的有时序注意力机制、相似注意力机制、通道注意力机制、空间注意力机制、自注意力机制和混合注意力机制等。尽管注意力机制变种很多，但其对特征加权的核心思想是相同的，区别主要在于注意力权重的计算方式。图2展示了一种通用的注意力架构，其中键矩阵 K 是网络提取的信号特征表示，查询向量 q 是与模型任务相关的向量或矩阵。值矩阵 V 是信号特征的另一种表示，其元素与键矩阵一一对应。得分函数 f (·) 是计算注意力得分 S 的关键方式，决定了注意力的优化方向。 注意力权重 A 可以通过分布函数 h (·) 获得，即 A = h (S) ，其中最常用的分布函数是SoftMax函数。 将注意力权重与 值矩阵进行相乘并求和即可获得加权后的特征表示。

2.2 注意力机制方面的研究工作

通过更改得分函数f (·)，不同的注意力变种被设计用来提高模型可解释性。时序注意力通过对网络特征做线性投影获得注意力权重，f (·)可以被写为

式中， act(·) 为 为激活函数， k 是键矩阵 K 中的元素， 和 是可学习的参数。 时序注意力没有引入查询向量，且键矩阵K通常是循环神经网络(Recurrent neural network，RNN)的输出。 例如，LI等对双向长短时记忆(Long and short term memory，LSTM)网 络的输出应用时序注意力，辅助深度网络定位故障信息段，可视化的注意力权重解释了模型的决策机制。 类似的一些研究更改了RNN网络的类型应用时序注意力，所设计的网络同样具备可解释性。 对于相似注意力，得分函数被定义为

式中， Similarity(·) 是 是计算两个向量相似性的函数，查询向量 q 存在多种形式。 YANG等对门控循环单元的输出应用相似注意力，计算相似性的函数为 ，其中 k 是GRU网络的输出。 试验结果表明对于轴承原始振动信号输入，高注意力权重能对应故障冲击段，对于包络谱输入，高注意力权重对应故障频率段，模型决策逻辑相对透明。 上述两种注意力通常与RNN结合，可以聚焦于信号时序流中的关键特征并增强可解释性。

通道注意力、空间注意力和混合注意力通常与卷积神经网络(Convolution neural network，CNN)相结合。对于CNN提取的多通道特征，通道注意力旨在对每个通道特征进行加权，而空间注意力对每个通道的空间特征进行加权，混合注意力机制则是这两种注意力机制的融合。对于这三种注意力机制，得分函数f (·)存在多种形式。既可以根据输入信号特点引入查询向量计算注意力权重，也可以直接结合非线性层或者池化层对 K 进行投影获得注意力权重。 SHI等结合多尺度卷积和空间注意力设计网络，并可视化注意力权重直观展现多尺度特征的提取过程，提高网络的可解释性。 LIU等利用通道注意力实现多通道之间的信息交互，使用反向梯度可视化任意层注意力权重，发现注意力机制重点关注时域信号的脉冲分量，拥有很好的可解释性。 WANG等结合一维CNN系统地探讨了上述三种注意力机制在轴承故障诊断领域的可解释性。 通过将注意力权重向量与输入信号长度对齐，即使在噪声干扰下，注意力仍然能聚焦于反映故障类型的判别特征。 试验同样证明，混合注意力的诊断效果和可解释性优于通道注意力和空间注意力。 FAN等针对离心机故障特点设计一种新的混合注意力机制，可视化方式与诊断趋势相结合展现权重的校准过程，确定影响模型诊断的因素进而提高可解释性。

自注意力机制通过计算输入特征之间的相关性获得注意力权重，进而建模输入序列的内部关联关系。得分函数可以写为

式中， d k 是键矩阵的维度。 对于自注意力机制，图2中的键矩阵、查询矩阵和值矩阵是输入特征的三种不同表示，通常由线形层投影获得。 使用自注意力机制增强网络可解释性的代表模型是Transformer网络，其中多头机制经常被引入提高网络泛化性。 房佳姝等提出一种基于Transformer编码器的电力系统多阶段暂态稳定评估方法，通过自注意力机制实现全局特征的信息交互，高注意权重能够聚焦于反映电力系统状态的关键特征，提高了模型的决策透明度。 BI等提出变分Transformer模型识别化工过程异常，网络通过分配高注意力权重来关注异常变量，以获得更好的可解释性。 TANG等提出一种名为Signal-Transformer的模型对旋转机械故障进行诊断。 具体而言，模型将一维振动信号分割为多个片段并使用自注意力机制建模片段之间的关联关系。 除此之外，他们提出了一种适用于振动信号的注意力可视化方法，通过设定阈值并将小于阈值的注意力权重置零。 该可视化方法丢弃了部分低权重，可以更直观地反映模型的关注重点，提高了模型可解释性。 LI等针对旋转机械振动信号故障特点提出注意力权重应该服从稀疏分布的观点，对Transformer编码器中的注意力权重添加稀疏约束，事后的注意力可视化结果表明注意力权重可以集中关注信号的故障脉冲段，相比原始Transformer模型拥有更好的解释能力。 LI等使用自注意力机制与多种类型网络结合，解释多变量时间序列在过程监控中的贡献。 除上述总结的工作外，仍然有一些工作针对应用对象特点设计注意力网 络，在网络可解释性方面拥有不错的效果。

除了用注意力机制进行可视化外，有些研究认为可以对模型提取的特征进行可视化，进而解释模型内在决策逻辑。降维技术可以将高维特征表示投影到低维空间中，经常被用作特征分析。例如，BRUSA等使用随机主成分分析技术构建了一个可解释的特征空间，通过该空间分解数据解释特征对模型结果的贡献。ARELLANO-ESPITIA等结合CNN和堆叠自编码器模型构建网络，隐层特征的降维可视化效果表明模型是基于系统自身特征的学习，而不是基于偏见和随意性，进而提高可解释性。MIRZAEI等对提取的特征进行降维从而解释LSTM网络和门控循环单元(Gated recurrent unit，GRU)网络的学习机制。COSTA等设计网络压缩涡扇发动机全寿命周期数据到一个潜在特征空间，可视化结果展示了系统连续的退化轨迹，解释了模型预测剩余寿命的逻辑。聚类算法也经常被用于解释模型，如ZHANG等采用模糊C-均值聚类算法处理CNN提取的特征并进行轴承故障分类，聚类效果可以提供可解释性。同时，也有一些学者设计特定的网络并可视化相关特征来增强可解释性。YANG等设计图神经网络进行轴承寿命预测，通过不同阶段信号图结构的可视化解释退化演变的过程，展现模型预测逻辑。ZHANG等改进Shapelet用于轴承故障诊断，每种类型轴承的局部特征可视化的形状与故障产生的原因存在相关性，例如外圈故障的特征形状会出现双脉冲结构，正是由滚动体经过断层形成的。需要指出的是，这些方法相较于注意力机制的可解释性较弱，仍有很大的研究空间。

2.3 注意力机制的优势与不足

基于注意力机制的事后可解释方法是简单易懂的，只需将学习到的注意力权重映射到信号生成热图即可为决策者提供可解释性。除此之外，注意力机制增强关键特征并抑制冗余特征的特性使其可以在不增加网络参数的情况下显著提升模型的预测表现。同时需要指出的是，注意力权重是否可解释仍然存在争论，高权重是否就代表模型对相应特征关注度高需要结合具体对象和问题进行讨论，这仍然需要进一步研究。

3

基于显著性分析的归因解释

3.1 显著性分析的观点与作用

显著性映射又称为显著性区域检测，是近年来计算机视觉与图像处理领域中的研究热点之一，其主要目的是让计算机如同人眼一样迅速判断图像中的显著性区域。显著性映射类方法是智能诊断领域中应用的最多的一种事后可解释方法。在智能诊断领域中，检测智能网络输入信号中的显著性区域意味着观察定位出作为判断故障是否存在的故障特征区，故也可称为故障区域定位。故障区域定位的事后可解释方法依赖于输入信号是否已经存在较为明显的故障特征区，如时域冲击、频域特征谱线与时频图特征区域等。因此，其输入往往是时域冲击信号、频谱图与短时傅里叶变换(Short time Fourier transform，STFT)图。这类方法中最为常用的为类激活映射(Class activation mapping，CAM)方法与逐 层相关传播(Layer-wise relevance propagation，LRP)方法。

3.2 显著性分析方面的研究工作

3.2.1 类激活映射

CAM可以完美的结合到CNN中，因此其是智能诊断领域中常用的一种事后可解释方法。如图3所示，CAM可以通过卷积层激活映射的线性加权组合，给单个输入提供热力图可视化的解释。其可以表示为

式中， ReLU () 为非线性激活函数， c 为某个感兴趣的类， 表示给定的第 l − 1 层的第 k 个通道激活图，激活图权重可以表示为

式中， 表示卷积层通道激活图经过全局平均池化层后得到的权重。

SUN等使用CNN与CAM对水泵运行视频数据图像进行诊断，类激活热图成功定位出松动故障区域。LIU等将多元互信息与CAM结合，诊断了液气分离器，并使用降维可视化的方法提供可解释性。CHEN等建立了图神经网络CAM模型，通过高速列车整流器硬件试验验证其诊断能力与可解释性。虽然CAM方法有以上的应用，但CAM对卷积体系结构是非常敏感的，需要一个全局池化层来跟随感兴趣的卷积层。Grad-CAM及其变体则可以完美解决这个问题，其用类置信度 关于激活图的梯度作为激活图权重，即

式中， GP ( · ) 表示全局池化算子。 Grad-CAM可以对任意网络卷积层生成类激活热图，因此其为最常用的一种。 YU等将时域振动数据直接输入ResNet(Residual network，ResNet)进行训练，并使用Grad-CAM可视化解释诊断结果。

CHEN等利用STFT将振动信号转化为图像，然后使用Grad-CAM生成模型的注意力，解释了诊断结果。BRITO等利用仿真合成数据进行迁移学习的训练，并通过频谱数据与Grad-CAM解释了诊断结果。此外，还有其他方法也在激活图权重上进行修改。CHEN等使用注意力机制与胶囊网络进行训练，并基于Grad-CAM与Score-CAM改进了激活图权重得到梯度分数激活映射，解释了故障时域信号上的注意力分布。SUN等使用频率切片小波变换输入到CNN中训练，在Grad-CAM++上改进得到平滑全局渐变CAM，增强了模型抗噪声能力并可对诊断结果进行解释。LI等改进了使用绝对值运算将Grad-CAM的激活图权重改进为绝对梯度类激活映射，使暖通空调故障诊断标准可视化并达到模型可解释。除了以上数据输入类型外，还有使用包络谱、基于模糊的能量模式图像、声成像数据等作为模型输入训练数据，并使用类CAM方法达到模型可解释的目的。

类激活映射的方法可以直接反应模型对输入中不同区域的关注程度，是一种简单而直观的可解释方法。其通常与卷积神经网络一起应用，提供的图像级别的解释，有助于理解网络对不同类别的判断依据，帮助对比模型优劣，发现结构问题，选择或改进模型，从而得到一个更合适的网络结构。此外，CAM方法的计算效率高，适用于工业场景中大规模数据分类任务。然而，CAM并不直接提供训练后模型的可信度与置信度度量，仅仅是一种解释模型行为的可视化工具。

3.2.2 逐层相关传播

LRP从模型输出开始反向传播到模型输入，用于探讨初始像素级输入特征对最终预测结果的影响，由初始像素级输入特征与预测结果的相关性来表征。一个神经网络可以表示为

式中，xj 是神经元j的输出，g为非线性激活函数，wij为神经元i到神经元j的连接权重，b为偏差。

如图4右侧部分所示，对于LRP来说，第一层是输出，最后一层是输入。因此，每一层各个维度(某个维度就是某个神经元)的相关性之和守恒，可以表示为

式中， 用于衡量像素级输入对预测结果的影响。 f (

式(9)表示第 l +1 层神经元的相关性 ，可将该相关性分解到第 l 层的所有神经元上。 式(10) 表示第 l 层神经元 i 的相关性 ，其可以理解为，第 l +1 层中所有神经元的相关性分解后再进行求和。

实际应用中，LRP有两种改进形式，分别是ε-rule(式(11))和β-rule(式(12))，对于全连接层和卷积层，前一层的相关性得分计算方式为

式中， 为神经元 i 乘以神经元i与神经元 j 之间的权重， 为上一层所有神经元到神经元 j 的向量，式中的“+”与“-”分别表示正值部分与负值部分，即β-rule将正负加权激活分开进行处理。

LRP可以通过泰勒展开化简后应用于非线性神经网络中，通过ε-rule和β-rule进行逐层相关性的求解，最终计算出第一层的 。 LRP类方法也通常将常用时频分析方法(如小波变换、STFT等)得到的时频图作为神经网络的输入，量化输入对深度网络输出的重要性。

LRP常用于CNN后进行分析。GREZMAK等将齿轮箱振动信号经过小波变换得到时频图像后用DCNN进行分类训练，并通过LRP度量时频图对故障决策的贡献，很好地解释了网络的分类决策。此外，GREZMAK等进一步使用感应电机振动信号数据集验证了LRP类方法的有效性。HAN等将电机振动数据频谱或时频图输入Le-Net进行训练，并结合皮尔逊相关系数，克服了未训练时难以使用LRP进行可解释故障诊断的困难，LRP结果也很好解释了训练决策。

也有作者尝试将LRP与RNN类方法应用结合。WU等应用LRP技术分析了LSTM网络模型，通过轴承试验验证了LRP结果可以提供模型从输入数据中学习到的“见解”。SHI结合LRP方法设计了一种可解释的自适应稀疏门结构，提高了轴承智能诊断正确率与有效性。LI等提出一种解释可靠的特征级时空分层相关传播方法，从时间与空间维度获取多个输入特征与建筑能耗预测结果的相关性，很好的解释了LSTM的能耗预测结果。

此外，还有作者用LRP分析自编码器以及完成其他学习任务的。AGARWAL等使用可解释的LRP来度量输入变量的相关性，丢弃无关输入变量，使得模型使用更少样本量也可以提高模型精度。ZHANG等使用寻优方法找到最优的自编码器进行训练，并将LRP与功率谱分析相结合解释诊断结果。KIM等提出将LRP可解释方法融入领域泛化框架中，将STFT时频图输入框架中进行训练，实现了单源域泛化和域解释。WANG等基于可解释LRP方法构建可解释性指标，并基于此构造了一个可解释自适应稀疏深度网络与网络的关联图，然后构建了多级联邦网络，同时解决了网络可解释与数据隐私的问题。

逐层相关传播方法通过引入总体相关性的约束，将分类输出分解为特征和像素的相关性得分的总和，最终把相关性可视化为热图来衡量输入像素对预测的贡献。逐层相关传播方法不像类激活映射方法大多数情况下与卷积神经网络结合，其是模型无关的，可以应用于各种类型的深度学习模型，如卷积神经网络、循环神经网络、自编码器等，在解释模型的同时也可以帮助改进和优化模型。

3.3 显著性分析的优势与不足

从以上文献回顾中可以看出，CAM与LRP目标均为获取网络所关注的显著性区域并可视化出来，供人类专家理解与解释网络决策过程。这类方法思路简单，易于扩展到现有神经网络模型中，结果直观也容易理解，实现事后可解释，并在某些输入图像中可以直接实现故障定位。然而，此类方法要求输入数据中存在人类专家可以判断出的显著性特征，而这依赖于已有的先验可解释的特征工程，如时域冲击、频域谱线、时频故障区域，以及其他领域专家故障判定方法。比如，当微弱故障信号中不存在时域冲击等明显故障特征时，很难直接从原始的时间序列信号中挖掘出人类专家可理解的显著性特征，虽然依然可以得到显著性区域，但显著性区域不一定与反应微弱故障特征的时域冲击、时频谱线相对应。由于显著性分析方法是在计算机视觉领域中借鉴过来的，本身对图像任务更具有优势，因此，此类方法适用于可以将工业数据转换为相应可解释图谱作为诊断依据的场景之中。

4

基于规则提取的归因解释

4.1 规则提取的观点与作用

数据驱动的智能模型(如深度神经网络)在工业故障诊断中能够取得高精度和良好性能，然而，其复杂的内部结构难以解释。为了使工业系统使用者理解和信任“黑箱”模型，基于规则提取的模型可解释方法旨在以符号化语言揭示模型中的隐含知识，并解释智能网络模型做出决策的具体过程。具体而言，它以已训练的复杂模型为基础，生成可解释的符号描述或具有可解释结构的简单模型(如决策树)，使其具有与原始模型相近的决策性能，同时易于使用者理解。此外，所提取的符号化规则可运用于系统运行追溯、容错控制、系统可靠性和敏感性分析等方面。

所谓规则，即一种符号化语言，其表示形式易于使用者理解。在现有从智能模型中提取规则的文献中，规则的表示形式主要分为。

(1) if-then规则：假设输入 X 满足所给定条件 C ( i )， 则输出 Y 将标记为特定类别 y ( i ) ，如式(13)所 示

(2) 部分集规则：当输入满足元素个数为N的条件集合中的M个条件时，布尔表达式Z成立，如式(14)所示。在一定条件下，其形式可转换为if-then规则

(3) 决策树规则：在机器学习和数据挖掘中，树结构被广泛运用于分类和回归问题。决策树采用“白盒”系统，其结构自然具备可解释性。因此，可利用决策树规则提取模型中的隐含知识。一个简单的决策树规则示例如图6所示，其表示基于方均根值(Root mean square，RMS)和频谱特征将转子状态划分为三类的决策过程。

利用符号化规则解释智能模型的关键在于从已训练的网络中提取规则。目前，运用于工业智能故障诊断系统的规则提取方法尚未取得广泛研究。根据所提取规则是否涉及到具体神经元，可将规则提取方法划分为结构性规则提取和功能性规则提取。

4.2 规则提取方面的研究工作

4.2.1 结构性规则提取

结构性规则提取关注训练后神经网络的具体结构，将整个神经网络分解为若干神经层，并提取各层神经元和其后一层神经元映射间的符号化规则描述。最后，对各层间所提取的规则进行整合，用于表示整个神经网络的综合运算逻辑。结构性规则提取的整体流程如图7所示。其中，深色的神经元和权重连接表示其处于激活状态。输入层到隐藏层以及隐藏层到输出层的规则集合可从激活的神经元和权重连接中提取，融合两个规则集合表示整体网络。

结构性规则提取方法通常根据神经元的激活强度、权重大小或梯度，从多层感知机、深度置信网络、极限学习机等机器学习模型中提取模糊规则集。在工业故障诊断中，WONG等提出了一种模糊极限学习机模型，将模糊隶属函数、规则组合矩阵和任意项矩阵嵌入极限学习机中的隐藏层。模糊if-then规则可通过规则组合矩阵制定，并采用一种任意项技术最小化规则集中输入属性的数量。最后，根据极限学习机的输出权重可以形成每一项规则的目标类别和置信因子。所提取的规则集在真实水循环系统的状态监测问题上取得了91.22%的精度，在不影响精度的条件下产生了可解释的规则。YU 等将置信度和分类规则集嵌入深度置信网络，并提出了一种分层知识提取算法，学习受限玻尔兹曼机的特征表示。此外，从数据中提取的规则进一步嵌入网络的分类层，从而构建振动信号与齿轮箱故障间的复杂映射。WU等针对工业机器性能退化监测问题，提出了一种基于聚类的隐马尔可夫模型来学习各个关键性能指标与剩余使用寿命之间的映射，并建立了一组可解释的语义规则集来分析性能下降的根本原因。方法在航空发动机数据集PHM08上进行了试验，结果表明模型在保持高预测精度下能够推理出整体性能劣化的根本原因。STEENWINCKEL等结合知识驱动和数据驱动的异常检测模型，以增强模型的表示能力。同时，根据检测到的故障或异常反馈，知识驱动方法利用语义规则挖掘，将生成新的规则，用于知识驱动检测模型的自动更新。

4.2.2 功能性规则提取

不同于结构性规则提取方法，功能性规则提取方法并不对神经网络的具体层级结构进行规则挖掘和综合规则整合，而是将神经网络看作一个整体，更注重所提取的规则关于原始神经网络的复现能力，即提取的规则在功能上可以替代原始网络。具体而言，将一个实例输入已训练的神经网络，将输出该实例的判别结果。此判别结果在一定程度上反映了模型在输入空间中该实例点的响应特性。若输入实例充分、均匀地分布于整个输入空间，则从输入实例-判别结果集合中提取的规则能够近似描述原始网络的功能。

南京航空航天大学陈果等深入研究了基于神经网络的功能性规则提取方法，并在航空发动机上提取了多类故障诊断知识。文献利用首先利用粗糙集理论实现连续属性的离散化，然后结合遗传算法训练结构自适应神经网络模型，最后对训练后的网络按属性数目由少到多的方式进行分层，在每层中穷举组合以提取规则。方法在航空发动机转子碰磨故障样本中有效提取了碰磨故障诊断规则。在此基础上，文献在多功能转子试验台模拟了不平衡、油膜涡动和碰磨等多类故障样本，从中提取了各类故障的可解释诊断规则。文献采集了实际航空发动机油样光谱样本，并利用功能性规则提取方法获取发动机磨损故障的诊断规则，提高了神经网络的知识挖掘和推理解释能力。此外，BHALLA等将输入空间划分为若干子区域，对每个子区域生成一个线性函数，使得该函数逼近隐层单元激活函数，最终获取简单和易于解释的分段线性规则集合。所提取的规则在变压器早期故障诊断案例中取得了与现有诊断标准相当的诊断精度。

4.3 规则提取的优势与不足

规则提取方法将嵌入在训练后的神经网络模型中的知识转换为简明的符号化规则，一方面帮助系统用户明确理解网络结构，便于使用者信任模型。另一方面，提取的规则简化了深度模型的复杂推理过程，避免模型过拟合于特定场景下的训练数据，有利于提高模型的泛化能力。然而，规则提取过程复杂多样，目前已有的规则提取算法主要应用在浅层模型，难以提取深度网络的符号化规则。若将规则提取方法简单应用于拥有若干隐藏层的深度神经网络而不施加任何约束条件，将消耗大量时间，且所提取的规则集仍具有复杂的因果关系，从而失去了规则的可解释性。

5

基于代理模型的归因解释

5.1 代理模型的观点与作用

为了将深度AI模型中的非线性高维特征空间简并到线性低维空间中进行理解，代理模型提出了一种逼近的观点。神经网络得益于其万能近似能力，理论上能以任意精度逼近两个空间上的函数或算子，代理模型则利用白箱模型(如线性模型、决策树等浅层模型)再次逼近神经网络的函数关系，实现对原函数关系的近似的全局近似或局部近似，逻辑关系如图8所示。基于这种“代理模型近似黑箱模型，黑箱模型近似真实函数”的逼近观点，代理模型可以充分利用现有的可解释机器学习模型，实现对黑箱模型中特征的归因分析。

当前常用的代理模型有两类：模型无关的局部可解释模型(Local interpretable model-agnostic explanations，LIME)和沙普利加性解释模型(Shapley additive explanations，SHAP)，这两种方法从不同的角度建立代理模型。对于LIME方法而言，首先会预定义一个可解释的函数空间(如线性模型、决策树等)，然后从原数据集中挑选一个样本并对该样本进行扩充得到摄动分布，最后在该摄动分布的基础上，从预定义的函数空间中选择出既具有良好逼近性质又复杂度低的近似代理模型，其中，局部解释的含义是对某个样本的摄动邻域分布找到近似线性模型，而不是对全体样本下的黑箱模型寻找其近似模型。LIME的公式表达如下

式中， f : X→ Y 是在全体数据集上训练的黑箱模型， g ∈ G 是可解释函数空间 G 中的函数实例， x 是输入样本空间 X 中的一个样本， 是对样本 x 进行数据扩充后得到的摄动分布， 衡量了在摄动样本分布上 g 与 f 的泛函距离， 衡量了函数g的复杂度， 为最终构建的代理模型 。

对于SHAP而言，构建了一个特征归因分析的加性模型 ，其中 x 是一个样本， a (

SHAP方法利用沙普利值计算对特征 的归因值，定义了在局部样本集上的特征子集的边际贡献值，公式如下

式中， 是所有输入特征的集合， 是 的子集， 表示去掉特征 l 后的剩余特征集合， 表示黑箱模型在输入特征子集为 时的预测值，可以看出，求某个样本的某个特征 i 的SHAP值需要遍历该样本的所有特征子集的边际贡献，再求均值。

5.2 代理模型方面的研究工作

在LIME方法方面，2020年BAPTISTA等利用LIME方法对用于剩余寿命预测的GRU模型进行局部解释，首先利用含标签数据对GRU模型进行监督训练，从而得到GRU模型的有效预测值，将该预测值与输入数据成对输入到LIME的生成框架中，利用LIME方法在预定义的线性函数空间中选择出既具有良好逼近性质又复杂度低的近似代理模型，最后分析该线性模型的特征重要性。2020年SERRADILLA等结合ELI5的全局解释能力和LIME的局部解释能力，对用于剩余寿命预测的XGBoost、随机森林等回归器模型进行归因分析，其中ELI5通过对样本特征进行置换，在全体样本的情况下对特征重要性进行排序，而LIME通过对局部样本构建摄动邻域分布，学习出线性代理模型。该工作引申于Zadeh不相容原理，即随着系统复杂性的增加，对其行为的建模精度与理解程度会逐渐下降，甚至会相互排斥。2022年SANAKKAYALA等利用STFT对轴承振动信号进行预处理，输入到CNN中进行故障预测，并用LIME方法分析输入信号频谱图中的关键故障成分。2022年，PROTOPAPADAKIS等在N-CMAPSS高维数据集上验证了LIME方法的可行性，试验结果表明，LIME方法在高维数据问题上的可解释性依旧是困难的，即线性模型难以近似高维数据中隐藏的强非线性。

在SHAP方法方面，2022年GUPTA等利用SHAP方法对基于自编码器的异常检测模型进行归因分析，其中，自编码器的输入为监测变量，输出为重构监测变量，通过计算重构误差判断是否发生异常，在此基础上，计算输出重构变量对重构误差的Shapely值，从而分析监测变量对机械健康状态的边际贡献。2022年MARTAKIS等将SHAP方法应用于桥梁结构健康监测的一分类SVM的归因分析，首先利用无标签数据训练SVM一分类模型实现异常检测，然后利用XGBoost模型近似SVM的预测值得到含标签数据对，再用SHAP方法对XGboost的决策进行特征重要性排序，并在Shapely值的基础上计算模型决策轨迹，增强SHAP的解释能力。2022年BAPTISTA等根据剩余寿命预测问题的时序特性，将SHAP方法与预后问题中常见的单调性、趋势性、可预测性(方差)等性质结合，分析了三种黑箱模型的特征Shapley值在寿命周期的演化规律，模型复杂度最低的线性模型具有最差的预测能力但同时具有最单调的Shapley值轨迹，验证了可解释诊断中的一个常见假设，即黑箱模型的复杂度是影响其可解释性的重要因素。2021年NOR等将不确定性量化和SHAP方法结合应用于剩余寿命预测问题中，在实现预测值分布估计的同时，对特征重要性进行归因分析，并在的扩展工作中增加了一致性和局部准确率两个指标评估Shapely值的解释性。2022年MOVSESSIAN等在风电叶片损伤检测问题上，利用SHAP方法分析环境与操作变量对损伤指标的影响，这有助于理解环境与操作变量引起的假阳性和结构损伤引起的真阳性之间的区别，进而减少变工况引起的虚警。

有部分工作将LIME方法与SHAP方法进行对比分析或结合使用。2020年JALALI等对比分析了LIME、SHAP、Attribute-wise三种可解释性技术在智能诊断模型中的应用，在C-MAPSS上的试验结果表明大多数的黑箱模型在这三种方法下的解释是一致的，即这三种方法对不同黑箱模型的特征重要性排序是一致的，但只有LIME方法能有效分析LSTM、GRU这种时序预测模型。2021年ONCHIS等将LIME方法和SHAP方法结合，对用于桥梁损伤检测的神经网络进行特征重要性排序，并针对LIME局部可解释内在的不稳定性问题，提出了一种基于条件数的指标对LIME结果的可信度进行判断，若超出阈值则重新调用LIME方法生成可信的线性代理模型。

5.3 代理模型的优势与不足

代理模型的优势是能充分利用现有浅层模型的可解释性，但在处理高维输入或高维特征量方面存在显著短板。对于LIME方法，其局部解释能力需要构建单个样本的邻域分布，但构建这种“伪样本”对于高维数据来说是困难的。对于SHAP方法而言，高维问题更加突出：① SHAP需要遍历特征集合的所有子集，这种指数计算时间的遍历，对于高维输入特征而言，计算成本非常高(当然有很多方法来缓解这个问题，比如TreeSHAP，其计算复杂度为多项式时间)；② 由于SHAP需要计算特征子集的黑箱预测值，要求黑箱模型接受子集作为输入，这导致黑箱模型的输入有“missing”特征，如何对高维数据的“missing”值填充也是一个开放问题。

另一个理论问题在于代理模型是否能以任意精度逼近黑箱模型。神经网络在理论上能以任意精度逼近原函数，但在实际中逼近精度会受神经网络设计的限制，而代理模型通常为线性模型或加性模型，其模型容量有限，对黑箱模型的逼近能力尚缺少坚实的理论支撑。

6

案例分析

本节将通过案例分析对上述四种归因解释技术在故障诊断中的效果进行描述，其中，对注意力机制、规则提取进行了试验分析，对显著性分析、代理模型进行了文献案例分析。

6.1 注意力机制的案例分析

本文通过一个基于注意力可视化的案例展示深度模型的决策逻辑。案例使用的试验数据来源于凯斯西储大学轴承数据中心。试验台采集的振动信号数据包括四种状态，分别是健康状态、内圈故障、滚动体故障、外圈故障。本案例选择驱动端振动传感器采集的数据，采样频率为12 000 Hz，轴承信号为SKF6205。为简化试验，案例仅使用电动机负荷为0的振动信号，转速为1 797 r/min。为便于对注意力的分布进行解释，案例应用包络谱作为模型的输入。对于四种状态的轴承数据，使用滑窗选取55段信号，每段信号包含12 000个点，也就是1秒的数据。随后计算段信号的包络谱，并把0到2 000 Hz的频率幅值作为样本输入到模型中进行训练，即输入维度为1×2 000。80%的样本被用作训练集，其余样本为测试集。本案例使用的模型是Transformer网络，前述的研究表明其内部的自注意力机制针对振动信号具备良好的可解释。网络的具体设计参照了LI等的工作中的比较模型标准Transformer，超参数设置均与其保持一致。代码在Python 3.8和PyTorch 1.8环境下编写，试验在Windows 10系统和GeForce RTX 3070 GPU上实现。

由于该数据集的四种故障是极易区分的，所以模型在测试集上的准确率为100%。本案例将注意力权重映射到输入振动信号生成热图，解释模型的决策依据。根据轴承关键频率的计算公式，该案例中的转频、内圈故障频率、外圈故障频率和滚动体故障频率大致分别为30 Hz、162 Hz、108 Hz和141 Hz。图9展示了四种状态的注意力热图，最右侧是注意力权重的颜色条。在每张图中，每段振动信号的颜色由注意力权重值决定。权重越高即对应振动信号颜色越深，表示越受模型关注。为便于展示，横坐标设置为0到1 000 Hz，振动信号的幅值和注意力权重均被归一化在0到1范围内。对于正常信号，图9标记了旋转频率及其倍频的位置，而对于故障信号，图9标记相应的故障频率及其倍频的位置。可以发现，对于正常状态的轴承，包络谱中仅有明显的转频，其无法作为区别四种故障类别的鉴别特征，因此模型选关注一些高频的噪声段。而对于故障状态的轴承，高注意力权重大多集中在能反映故障类型的频带附近。至于滚动体故障，由于包络谱相应的故障频率不过明显，模型不能完全关注相应频带，但仍然能关注附近的频带。综合来看，自注意力机制能够辅助模型学习可鉴别的故障特征，大致符合人对轴承故障状态的判断规律，增强了模型的可解释性。

6.2 显著性分析的案例分析

图10为文献中对凯斯西储大学轴承数据集外圈故障时域信号使用ResNet模型与Grad-CAM方法进行显著性分析的归因解释所得的热力图。由于外圈故障信号存在明显的时域冲击信号，也即时间序列信号中存在明显的与故障相关的显著性特征，因此，此种类型的信号尤其适用于显著性方法的归因解释。从图中可以看出，神经网络对外圈故障信号样本的激活程度权重颜色更热的部分集中在时域信号的冲击附近，说明网络的关注点在信号的冲击成分，网络也通过此冲击成分分类出外圈故障，这与人类专家关于轴承外圈故障特征的认知相符合，进一步阐述了显著性分析方法对模型分析可以得到正确的归因解释。

6.3 规则提取的案例分析

本文进一步分析了如何应用功能性规则提取方法，以期从已训练的神经网络中发掘可解释的故障诊断知识。数据和模型仍然选用凯斯西储大学轴承数据和上述Transformer网络。经模型训练后，在测试阶段可获取该模型对于49个正常样本、25个内圈故障样本、25个滚动体故障样本和25个外圈故障样本的诊断预测结果。经过频谱分析和归一化处理后，可获得5类特征属性，即：1/2转频(1/2X)、转频(X)、二倍频(2X)、三倍频(3X)和四倍频(4X)。经过数据离散化分析，5类属性的断点如表1所示。其中，三倍频(3X)的断点为0.050，表明该断点将此属性划分为两类。四倍频(4X)的断点为0.007和0.022，表明断点将该属性划分为小于0.007、0.008～0.022和大于0.022三类。不考虑其余属性对故障诊断的影响。因此，所提取的规则集如表2所示。

从表2可以看出，规则在一定程度上反映了外圈故障、滚动体故障和内圈故障的特征。其中，规则1表明正常样本的三倍频比故障样本的三倍频更为明显，49个示例样本全部满足该条规则，该规则的置信度为1。规则2表明，当样本的三倍频和四倍频皆较小时，为外圈故障。在25个示例样本中，共有23个样本满足该规则，置信度为0.92。规则3表明当三倍频较小、四倍频在0.007和0.022之间时，为内圈故障。在25个示例样本中，共有20个样本满足该规则，置信度为0.8。规则4表明当三倍频较小、而四倍频较大时，为滚动体圈故障。在25个示例样本中，共有18个样本满足该规则，置信度为0.72。该案例展示了规则提取方法可以将复杂模型学习到的难以解释的诊断知识转化为可解释的规则，提升了模型的可解释性。

6.4 代理模型的案例分析

参考文献将SHAP方法应用于凯斯西储大学轴承故障诊断中，并对高维数据问题进行了两处改进。① 将时域信号转换到频域或时频域，在特征相对稀疏的频域或时频域计算Shapely值，并且完全可逆的变换保证了信息的完整性；② 相比于计算谱图的每条谱线的Shapely值，该方法将谱图进行了划分，例如将频谱图划分为等距频带或自适应频带，将该频带作为计算Shapely值的特征。基于上述两处改进，该方法在高频轴承数据上进行SHAP分析的流程如下：① 将时域信号转换为谱域信号，然后将谱域信号进行谱带划分，每个谱带赋予独立编号、并被视为特征属性；② 随机置换谱带、并进行拼接，构成待分析样本集；③ 将置换、拼接后的谱域信号再变换为时域信号，输入到神经网络中，计算相应的Shapely值。该方法的好处是可以对谱带进行自适应划分，细化Shapely值的分析粒度。如图11所示，将时域信号转变为频域信号，计算自适应频带的SHAP，绝对值越大表明该频带的边际贡献越大，正号表明正相关，负号表明负相关。其中，图11上图为神经网络输入信号，左下图是完整频域及对应SHAP值图，右下图是感兴趣频带及SHAP值图。

7

潜在研究方向

可解释性是工业智能诊断领域必然面临的问题。虽然当前已有部分工作针对该问题开展研究，但总体仍处于起步阶段，如何赋能实际工业应用依然是一个开放性的问题。下列关键方向可能有助于解决上述问题。

7.1 可解释性的量化评估标准

可解释性反映了训练后的模型以人类可理解的方式解释其决策过程的能力。因此，可解释性的量化有利于比较和评估模型在工业故障诊断等安全关键领域的适用性，以选择便于用户信任的模型。然而，可解释性在不同的任务和应用场景下难以进行统一描述。现有可解释性量化方法主要应用于规则提取方法，即根据模型所提取规则集的复杂度和语义关系进行可解释量化。文献假设模型的可解释性与规则集的复杂性呈负相关关系，并通过计算规则数量和约束条件量化可解释性。文献认为可解释规则应在语义上具有高度一致性和较小的冗余性，并构造语义指标衡量可解释性。此外，显著性分析方法可通过计算响应与真实标签间的交并比衡量模型可解释性。然而，现有模型可解释性的量化方法只适用于特定领域，建立一套统一的模型可解释性的量化评估标准对于工业系统模型选择具有重要意义。

7.2 可解释反馈模型设计的自动化

要求模型可解释的一个本质目的是反馈人类专家进行模型设计。因此，如何将模型可解释见解反馈至模型的自动化设计是一个重大挑战。虽然事后方法可以帮助解释模型的内部工作原理，但它们并不能提供有关如何提高模型性能的见解。因此，需要能够从一开始就向模型设计者提供有关如何使其模型更具可解释性的反馈的方法，这需要更深入地了解使模型可解释的原因。此外，模型的自动化设计过程涉及到基准和评估指标，以量化模型的可解释性来提供自动化优化设计方向。

7.3 模型复杂度和可解释性的平衡

理想情况下，工业系统要求模型做出准确决策的同时具备可解释性。然而，这两项目标是相互矛盾的。一方面，若一昧追求性能，模型结构将过于复杂，使其难以被人们理解。另一方面，增加模型的可解释性通常会导致模型的性能下降。例如，基于规则提取和代理模型的模型可解释方法往往将复杂的深度模型简化为简单的规则集合或浅层模型。因此，如何平衡模型性能和可解释性是工业故障诊断领域的关键挑战。研究者应根据实际应用，在可解释性和模型性能之间提取出最佳的平衡原则，在满足精度要求的条件下解释模型的工作原理。

7.4 工业智能诊断归因解释分析中的高维特征工程

对于事后XAI的特征贡献分析，输入数据的特征工程也是一个重大挑战。从本文中也可以看出，故障诊断领域中，使用频谱或时频图的数据更容易实现事后的XAI。因此，在特征工程方面，了解需要什么类型的输入数据才能实现良好的可解释性至关重要。这需要对数据和模型有很好的理解，以及设计合适的算法来提取相关特征。通过这样做，可以提高模型的可解释性，同时提高其准确性。一个好的特征可以很好地帮助人类专家进行重要性的分析和解释，以便更好地理解深度学习模型的行为。

8

结论

本文以工业智能诊断中的可解释性问题为中心，从全局-局部解释、主动-被动解释出发，分析了归因解释技术在工业智能诊断中的应用前景，并对现有工作进行总结。首先讨论了工业智能诊断中XAI技术面临的问题，概述了归因解释技术的主要观点；然后，从注意力机制、显著性分析、规则提取、代理模型四个方面分析了当前工作的主要贡献，概述了实现归因解释技术的不同方法视角，总结每个分类的优势与不足。当前工业智能诊断中的归因解释技术处于基础阶段，依然存在很多值得研究的方向，本文探讨分析了可解释性的量化评估标准、可解释性自动化反馈模型设计、模型复杂度与可解释性的平衡、工业诊断中的高维问题四个方向，是值得重视的研究领域。

作　　者：严如强

责任编辑：赵子祎

责任校对：恽海艳

审　　核：张　强

JME学院简介

JME学院是由《机械工程学报》编辑部2018年创建，以关注、陪伴青年学者成长为宗旨，努力探索学术传播服务新模式。

欢迎各位老师扫码添加小助理-暖暖为好友，由小助理拉入JME学院官方群！

欢迎关注JME学院视频号~

寻觅合作伙伴

有一种合作叫做真诚，有一种发展可以无限，有一种伙伴可以互利共赢，愿我们合作起来流连忘返，发展起来前景可观。关于论文推荐、团队介绍、图书出版、学术直播、招聘信息、会议推广等，请与我们联系。

感谢关注我们！《机械工程学报》编辑部将努力为您打造一个有态度、有深度、有温度的学术媒体！

版权声明：

本文为《机械工程学报》编辑部原创内容，欢迎转载，请联系授权！

在公众号后台留言需要转载的文章题目及要转载的公众号ID以获取授权!

联系人：暖暖

电话：010-88379909

E-mail：jme@cmes.org

网 址：http://www.cjmenet.com.cn

官方微信号：jmewechat