基于卷积神经网络的机械故障诊断技术综述

汪祖民，张志豪，秦 静，季长清，3*

（1.大连大学信息工程学院，辽宁大连 116622；2.大连大学软件工程学院，辽宁大连 116622；3.大连大学物理科学与技术学院，辽宁大连 116622）

0 引言

机械设备在现代工业中扮演着重要的角色，机械设备的故障会造成严重的经济损失，甚至会导致灾难性的后果。故障诊断对于提高机械的安全性和可靠性、降低运行维护成本方面具有非常重要的作用。由于现代状态监测技术已经能够实现复杂设备在多个测点和整个全寿命的数据采集，检测系统将获得海量的数据，导致机械设备故障诊断领域进入了大数据时代。因此，大数据下的机械设备的故障诊断就显得尤为重要。

机械故障诊断的发展过程大致经历了三个阶段，即基于物理模型的方法阶段、基于信号处理的方法阶段、基于数据驱动的方法阶段。基于物理模型的方法主要是获取设备上的数据信号，并用最初建立的模型对数据处理结果进行分析，从而得到机组的故障诊断情况；但通常需要深入了解机器的工作机理，难以建立起现代复杂机械设备的精确物理系统，特别是在动态、噪声大的工作环境下。基于信号处理的方法旨在探索先进的信号去噪和滤波技术，突出故障特征信息；但特征频率的计算往往需要相关的设备知识，实体故障表征理论和数学基础是其前提。在不了解系统的学习和物理模型的情况下，采用数据驱动技术的诊断方法，仅利用检测到的状态监测信号或结合历史数据，分析提取特征信息，对系统进行故障诊断和性能评估。该方法即不需要大量的领域专家知识和知识的表达式推理机制，也不需要建立精确的复杂系统模型，但常常需要大量的精确数据。

作为数据驱动方法的典型代表，机器学习在故障诊断领域有广泛的应用，例如Rauber 等设计了基于26 个统计参数、72 个包络特征和32 个小波包特征的原始特征向量，然后使用支持向量机（Support Vector Machine，SVM）识别轴承故障。Chine 等计算出若干特征参数，并利用人工神经网络对光伏系统进行故障诊断。文献［7］提出了一种新型的模糊神经数据融合引擎，用于在线监测与诊断。尽管机器学习模型，如SVM、人工神经网络（Artificial Neural Network，ANN）、聚类算法、遗传算法和模糊推理等，能够部分地满足故障诊断和识别的需要，但在运行期间机械设备负荷的变化会影响模型的泛化能力。

作为机器学习的分支，深度学习能够自动地从大量数据中提取特征，满足机械故障诊断对自适应特征提取的要求，有效地克服了传统人工提取特征泛化能力差、鲁棒性差等缺点，降低了传统故障诊断方法在人工设计和提取过程中的不确定性。近几年来，不同的深度学习模型，如堆叠自动编码器（Stacked Auto Encoder，SAE）、深度置信网络（Deep Belief Network，DBN）、递归神经网络（Recursive Neural Network，RNN）、卷积神经网络（Convolutional Neural Network，CNN）等，在机械故障智能诊断中得到了越来越广泛的应用。

1 基于CNN的机械故障诊断

CNN 作为一种有监督的深度学习算法，由LeCun 等首先提出，并采用误差梯度算法对模型进行优化。目前已有许多经典的网络模型，如LeNet-5、AlexNet、VGG（VGGNet）、ResNet、GoogleNet等。迄今为止，CNN 在图像分类、目标检测、图像语义分割等方面都取得了一系列突破性的研究成果。与其他深度学习算法不同，CNN 具有稀疏连通（或局部接受域）、共享权值和池化（空间二次采样）三个显著特征。它减少了维数采样，降低了数据在时间和空间上的维数，减少了训练参数的数量，降低了网络的复杂度，有效地避免了算法的过拟合。与此同时，它对其他形式的转换（例如缩放、倾斜和移动）具有不变性，因此使得构建处理海量数据的深度学习框架成为可能。

振动信号分析是基于卷积神网络的机械故障诊断中最常用、最有效的方法。一般情况下，基于CNN 的机械故障诊断可归纳以下三个步骤：

1）数据采集（预处理）。从有关机械设备上收集大量监测数据，并对振动信号进行处理，提出了许多处理振动信号的方法，如统计分析、傅里叶变换、小波变换、经验模式分解和最近发展的稀疏表示等。

2）特征提取。根据任务需求设计并构建卷积网络模型进行特征提取。

3）模式分类（故障识别）。通过学习分层和高维特征，自适应地描述机械状态。在此基础上，根据提取的特征进行故障分类和剩余寿命预测（Remaining Useful Life，RUL）等决策。实现了故障诊断的三个基本任务：①判断设备是否正常；②找出故障产生的原因；③预测故障发展趋势。

2 基于CNN的机械故障诊断应用

2.1 基于数据输入类型的CNN机械故障诊断应用

2.1.1 二维卷积神经网络的机械故障诊断应用

最初，机器故障诊断所使用的卷积网络是模拟图像处理的二维结构。因为机械数据在几乎所有的情况下都是一维的时间序列，所以它的基本思想是在这种情况下将一维数据转换成二维数据的格式。相关文献的具体描述见表1。

表1 基于二维卷积神经网络的故障诊断模型Tab 1 Fault diagnosis models based on two-dimensional convolutional neural network

Chen 等将水平和垂直方向的振动数据融合成二维矩阵，提出了一种深度CNN（Deep CNN，DCNN）来识别齿轮箱健康状况。Guo 等通过将输入的时间序列数据转换成32×32 的矩阵，提出了一种层次式自适应DCNN，该神经网络采用自适应学习率来考虑收敛时间和误差损失，而非全局恒定学习率。You 等使用SVM 作为CNN 提取特征的分类器，对旋转机械进行故障诊断。通过考虑工业信号的特性，Yang等将多源振动信号转化为二维矩阵，提出了基于CNN 的往复式压缩机故障诊断方法，该方法利用多个传感器采集的多源原始振动信号作为输入，利用设计的神经网络进行特征提取和分类，不仅具有良好的故障识别效果，而且具有一定的抗噪性能。这些文献以二维格式直接对原始机械数据进行排列，作为模型输入。

Wang 等提出了一种转换方法从多个传感器转换到图像的振动信号，该方法可以在没有繁琐的参数调整的情况下获得不同故障类型的特征映射；还构造了瓶颈层优化卷积神经网络，在风电实验台和离心泵实验台的两个实验中取得了很好的效果。Weimer 等详细研究了用于视觉缺陷检测的DCNN 的各种设计配置，实现了一种特殊应用：工业光学检测，它研究了模型结构的两个方向，包括深度（增加的卷积层）和宽度（增加的过滤器数量）。Sun 等提出了一个两阶段的故障自动识别系统（Automatic Fault Recognition System，AFRS），第一阶段采用基于CNN 模型的“粗—精”方案，对侧框架键（Side Frame Key，SFK）和轴螺栓（Shaft Bolt，SB）的目标区域进行同时检测；第二阶段则建立多故障判定的CNN模型，对SFK 和SB 目标区域的典型故障进行判定。Hoang等提出了一种基于CNN 的滚动轴承故障诊断方法，该方法将一维振动信号转化为二维图像，不需进行降噪处理，就能有效地对噪声环境进行分类，具有一定的鲁棒性和容错能力。这些文献采用一维机械信号转换成像素格式的图像作为模型输入。

此外，Tian 等提出了具有免疫算法的DCNN 用于滚动轴承故障诊断，该方法利用DCNN 提取滚动轴承的时域和频域信号的特性，实现从原始数据到诊断结果的直接映射。在检测阶段，通过比较时域和频域诊断结果来确定故障类型；在学习阶段，通过克隆策略和连续突变操作来改善学习未知故障的效率。Janssens 等使用二维CNN 模型来识别四种旋转机械状态，以两个振动信号的离散傅里叶变换作为CNN的输入对旋转机械的故障进行了分类，并与人工设计的故障进行了比较。Xu 等提出了一种基于DCNN 和随机森林（Random Forest，RF）集成学习的轴承故障诊断方法。首先，利用连续小波变换将时域振动信号转换成包含丰富故障信息的二维灰度图像；其次，建立了基于LeNet-5 的CNN 模型，从图像中自动提取对故障检测敏感的多级特征；最后，利用包含局部和全局信息的多层次特征，通过RF 分类器的来诊断轴承故障。上述文献使用了时域或频域的统计数据作为卷积网络的输入。

基于二维卷积神经网络的机械故障诊断可以找到非相邻区间信号的相关性，提取原始数据的二维特征，减少了噪声的干扰，提高了故障诊断的准确性；但将一维信号转变为二维特征图时仅保留了信号的幅值信息而丢失了相位信息，导致对振动信号特征利用不充分，使得网络结构冗余训练时间长，降低了故障诊断性能。

2.1.2 一维卷积神经网络的机械故障诊断应用

除了二维卷积网络故障分类外，更直接的方法是建立一维卷积诊断模型，对原始时序数据进行处理。相关文献的具体描述见表2。

表2 基于一维卷积神经网络的故障诊断模型Tab 2 Fault diagnosis models based on one-dimensional convolutional neural network

Jing 等构造了CNN，它从齿轮箱采集的振动信号频谱中学习深度特征。与其他数据类型相比，该方法具有更好的结果和更高的准确率，实现了对齿轮箱故障的诊断。Eren等开发了用于实时轴承故障诊断的紧凑自适应一维CNN。这种方法无需任何预定的变换，且经济高效。针对异步电动机故障诊断，Huang 等在传统卷积网络的前端增加了多尺度级联层，提出了一种利用多尺度信息进行轴承故障诊断的CNN 方法，该方法比一般的神经网络更有效。Han等提出了一种用于行星齿轮箱故障诊断的具有扩大感受野的增强卷积网络，该方法通过两次扩大感受野来增强故障特征学习能力，在行星齿轮箱故障诊断中取得了比传统深度学习方法更高的诊断准确率。通过对异步电机的实验，Park等提出了一种基于特征继承层次CNN，该神经网络由故障诊断部分和严重性估计部分组成，严重性估计的正确率达60%。通过将CNN 和长短期记忆（Long Short-Term Memory，LSTM）网络结合起来，Pan 等提出了一种改进的轴承故障诊断方法。以振动原始信号为训练模型，Qian 等构造了一种用于轴承故障诊断的自适应重叠神经网络。Chen 等利用一维CNN 学习原始振动信号中的特征，并将其输入到双向LSTM 网络中，用于刀具磨损状态的识别。上述文献直接从原始数据中学习特征，从而摆脱了对先进信号处理技术和领域专家先验知识的依赖。

基于一维卷积神经网络的机械故障诊断仅需一维卷积（标量乘和加法），直接应用原始数据（信号），不需要进行任何形式的变换，在获得更好的分类性能的同时，计算复杂度也大幅降低，因而具有实时检测的能力；但是振动信号通常含有很强的背景噪声，常常难以得到完整的故障特征，影响故障识别的准确率。

2.2 基于迁移学习的CNN机械故障诊断应用

对于现实环境中的某些机器，要获取大量的标签数据是非常困难的。另外，即使标记数据可以从某些机器上获得，但由于数据分布的不同，用该标记数据训练的智能故障诊断方法可能无法对从其他机器上获得的未标记数据分类。这就限制了智能故障诊断在无标签数据中的应用。在机械故障诊断中，尤其是在深度卷积网络的应用中，迁移学习（Transfer Learning，TL）和域自适应技术已经被引入。基于迁移学习的故障诊断模型具体描述见表3。

表3 基于迁移学习的故障诊断模型Tab 3 Fault diagnosis models based on transfer learning

Hasan 等利用声发射信号的声学频谱图像反映机械健康状态，提出了一种基于前训练CNN 的变转速条件下轴承故障诊断的参数转移学习方法。Cao 等提出了一种基于DCNN 的迁移学习方法，该方法主要由两部分组成：第一部分由预先训练的深度神经网络组成，自动提取输入信号中的特征；第二部分为全连通阶段，利用齿轮故障实验数据对特征进行分类。基于深度卷积自动编码网络和自适应非参数加权特征提取聚类算法，Wu 等提出了一种聚类分析的故障诊断方法。聚类分析是分类未标记数据的有效方法。采用带少量标记样本的微调DCAEN（Deep Convolutional AutoEncoding Network）方法提取输入信号的高级特征，实验结果表明，该方法具有一定的优越性。Li 等提出了一种多层域自适应的轴承故障诊断方法，利用多核最大均值差作为测量函数来减小不同区域间的分布差异。Yang 等将CNN与MMD（Maximum Mean Discrepancy）相结合，建立了从实验室轴承到机车轴承的故障诊断转移学习网络，该方法能够有效地学习可转移特征，并且诊断准确率高。将原始振动数据转换成灰度像素图像作为网络的输入，Wang 等提出了用于轴承故障诊断的三重损失引导的对抗性域适应网络，结果表现出更好的性能。Zhong 等提出了一种用于燃气轮机故障诊断的转移学习框架，该框架将CNN 训练成具有有限故障诊断任务的特征学习，并将SVM 作为新的故障分类器进行故障分类。Wen 等将原始的时域信号转换成RGB 图像，并对预先训练过的ResNet-50 进行微调。另外，他们利用负相关学习对多个全连接层进行再训练，并使用预先训练过的ResNet-50 的Softmax 分类器进行故障分类。

基于迁移学习的机械故障诊断实现了无标签数据的机械智能故障诊断，降低了标记数据的采集成本，提高了对未标记的目标数据的诊断准确率，可以有效地弥补不同领域之间的差异；但也存在一些不足，如训练时间长、体系结构过于复杂等。

2.3 基于CNN的剩余寿命预测的机械故障诊断应用

不同于故障分类，健康预测的目标是在未出现明显故障的情况下跟踪机器的退化状态。在机器故障诊断领域，这个分支非常重要，它可以让维修人员做早期的判断和决定，以避免损失和伤害。相关文献的具体描述见表4。

表4 剩余寿命预测的卷积神经网络模型Tab 4 Convolutional neural network model for remaining life prediction

Wang 等提出了一种用于RUL 预测的深度可分离卷积网络，其中来自不同传感器的数据用于训练残差连接的可分离卷积构造块，以进行特征学习。Babu 等利用多变量时间序列构造二维数据矩阵，用来训练CNN 的RUL 估计其CNN 包含两个卷积层和两个全连通层。Al-Dulaimi 等提出了一种用于RUL 估计的混合深度网络框架，在此框架中，LSTM 和CNN 并行布置用于特征学习，而多层全连接网络设计用于特征融合和决策。Li 等利用时间窗方法对多元时间数据进行处理，并在此基础上发展了DCNN 的特征提取与RUL 估计技术。Wen 等提出了深度残差CNN 预测方法，并在该方法中采用了

k

重集法来提高预测精度。Li 等利用使用短时傅里叶变换来处理原始振动信号以获得时频域信息，然后构建DCNN，提取多尺度特征进行RUL 估计。Wang 等和Kong 等采用基于CNN 和LSTM 网络的混合深度预测模型，来评估机械的性能退化。Palazuelos 等介绍了一种用于涡扇发动机退化估计的胶囊神经网络，该胶囊神经网络是从多维传感器数据进行剩余使用寿命预测的一种有前途的方法。

近年来，许多研究员成功地开发了基于卷积网络的预测方法，以解决物理模型和数学模型的通用性差、灵活性和智能化问题。但应该指出，在实际工业中很难获得寿命数据。换言之，通常没有足够的数据来建立一个完整的寿命预测模型，因此如何通过实验或模拟数据建立模型，然后将模型扩展到实际的工业应用中，这是非常重要的。

2.4 整体应用分析

1）从图1 中可以看出，超过80%的文献关注于故障分类任务，寿命预测的应用仅占总数的20%。这种现象可能是因为实现故障分类更加容易和直观，而RUL 常常需要额外的帮助，如建立健康指标和划分健康阶段等。然而，故障分类主要集中在各种故障情况，即机器的最终状态。在这种情况发生之前，设备通常会经历一个退化过程，在这个过程中，要采取可预见的措施，而不能等到故障最终发生，所以RUL 预测是今后研究的一个重要方向，应该给予高度重视。

图1 基于卷积神经网络的机械故障诊断文献分布Fig.1 Literature distribution of mechanical fault diagnosis based on convolutional neural network

2）因为上述文献中提到的几乎所有模型都是在实验或模拟场景中训练和测试的，所以它们可能不适合直接应用于实际工业，因为所获得的数据往往与工业数据有一定的差异。此外，在一些实验验证过程中，还发现训练数据和测试数据甚至来源于同一组实验，由于数据的相似性，可以得到更好的结果，这会使研究人员盲目地相信网络能力。因此，利用合理的实验数据和大量的实际工业数据对强模型进行训练具有重要意义。

3）参数集是影响深度卷积网络性能的关键因素之一。在以上文献中，网络参数（包括架构参数和超参数）的设计和选择主要是设计者的主观决定，还没有形成选择合适参数的具体标准或规则。虽然一组参数不能很好地应用到各种任务中，但模型参数的选择对于模型的可解释性有帮助，也有助于理解CNN 这个“黑匣子”，所以参数选择技巧的研究仍具有一定的意义。

3 挑战与未来发展方向

虽然CNN 在机器故障诊断中取得了一定的进展，但仍有许多方面有待于深入探讨和研究。

3.1 基于数据不平衡的CNN故障诊断方法的应用

大多数CNN 的机械故障诊断研究基于平衡的数据集，而忽略了正常数据和故障数据在实际应用中往往是高度不平衡的。在实际应用中，机械在大多数运行阶段都处于正常状态，并且在运行过程中很少发生故障。所以正常情况下的机械设备样本通常是多余的，而故障情况下的样本很少。这种数据样本的不平衡分布使常规的CNN 容易出现大多数健康状况。因此，对少数群体健康状况的特征了解甚少，导致性能表现下降。尽管有关于不平衡数据的CNN的研究，但这些方法中的关键问题是如何正确确定每个故障类别的成本；然而，在许多工业实际问题中，不同类别误分类造成的实际损失往往难以确定，直接从数据集的分布重新计算少数群体的成本是不够的。因此，在智能故障诊断领域，对CNN 的高度不平衡分类问题还缺乏进一步的研究。

3.2 基于多传感器信息融合的CNN故障诊断方法的应用

由于监测对象日益复杂，状态监测信号具有非线性、时变性和不确定性等特点，当系统发生故障时，往往会出现多种征兆，单靠一种理论方法和信息就很难对故障作出准确判断，并产生不可接受的高虚警概率和漏报现象。另外，不同的测量方法有不同的缺点，而且对不同的损坏类型和运行状况比较敏感。多传感器数据融合的方法综合分析了这些测量结果，可以用来检测复杂系统中的各种故障。尽管已经有关多传感器信息融合的CNN的研究，但多种类型的传感数据融合仍存在诸多问题，这使得多传感器特征提取比单传感器更难。需要花费大量的时间来选择最佳人工或手动特征提取方法，目前还没有针对特定类型感官数据的最佳人工或手动特征提取方法；而且不同的融合水平也有不同的优缺点，对于不同的故障诊断任务，正确的融合往往是不同的。因此，如何有效地基于多传感器数据进行健康状态的诊断，仍是一个复杂的问题和重大挑战。

3.3 基于多尺度的CNN故障诊断方法的应用

由于不同组件和子系统之间存在相互作用和耦合效应，所以安装在机械上测量振动信号的传感器会包含多种固有振荡模式。各种机械旋转和往复运动的频率使测量的振动信号变得复杂。因此，振动信号通常表现出多尺度特性，并包含多个时间尺度上的复杂模式。传统CNN 框架由于缺乏多尺度特征提取能力，不能捕获这种固有的多尺度特征。针对传统架构中特征提取仅处理单一时间尺度的局限性这一问题，多尺度的CNN 故障诊断是基于CNN 的机械故障诊断未来的研究方向之一。

3.4 基于非平稳信号的CNN故障诊断方法的应用

故障振动信号具有非线性和非平稳性，这是由变化的速度和负载以及强烈的环境噪声引起的。在实际应用中，机械设备总是在非静止状态下工作。由于用于分类的信号随运行条件而变化，机械设备在非平稳状态下的故障诊断一直是一个难题。非平稳信号下的CNN 故障诊断也是CNN 机械故障诊断未来的研究方向之一。

4 结语

以深度学习理论为代表的CNN 作为典型的深度学习网络，在机械故障诊断领域的研究和应用越来越受重视。尽管CNN 算法需要真正的大数据集训练，导致特征尺寸与计算量大幅增加，但它可以在没有任何先验知识故障特征频率合适条件的情况下对机械数据进行自适应特征提取，能够很好地处理二维图像和一维时间序列信号，使其成为执行实时轴承故障诊断的有效方法。虽然国内外文献在机械故障诊断方面已经取得了很大的进展，但基于CNN 的机械故障诊断仍存在一些有待于进一步探索和研究的问题，期望提高其在机械故障诊断领域中的适应性，从而使基于CNN 的机械故障诊断具有广阔的发展前景。