基于贝叶斯优化CNN的风电轴承故障诊断策略

常 淼，沈艳霞

（江南大学 物联网技术应用教育部工程研究中心，江苏 无锡 214122）

作为最清洁的可再生能源之一，风能受到世界各国的重视。齿轮箱是风电机组的核心设备，其运转状态关系着整个系统的运行状况，一旦产生故障将产生高额的维修费用和导致长时间的停机，影响风电场的经济效益。及时、准确判断风电齿轮箱故障是保证机组稳定运行、提高风场效益的关键。其中滚动轴承的故障特征微弱，提取困难，对齿轮箱的运作影响巨大，所以研究风电机组滚动轴承的故障诊断方法具有重要的实际意义。

近些年来，风电机组监测设备规模大，信号采集频率高，其故障诊断进入“大数据”领域。基于数据驱动的智能诊断主要是通过支持向量机(Support vector machine，SVM)、人工神经网络(Artificial neural network，ANN)等机器学习方法对经信号处理得到的故障特征进行识别，这些基于模式识别的浅层网络模型表达能力有限，泛化能力较差，对用于特征提取的信号处理技术和专家经验较为依赖。在此背景下，由于深度学习具有表达能力强大、特征提取和模式识别并列进行的特点，其在故障诊断方面的研究和应用受到广泛关注。作为深度学习的典型模型之一，CNN 将卷积操作与反向传播算法相结合，完成卷积核参数自学习训练，可通过局部感知域、稀疏连接和权值共享的方式减少参数矩阵规模[1]，它具有优越的特征提取能力[2-5]，诊断效率高，泛化能力强，在大数据背景下的故障诊断领域尤为适用。文献[6]将CNN 应用于滚动轴承的故障诊断并验证了该方法在噪声环境中的鲁棒性。文献[7]通过正则化权值、加权损失函数等对CNN 模型进行改进，然后对非平衡样本下的滚动轴承故障进行识别；文献[8]将齿轮箱各种故障状态信号的时频域特征作为CNN的输入，构建了一个二维CNN网络并将其用于齿轮箱的故障诊断。文献[9]对振动信号进行连续小波变换，由此得到以灰度图显示的时频图，将其作为故障特征，通过CNN实现滚动轴承的故障诊断。

目前，基于CNN的滚动轴承故障诊断研究已初见成效，但仍存在过拟合、计算量大、超参数难以确定等问题需要深入探索。基于此，本文提出一种基于经贝叶斯优化的改进CNN 模型的风电轴承故障诊断策略。在改进的CNN模型中，利用SGDM算法和BN 处理来加速训练；增加一个新的卷积层用于提取数据深层特征；对目标函数进行改进，新增L2正则项以提高模型泛化能力。此外，考虑CNN模型的超参数对故障诊断的影响，使用贝叶斯优化对CNN 的网络深度、学习率、SGDM 的动量以及正则化强度进行优化。最后，以凯斯西储大学的滚动轴承振动数据作为CNN的网络输入，使用贝叶斯优化器对此CNN模型中的超参数进行优化，并验证得到的CNN模型在故障诊断的有效性。

1 改进的CNN模型

改进的CNN模型如图1所示。结构1中是成对出现的卷积层和池化层，对信号进行信息过滤、特征提取和尺寸压缩，其数量由实际需要决定。结构2是新增的卷积层，位于全连接层之前，用于深层特征提取。

图1 改进的CNN模型

(1)卷积层

卷积层用于故障特征提取，假设其位于CNN网络的第l层，则其输出为：

其中：Zjl为第l层中第j个特征映射，j∈[1,n]，为从l-1层获取的第i个输入特征。Mj表示上一层的第l-1层中的第j个卷积区域，“*”为卷积算子，表示第l层在生成第j个生成特征映射时应用在第l-1层第i个特征输入特征上的卷积核，blj是第l层输出第j个特征映射时的偏置。

为加速网络训练速度并提高网络泛化能力，在卷积计算之后进行BN处理：

式中：μβ是上一层输出数据的均值，σβ是上一层输出数据的标准差，ε是一个极小值，γ、βγ、β为学习参数，为第l层的重构结果。

将进行BN处理后的结果输入ReLU激活函数：

(2)池化层

池化层对卷积层的输出进行压缩：

式中：S是池化层的尺寸为第l+3 层中输出的第j0个特征映射，j0=为第l层的第j个特征映射中第r个神经元的值，r∈[(j0-1)S+1,j0S]。

(3)全连接层

全连接层将先前层在图像中学习的所有特征铺展成一维的特征向量，然后将它们组合在一起，使之前得到的不同类别之间具有区分性的局部特征在全局维度上进行信息整合，实现从特征到样本标记空间的映射，然后使用Softmax 针对每个输入返回的概率，将输入分配到其中一个互斥类并计算损失，本文使用交叉损失熵函数作为目标函数：

式中：A为样本数量，B为类别数，tab表示第a个样本是否属于第b个类别，yab是Softmax 的输出，它表示网络将样本a归为类别b的概率。

考虑CNN 的过拟合问题，引入L2 正则化以优化目标函数。它在保证训练误差尽量小的同时自动调节参数，优化网络结构，同时尽量减小有效权值，提高网络的泛化能力[10]。优化后的目标函数如下：

式中：λ是正则化系数，较大的取值将较大程度约束模型复杂度。ωj是网络层待学习的参数，即卷积核和偏置矩阵的取值。

(4)训练算法

采用SGDM 训练网络，每次从训练集中随机选择一个样本进行学习，计算梯度的指数加权平均数，并利用该梯度更新所取样本的Kij、bj：

式中：η为CNN 的学习率，vK(t)、vb(t)为第t次学习时两个参数的动量：

式中：momentum 为动量，它的取值范围为momentum ∈[0,1 ]。如果t时刻更新的v(t)与上一时刻更新的v(t-1)的方向相同，就会加速，反之则会减速。动量因子的引入可以加快收敛速度，提高训练精度，同时减少收敛过程中的振荡。

使用该CNN模型进行故障诊断之前，需要先确定CNN 网络深度、CNN 的学习率η、SGDM 的动量momentum 以及正则化系数λ。其中CNN 网络深度指的是结构1 中卷积-池化层的数量，合适的深度选择能够保证模型的泛化能力；CNN 的学习率η和SGDM 的动量Momentum 的选取影响网络训练速度；合适的正则化系数λ可以很好解决过拟合问题。若采用手动调参，过程复杂，会造成不必要的资源浪费，而且往往不能得到最优模型。在本文的研究中，使用贝叶斯优化算法对超参数进行确定。

2 贝叶斯优化算法

贝叶斯优化是在函数方程未知的情况下根据已有的采样点预估函数最大值的一种算法[11]，它有效地解决了序贯决策理论中经典的机器智能问题：根据对未知目标函数f获取的信息，找到下一个评估位置，从而最快地达到最优解[12]。在评估代价高昂的复杂优化问题中，贝叶斯优化非常适用[13-14]，被广泛应用于机器学习超参数优化[15-21]、深度学习模型超参数优化[22-23]等方面。

2.1 高斯过程

贝叶斯优化的概率代理模型采用高斯过程(Gaussian processes，GPs)。假设待优化的超参数的组合是X={x1,x2…,xn}。贝叶斯优化器的目标函数是训练完成的CNN对验证集的分类误差，将其表示为f(x)。在此过程中，将测试集中每个图像的分类视为具有一定成功概率的独立事件，这意味着分类错误的图像数量遵循二项分布：

式中：GP表示高斯分布；μ为均值；k(x,x')为协方差函数。

在贝叶斯优化的第t-1次迭代后获得一组数据(xt-1,f(xt-1)) ，此时有数据集Dt-1={(x1,f(x1)),(x2,f(x2)),…,(xt-1,f(xt-1))}，接下来需要预测点xt处的观测值f(xt)，一般认为这t个观测点是某个t维高斯分布的一个样本，即：

式中：K=k=[(xt,x1),(xt,x2),…,(xt,xt-1) ]。

由此可得ft的分布：

式中：u(xt)=kK-1f1:t-1，它表示预测均值；δ2(xt)=k(xt,xt)-kK-1kT，它表示预测协方差。

由此可得第t个观测点的数据(xt,f(xt))。

2.2 采集函数

采集函数的作用是确定下一个需要评价的点xt。在本文的研究中，使用EI(Expected Improvement)来确定下一次迭代的超参数xt。在第t次迭代中，EI 的定义域是未遍历的区域的集合以及目前已观测到的所有目标函数中最优结果对应的xt的集合。能够改进目标函数几率最大的x，即最大化采集函数EI(x)的x就是被选取的下一个超参数取值：

式中：函数α是由决策空间χ、观测空间R和超参数空间Θ映射到实数空间得到的。

2.3 贝叶斯优化CNN超参数算法

在选定了概率代理模型和采集函数后，在CNN训练的每一个迭代过程中选择其中一个超参数，使用采集函数对其进行评估寻优，将得到的最有潜力评估点添加到历史数据中，直至满足终止条件。本文提出的贝叶斯优化算法的输入为待优化参数集X、贝叶斯优化器的目标函数f、采集函数S、高斯过程模型M，输出为最优CNN模型。此优化算法的伪代码如下：

3 基于贝叶斯优化CNN 的轴承故障诊断流程

将优化后的CNN 模型用于风电滚动轴承的故障诊断。此故障诊断模型如图2所示。

图2 基于贝叶斯优化CNN的轴承故障诊断模型

首先使用贝叶斯优化器对超参数进行初始化，获得CNN模型；然后将滚动轴承数据划分为训练集和测试集，将训练集输入初始的CNN 模型中，进行卷积、池化等计算，使用全连接层连和Softmax 层得到概率序列，接着计算目标函数。若不满足终止条件，就使用SDGM 更新所选样本的卷积核和偏置矩阵，继续上述计算，直至目标函数收敛或者训练次数达到预设值。训练完成后，将测试集输入该CNN模型并统计它的分类准确率。将此CNN 的超参数及其分类准确性并入贝叶斯优化器的历史数据中，接着使用采集函数选择下一组超参数，通过高斯过程计算其改进目标函数的可能性，将超参数选择完成后的CNN 模型重新进行训练并统计其对测试集的诊断准确性。重复上述过程直至贝叶斯优化器达到终止条件。

4 实验验证

4.1 实验数据集

本文使用的原始数据来自凯斯西储大学滚动轴承数据库，在该实验平台，通过电火花加工技术在轴承上布置内圈故障、滚动体故障、外圈故障3种类型的单点故障并以12 kHz的采样频率采集振动信号。

对滚动轴承信号进行归一化处理并将其随机分段，分段信号的长度为2 000，保存为时序图，数据集对应4 种标签：正常信号（Normal）、内圈故障信号（Inner）、滚动体故障信号（Roller）、外圈信号（Outer）。每个标签的样本数量为200。

4.2 贝叶斯优化CNN模型超参数

将数据集输入CNN模型，并使用贝叶斯优化器对超参数进行选择，设置最大迭代次数为30，CNN网络深度取值区间为[1，3]，初始学习率取值区间为[1×10-2，1]，随机梯度下降动量取值区间为[0.8，0.99]，正则化系数取值区间为[1×10-10，1×10-2]。贝叶斯优化器的超参数优化结果如表1所示。

由表1 可知，最优结果是第29 次得到的超参数组合：CNN网络深度为1，初始学习率为0.442，随机梯度下降的动量为0.801，L2 正则化系数为0.001 488。在此过程中，随着迭代的推进，观测到的最小目标函数与预估的最小目标函数的对比如图2所示。两者曲线趋向重合表示接下来的计算已经无法改善目标函数，即EI 接近于0，则全局最优已经找到。

由表1 可知，最优结果是第29 次得到的超参数组合：CNN网络深度为1，初始学习率为0.442，随机梯度下降的动量为0.801，L2 正则化系数为0.001 488。在此过程中，随着迭代的推进，观测到的最小目标函数与预估的最小目标函数的对比如图3所示。两者曲线趋向重合表示接下来的计算已经无法改善目标函数，即EI 接近于0，则全局最优已经找到。

表1 超参数优化结果

图3 最小目标函数的观测值与估计值

得到的最优CNN 模型的结构与参数如表2 所示，对该模型以及经典CNN 模型分别进行训练，其训练时间分别为10 s和6 s，可以看到改进的CNN模型训练速度较快，体现了批归一化处理以及SGDM算法在加速网络训练方面的有效性。

表2 最优CNN模型的结构与参数

接着统计它们对测试集的分类结果，如表3 所示，改进的CNN模型的平均诊断准确性为99.75%，而经典模型诊断准确性较低，仅有86.9%。

表3 优化模型与经典模型的对比/（%）

4.3 泛化性和鲁棒性验证

采用该优化后的CNN 模型对原测试集进行诊断的精确性很高，为进一步验证模型的泛化能力，构建新的测试集，将其输入该CNN模型并统计其分类结果，得到测试数据的混淆矩阵，使用列汇总和行汇总显示每个类的准确率和召回率，结果如图4所示。可知该CNN模型泛化能力较强，通过较少样本的学习即可得到整个原始信号的深层特征。

图4 最优CNN模型对新测试集的分类结果

考虑实际工况下风电轴承信号往往包含较强的噪声，通过在正常传感器数据中加入高斯噪声来模拟风机轴承在实际工况下的振动信号，验证CNN模型的鲁棒性。测试集所有样本都添加高斯白噪声。

高斯噪声的信噪比(Signal Noise Ratio，SNR)按1 dB 的步长分别设置为-3 dB、-2 dB、-1 dB、0、1dB、2 dB、3 dB。不同信噪比(SNR=-3)下，本文所提出的经贝叶斯优化的CNN模型、经遗传算法优化的CNN模型、未优化的CNN模型对测试集的诊断准确性如图5所示，可以看到未优化的CNN鲁棒性极差，故障诊断效率低，因此对其进行优化具有必要性。经贝叶斯优化和遗传算法优化的CNN 模型在具有少量噪声样本的前提下便可学习到噪声干扰下轴承信号的分布特征，诊断准确率相对较高，明显优于未优化的CNN模型。而与经遗传算法优化的CNN模型相比，经贝叶斯优化的CNN 模型更加优越，对输入扰动有较强的鲁棒性，诊断效率高。

图5 对不同噪声程度测试集的诊断结果

5 结语

针对CNN常见的过拟合、计算量大以及模型超参数难以确定的问题，结合贝叶斯优化在智能计算的超参数优化方面的发展，本文提出一种改进的CNN模型，并使用贝叶斯优化器对其超参数进行优化。在改进的CNN模型中，利用SGDM和批归一化来加速CNN的训练速度，增加一个新的卷积层用于提取数据深层特征，并对其目标函数进行改进，增加L2正则项，可在保证训练误差尽量小的同时自动调节参数，优化网络结构，也可使有效权值数量尽量少，提高该模型的泛化能力。使用贝叶斯优化对该改进的CNN模型的超参数进行优化，包括优化CNN网络深度、学习率、SGDM 的动量以及正则化强度。通过本文研究可知，由贝叶斯优化器确定的最优CNN模型诊断效率高，同时有较强的泛化能力和鲁棒能力。