基于LLE及其改进距离算法的轴承故障诊断模型*

魏永合，刘 炜，杨艳君，苏君金

(沈阳理工大学 机械工程学院，沈阳 110159)

0 引言

在故障诊断、机器学习及数据挖掘等研究邻域中，为了尽可能地全面反映故障类型的信息，通常会需要各类传感器收集大量复杂的难以被人直接表示和处理的“高维”样本空间中的数据集合。其中数据降维是高维故障样本数据特征提取分析研究中重要而有效的方法之一，目的是在保留初始数据的原有特征和结构的基础上寻找更加简洁的特征样本数据描述方式，并利于观察特征数据的分布规律以及提高故障类型模式识别的速度和分类器的分类精度[1]等。近年来，维数缩减的方法已出现许多种，传统的“线性”维数缩减方式，例如无监督学习PCA方法、KMEANS方法、监督学习LDA方法等对具有线性结构和满足高斯分布的高维数据集有较好的处理效果；文献[2]中也提到很多非线性维数缩减方法，例如无监督学习MDS方法、基于循环迭代SOM方法处理有限的离散样本时存在特征提取计算复杂，变量和学习过程不稳定的问题。而且这些方法都不容易准确地学习和揭示隐藏在高维非线性故障数据集中的内在“低维光滑流形结构”。

针对轴承故障振动信号的非平稳、高维数据结构非线性、不均匀等特点，学习高维数据集合分布的流形有助于发现高维数据集分布的内在规律性及其数据分布的可视化。局部线性嵌入(Locally linear embedding，LLE)算法[3-5]是一种在保持数据的领域关系前提下通过局部线性关系的联合来揭示全局非线性结构的非线性降维方法。文献[3]针对LLE算法对邻域因子k依赖性很强的特点，提出对LLE算法的距离进行了改进，使样本集分布更加均匀，在k值比较小时就得到良好人耳识别效果。文献[4]针对LLE计算速度和领域因子k的选取问题，提出了基于聚类和改进距离的LLE方法，在扩大参数k选取范围和提高降维速度的同时得到良好纹理图像特征的降维效果。

针对LLE算法对样本集是否均匀稠密取样特别敏感的问题，现已出现了很多关于LLE算法参数k和d的选择方法。本文在传统LLE算法的基础上提出一种基于改进距离使样本点整体上均匀化分布的LLE算法与线性判别分析(Linear Discriminant Analysis，LDA)的离散度矩阵思想验证LLE降维结果的特征可分离性相结合来最终确定参数k的选择。首先针对传统LLE算法对样本噪声特别敏感的问题[2]，结合采用小波去噪的局部均值分解(Local Mean Decomposition，LMD)算法[6]先对非线性、非平稳的轴承故障振动信号进行自适应预处理的基础上，然后再采用改进距离的LLE算法进行特征压缩提取。本模型最后对改进距离的LLE提取的故障特征采用K折十字交叉验证(K-fold Cross Validation，K-CV)法优化其参数的支持向量机(Support Vector Machine,SVM)进行故障状态模式识别以提高模型诊断的准确率，而且数据降低维数后将花费更少的时间去训练分类模型。最后通过比较实验结果来验证该模型的可行性。

1 局部线性嵌入算法

1.1 流形学习方法基本原理

1.2 局部线性嵌入算法

LLE算法[7]的计算步骤如下：

(2)计算重构权值矩阵W,通过最小化误差函数：

(1)

式中，Xij(j=1,…,k)是Xi的k个近邻点；wij表示Xi与Xj之间的权值系数，并满足条件：

(2)

由式(1)和式(2)可知：

(3)

式中，wi=[wi1,wi2,…,wik]T是第i个样本点的局部重建权值向量。

(3)由W计算低维嵌入Y,最小化函数：

(4)

式中，φ(Y)是输出函数，Yi为Xi的输出向量，Yij(j=1,2,…,k)是Yi的k个近邻点，且满足：

(5)

式中，I是一个m×m的单位矩阵，wij(i=1,2,…,N)储存在N×N的稀疏矩阵W中。当Xj是Xi的近邻点时，Wij=wij；否则，Wij=0。使用Wi表示W矩阵第i列，Ii表示N×N单位矩阵的第i列，Y表示输出向量，Y=(Y1,Y2,…,YN),于是式(5)转化为：

(6)

为了使损失函数值最小，则Y取M的d个最小非零特征值所对应的特征向量，将M的特征值按从小到大排列，一般第一个特征值几乎为0，因此取第2 ～(d+1)之间的d个特征值，这d个特征值所对应的特征向量组成的矩阵转置之后就得到了低维嵌入Y。

2 改进距离的局部线性嵌入算法

对于观测样本集采样数据分布不均匀的情形，LLE算法将难以保证原始数据的拓扑结构。原始的LLE算法在密集区域只需较小的k值就可以得到很好的降维效果，在稀疏区域为了很好地保持各个点之间的相对位置关系，往往k值比较大时降维效果才比较好。即采用LLE降维的过程中，密集区域和稀疏区域取相同的k值，为了使整体降维效果比较好，k的取值一般比较大，计算量也随之增加。并且由于大多数经典流形学习方法是建立在某个样本点局部邻域线性假设的基础上的，当k取值太大时，并不能保证近邻点所在区域都应是线性的，即会对大多数非线性分布的数据都采用了线性处理方法，造成了原始数据间的非线性结构的损坏。

本文对LLE算法进行了改进，在第一步计算每个样本与其他样本点的距离时，采用公式(7)取代计算LLE时采用的欧氏距离：

(7)

其中，M(i),M(j)分别表示Xi(i=1,2,…,N),Xj(j=1,2,…,N)和其他点之间距离的平均值。新的距离使处于样本点分布较密集区域的样本点之间的距离增大，使处于样本点分布较稀疏的区域的样本点之间的距离减小，使样本点整体分布趋于均匀化[4]。

3 线性判别分析的离散度思想

LLE算法能提取出原始数据基于流形之上的本质特征，假设轴承的不同故障状态的振动信号特征具有不同的流形[2]。根据线性判别分析(LDA)算法的基本思想：良好的特征分类效果即使故障类间离散度最大，类内离散度最小。最后根据离散度矩阵的结果来验证选取k的最佳参数值。

(8)

(9)

故障特征样本类间离散度矩阵LB，LB为d×d方阵，m为所有故障特征样本的均值矢量:

(i=1,2,…,Nd)

(10)

(11)

(12)

(13)

4 基于LLE与SVM的轴承故障诊断模型

本文提出的基于流形学习LLE及其改进算法的轴承故障诊断总体模型，其模型如图1所示。

图1 基于LLE及其改进算法的轴承故障诊断总体模型

主要包含以下几个步骤：

(1)针对轴承故障振动信号往往是非线性、非平稳性的特点且是一种多分量复杂的调幅-调频信号及传统时频分析方法的局限性。先将原始振动信号经过小波去噪、滤波后再通过改进LMD[6]预处理分解为一系列单分量的调幅-调频的PF分量，这些分量由包络信号和纯调频信号相乘构成。通过采用皮尔逊相关系数法可得到各个PF分量与原始振动信号的相关系数[8]。相关系数越大的PF分量，包含原始振动信号的特征信息量就越多。根据LMD分解原理，外来干扰信号主要集中在后面的PF分量且目标信号的特征主要集中在前面的PF分量，故选取其中与原始振动信号相关性较好的前l阶PF分量进行故障特征提取，并对经LMD分解的PF分量进行包络分析，通过分析各频率段是否存在调制现象以及与理论故障频率作比较[8]来判定轴承发生故障的部位。

(2)将每阶PF分量经过时频域的信号处理方法得到w个混合域特征。为了使流形学习LLE提取的特征更加易于分类并提高特征压缩效率，通过采用遗传算法(Genetic Algorithms，GA)对提取的w个混合域特征进行优化筛选处理，提取出m个时域特征，其中包括i个有量纲时域特征参数和j个无量纲时域特征参数以及另外n个频域特征参数，总共可以提取m+n个混合域特征[9]用以全面描述轴承各故障状态特性，并且高维观测样本空间的样本维数即m+n。

(3)将高维观测样本中的特征参数作为LLE/改进LLE算法的输入进行维数约简。统计学习方法是Levina提出的一种新的本征维数估计方法，它在近邻点的距离度量中采用最大似然估计方法(Maximun Likeliho-od Estimation，MLE)来得到基于本征维数的最大似然函数。首先进行基于MLE算法的样本本征维数dMLE[2]估计，然后分别取嵌入维数d为dMLE-1(dMLE≥2)、dMLE、dMLE+1、dMLE+2以及为了验证改进距离LLE0的降维效果分别取邻域因子为3、4、5等比较小的k值进行LLE算法流形学习。根据故障类内离散度矩阵和类间离散度矩阵的结果综合搜索邻域因子k的最佳取值。完成对高维样本数据进行的非线性特征提取，提取出用于轴承故障状态分类识别的低维特征样本，构成低维特征样本空间。

(4)通过K折十字交叉验证分类器性能的统计分析方法优化设定SVM的惩罚参数c和核函数参数g。然后随机选取x个低维特征样本对SVM进行训练，并利用训练好的SVM再对随机选取的y个低维特征测试样本进行模式识别。

5 实验结果分析

5.1 轴承原始信号获取

本文采用美国凯斯西储大学(Case Western Reserve University)电气工程与计算机科学系实验室标准数据库里的轴承破坏性数据来验证该模型的可行性，并模拟轴承的内圈和外圈及滚动体三种常见的故障，实验前分别在电动机端轴承的内圈、外圈和滚动体上使用电火花方法人为的加工了直径为0.053mm的故障,并将所有有故障的轴承重新装到电机上进行测试和记录振动数据。

实验所用轴承为支撑电机传动轴端的SKF6205-2RS深沟球轴承,实验模拟装置由功率为1.47kW的3相感应电机、扭矩传感器/译码器、电器控制装置及测力计组成。电动机带动的输入轴转速为1750r/min，输出轴带动负载。采样频率为12000Hz，采样点数为10240。图2a为轴承滚动体故障状态下振动信号，从图中可以看出信号中存在强烈冲击特征且伴有大量噪声信号。

(a)轴承滚动体故障振动信号时域波形

(b)轴承滚动体故障振动信号LMD分解结果图2 轴承滚动体故障振动信号

5.2 特征选择与特征提取

首先为消除指标之间的量纲影响，提高故障识别的准确性，需要对采集的振动数据进行归一化处理，即将数据映射到0～1之间标准化处理使各指标处于同一数量级，解决数据指标间的量纲差异性和可比性问题。通过LMD将采集的原始振动信号结合对小波系数作软阈值处理的小波技术去噪后分解为一系列分别具有单独的瞬时物理意义的PF分量，分别将误差阈值[6]ρ1、ε1设置为0.95、0.01。如图2b为轴承滚动体故障状态下的振动信号LMD分解结果。

根据LMD分解原理以及皮尔逊相关系数法结果，如图3所示，相关系数小于0.05的PF视为伪分量予以剔除。对信号进行LMD分解后的分量进行重构并选择特征，在能保留信号主要信息的条件下有效抑制噪声的影响，这里统一选用轴承相关系数较大的第1～3阶PF分量进行故障特征提取。从图4可以明显看出主要尖峰处35.16Hz及其倍频调制现象，70.31Hz与滚动体的理论故障频率76.15Hz非常接近，可以验证断定轴承发生了以70.31Hz为特征频率的滚动体故障。将各阶PF分量经过时频域的信号处理方法[10]得到29个混合域特征，采用GA遗传算法对提取的29个混合域特征进行优化筛选处理，提取出8个时域特征，其中包括均值、均方根值、方差值、方根幅值等4个有量纲时域特征参数和波形指标、峰值指标、裕度指标、脉冲指标等4个无量纲时域特征参数以及均值频率、频率中心、均方根频率、标准差频率等4个频域特征参数，这样，每个样本空间由这12个特征参数构成，来构造12维的高维观测样本空间。部分测试数据如表1和表2所示。

图3 PF的相关系数曲线

图4 轴承滚动体故障振动信号PF2分量包络谱图

表1 轴承滚动体故障的流形学习样本特征向量

表2 轴承滚动体故障的流形学习样本特征向量

由12个特征参数构成的高维故障样本空间多域特征中存在部分特征冗余、冲突等问题，需要在保证数据间几何关系和距离测度不变的基础上对特征属性的数量进行压缩。首先进行基于MLE算法的高维样本本征维数估计，dMLE=2。然后将高维故障观测样本矩阵输入LLE算法，分别取不同嵌入维数和邻域因子进行流形学习。本文为了便于数据降维结果在选取第1个、第2个以及第3个最重要维度为坐标时可视化表达最为直观，这里约简维数取至d=3，同时也可以包含更多的故障特征属性。其中滚动体取不同领域因子k下样本类内与类间离散度矩阵的结果如图5、图6所示，图中样本类别1、2、3分别代表取邻域因子为3、4、5等比较小的k值下的低维映射样本。经过比较明显看出k=4时的样本2的类内离散度结果较小且类间离散度结果也最大，而且经改进距离LLE处理后的样本的类间离散度明显增大3个数量级。其中轴承故障样本取d=3、k=4特征提取时的故障类内离散度和类间离散度矩阵的结果如图9、图10所示，结果表明各类故障经特征提取后的低维特征样本的故障类间离散度矩阵的结果偏大，而且经改进距离LLE处理后的故障样本的类间离散度明显增大1个数量级，说明所压缩提取的故障特征间的分类效果要较好。

图5 轴承滚动体故障经LLE处理在相同维度d、不同领域因子k下离散度

图6 轴承滚动体故障经改进距离LLE处理在相同维度d、不同领域因子k下离散度

图7 经LLE处理d=3、k=4时提取的样本特征

图8 经改进距离LLE处理d=3、k=4时提取的样本特征

图9 轴承不同故障在LLE取d=3、k=4时的离散度结果

假设轴承在不同故障状态运行中的信号特征在高维空间服从或近似服从不同的流形分布[2]。其中轴承故障特征提取结果如图7、图8所示。可以看出，两种方法对轴承故障观测样本数据的特征提取效果都比较好，有明显分类效果。但图7的原始高维数据的拓扑结构不仅被破坏，部分映射图形呈现出不规则的形状，轴承的3种不同特征量部分被投影在相同的区域；图8在同样取较小k值下却能较好地反映原始数据基于流形之上的本质特征，即使个别样本点没有完全分布在低维流形拓扑结构上面，但降维结果却较好地保持了低维光滑流形局部几何结构。

对比图8、图11及表3结果可以看出，尽管传统线性PCA的计算时间最小，但通过PCA特征提取的样本分布，类与类之间分类不是太清楚且类间样本分布过于分散。而从图8可以看出，轴承3种不同的特征量大部分被投影在不同的区域，并且相同的特征量呈现比较集中出现在一个区域并表现出具有一定的分布规律的现象[11]，有利于后续轴承故障诊断的继续进行。而且同时相比较传统的LLE，特征提取的计算时间也有所减少。

图10 轴承不同故障在改进距离LLE取d=3、k=4时的离散度结果

图11 经PCA处理d=3时提取的样本特征

表3 轴承故障的特征提取计算时间比较

5.3 模式识别

通过K折十字交叉验证分类器性能的统计分析方法优化设定改进距离LLE-SVM模型和LLE-SVM模型的惩罚参数c和核函数参数g，分别得到c=1,g=45.2548和c=0.5,g=64，每类轴承特征各随机选取30个样本。为不失一般性，随机再从中选取45组数据作为训练样本，剩余45组数据作为测试样本。输出状态设置为：轴承内圈故障、轴承外圈故障、轴承滚动体故障，即输出状态类别数为3。

5.4 实验结果比较

PCA(Principal Components Analysis)即主成分分析[12]，是流形学习方法提出之前故障诊断领域经常用到的线性特征提取方法之一。为了便于比较，本文利用SVM分别对PCA线性降维算法和LLE流形学习算法提取的轴承故障特征进行诊断，通过建立LLE-SVM和PCA-SVM轴承故障诊断模型，然后分别对样本进行训练和测试。其中PCA-SVM模型的优化参数c=16,g=22.6274。

表4 三种特征提取算法的诊断准确率对比

由表4可以看出，通过SVM对流形学习LLE算法提取的故障特征进行诊断，其诊断正确率为35/45=77.8%；SVM对改进距离LLE算法提取的故障特征进行诊断，其正确率为36/45=80.0%。而通过SVM对PCA线性降维算法提取的故障特征进行诊断，其正确率为23/45=51.1%。相比较而言，改进距离LLE-SVM模型的故障诊断方法更具精确性；实际上PCA是丢失原始数据信息最少的一种线性降维方法，然而PCA并不试图去探索数据的内在结构。另外，由于流形学习对轴承特征属性进行了有效约简，也将使得基于流形学习LLE与SVM的故障诊断模型的执行效率得到较大的提高。

6 结论

本文提出一种基于流形学习改进距离LLE与SVM的轴承故障诊断模型，根据实验结果可以得出以下结论：①轴承信号的非平稳性及其各特征间存在的大量冗余信息削弱了特征的可辨识性，而采用LMD(针对非平稳轴承信号预处理)+GA(智能筛选高维特征量)+LLE算法对原始高维故障特征进行特征提取相比较传统的直接对原始高维数据进行LLE特征提取可以有效提高特征分类的准确率；②确定LLE算法的重要参数k值时依据故障类间和类内的离散度来判断验证使得LLE提取得到的特征样本具有良好的类别可分性，有利于后续诊断的进行。③改进距离LLE的特征提取结果不仅能在较小k值下有效保持不同故障低维光滑流形的局部几何结构，而且特征提取结果有利于后续故障特征准确诊断分类的进行并缩短了LLE的计算时间。④轴承故障模拟实验的结果验证了该模型的有效性，由实验结果可以看出基于LLE流形学习算法的模型诊断正确率高于经常应用于故障诊断领域的PCA线性特征提取模型。