基于在线半监督学习的故障诊断方法研究✳

尹 刚,张英堂,李志宁,任国全,范红波

(军械工程学院七系,河北 石家庄 050003)

引 言

监督学习模式下的分类方法以及非监督学习的聚类方法在故障检测和诊断领域得到了广泛的应用[1,2]。但监督学习必须利用专家知识对所有的故障样本做类别标记,且为获得较好的泛化性能,通常需要大量的已标记故障样本作为训练集。而故障样本的类别标记对专家知识以及人工故障的设置提出了较高的要求,耗费了大量的人力和物力,且机械故障的类别标记易出现瓶颈及标记不准确等问题。根据数据的相似性进行分组的聚类方法虽不需要对故障样本进行标记,但由于其对专家先验知识的忽略导致分类准确率明显低于有监督的分类方法。

半监督学习在少量不精确标记样本的基础上,利用大量廉价的未标记样本进行训练,可有效提高分类器的性能,在文本、图像、网络流量等领域的分类问题中得到了较好的应用[3～5]。但当前半监督学习存在学习速度慢、不确定性递增、批量式训练等问题[6],影响了其在故障诊断领域中的进一步发展。在线贯序极限学习机(Online Sequential Extreme Learning Machine,OS-ELM)为单隐层前馈神经网络的快速增量式监督学习算法[7],其将网络的训练问题转化为求解线性方程组的最小二乘解,极大地提高了网络的学习速度和泛化能力。因此本文基于改进 Tri-training算法将OS-ELM从监督学习模式扩展到半监督学习模式,提出可用于故障诊断领域的在线半监督学习方法(Online Semi-supervised Learning,OSSL)。

1 在线贯序极限学习机的监督学习

对于任意的N个训练样本Z0=(xi,ti),其中xi=

[xi1,xi2,… ,xin]T∈ Rn,ti= [ti1,ti2,… ,tim]T∈ Rm,若隐层节点数为P,激活函数为g(x)时,单隐层前馈神经网络?的实际输出以零误差接近期望输出,即

式中 βj为连接第j个隐层节点和输出节点的权值向量 ,ωj= [kj1,… ,kji,… ,kjn]为连接输入节点和第个隐层节点的输入权值向量,bj为第个隐层节点的阈值。

将式(1)写成矩阵形式

文献 [7]严格证明了当g(x)无穷可微且网络具有合适的隐层节点数时,输入权值向量ω和隐层节点阈值b可随机赋值,单隐层前馈神经网络的训练过程转化为求解式(2)的最小二乘解

式中 H*为隐层输出矩阵H的 Moore-Penrose广义逆。当rank(H)=P时,由正交投影法可得

HTH为奇异阵时,可适当调整参数P使其成为非奇异阵。则式(3)转化为

式中 K0=HTH。

给定N1个新的训练样本Z 1={(xi,ti)}N+N1i=N+1,则网络训练问题转化为

由式(3),(4),(5)可得上式的最小二乘解为

其中

又式(7)中

故贯序学习时网络输出权值的迭代公式为

由式(8)可知,OS-ELM对第k+1组样本进行训练时,克服了传统监督学习中必须将此组样本加入到所有已训练样本中进行批量学习的缺点,仅需将已训练得到的β(k)与第k+ 1组样本对应的Hk+1,Tk+1代入公式(8)更新分类器即可。

2 在线半监督学习方法流程

半监督学习在传统监督学习的基础上,将大量的未标记样本加入训练集用于分类器的训练,且Zhang等已证明未标记样本可有效提高分类器的学习性能[8]。因此本文将OS-ELM扩展为半监督学习模式,利用大量的未标记故障样本辅助提高故障分类器的泛化性能。

2.1 Tri-training训练过程

Tri-training算法为半监督学习中协同训练的扩展算法[9],在聚类假设或流形假设的基础上,构造3个不同的分类器挑选若干个置信度较高的未标记样本进行相互标记,最后通过集成学习的思想对各个分类器进行更新。其学习过程可以描述为:

假设标记训练样本集为L,x为未标记训练样本集U内任一训练样本。

通过对样本集L进行可重复取样得到3个有标记的训练样本集L1,L2,L 3,进而训练得到3个不同的初始分类器C1,C2,C3。

若C1,C2,C3中的任意两个分类器对样本x的预测相同,则x被认为具有较高的标记置信度,将其标记后加入 3个分类器的标记样本集,形成新的训练样本集L1',L2',L 3';然后再利用扩充后的标记样本集重新训练各自从属的分类器,如此重复迭代对 3个分类器进行更新。

分类器训练结束后,对于需要进行类别标记的测试样本集,Tri-training算法将 3个分类器组成一个集成器,并采用集成学习中的投票法实现对未标记样本的类别预测。

Tri-training算法通过判断 3个分类器对未标记样本的预测一致性,对未标记样本的标记置信度进行判断,进而实现多个分类器的协同训练,克服了传统协同训练中使用统计测试技术判断标记置信度时间耗费较长的缺点[10],但若初始分类器泛化性能较差,大量未标记样本将会被错误标记,进而影响分类器性能的提高。另一方面,Tri-training算法采用的集成策略对构造具有较大差异性的初始分类器提出了较高的要求。

2.2 初始分类器的离线学习

OS-ELM将神经网络的训练问题转化为线性方程组的求解问题,克服了传统算法训练速度慢、泛化能力不高的缺点。由文献[11～ 13]可知,OS-ELM分类器的泛化性能优于 BP、支持向量机等算法,由文献[14]可知,采用不同的激活函数g(x)可以构造得到差异性较大的分类器。因此本文从 rbf,hardlim,sigmoid,sine,morlet中选择不同的函数构造差异性较大且泛化性能较高的 3个初始分类器

已知标记样本集L,选择 3个不同的激活函数,将输入样本映射到隐层核空间,计算隐层输出矩阵并由式(5)计算各分类器的输出权值β01,以及相对应的

2.3 标记样本在线扩充

将大量的未标记故障样本分为若干组,采用增量式学习的方式对分类器进行更新学习。假设Uk+1为第k+1组需要学习的未标记样本集,分别采用分类器Ck1,Ck2和Ck3选择的输入权值向量ω、隐层节点阈值b和激活函数g(x)将其映射到隐层核空间,计算得到隐层输出矩阵则分类器对未标记样本集Uk+1的预测标记可由式(5)求得

2.4 分类器的在线更新学习

Tri-training算法在得到预标记样本集Lk+1后,将其与所有已得到的标记样本组合,采用监督学习的模式对分类器进行再学习,极大地增加了分类器的迭代更新时间。若此时网络隐层节点数为P,总的标记样本数为N,采用增量式学习时每组扩充标记得到的样本数为Nk,则批量式学习的计算复杂度约为O(4NP2+ 8P3)[15],远远大于增量更新时的计算复杂度O(4NkP2+8P3)。因此本文采用增量式更新的方式,在分类器的第k+1次更新中,仅采用预标记样本集Lk+1更新网络参数。则由式(8)可得3个分类器的输出权值分别为

令k=k+1,返回标记样本在线扩充阶段,继续对新的未标记故障样本进行在线学习。

分类器训练结束后,将 3个分类器组成一个集成器,采用集成学习中常用的投票法对未标记故障样本进行分类,实现设备的故障诊断。

3 半监督基准数据试验

为验证本文所提算法的有效性,选取半监督学习基准数据集中的 COIL,Digit1以及g241c数据集进行试验[16]。 3个数据集的样本总数和特征维数均为1 500和 241,类别数分别为 6,2和 2,按照 3∶1的比例将样本分为训练集和测试集,其样本数分别为1 126和 374。为测试半监督学习中未标记样本对分类器性能的改善状况以及标记样本与未标记样本不同比例对分类器的影响,将训练样本集中的数据按照 2∶ 3,3∶ 2和 4∶ 1的比例进行分配 ,则 2∶ 3,3∶ 2和 4∶1三种分配对应的标记样本数分别为 450,676,900,分别测试不同分配情况下的分类器分类精度及训练时间,并将其与仅采用标记样本训练得到的分类器对比研究。

采用增量式学习的方式,将未标记样本分为若干组进行试验,每组20个未标记样本。OSSL在3个数据集训练时的隐层节点数分别为:260,270和200,隐层激活函数均选择 rbf,sine和sigmoid。所有试验均在 MATLAB 7.11.0平台运行 20次,计算机CPU为 AMD 2.2 GHz,内存为 1 G。OSSL算法在 3个数据集上的平均训练时间和平均分类精度如表 1所示。

表 1 OSSL对 3组试验数据的训练时间和分类精度Tab.1 Training time and classification accuary for three dif f erent benchmark data sets based on the OSSL algorithm

通过对比试验结果可以看出,未标记样本的加入使得分类器的分类准确率提高 1%～6%;训练样本总数相同但标记样本数与未标记样本数比例不同时,分类器分类准确率平均相差小于2%且训练时间相差小于1s。由此可知:OSSL算法对标记样本的依赖程度较低且分类准确率受未标记样本比例变化的影响较小,一定程度上解决了半监督学习中标记样本扩充带来的不确定性增加的缺陷;随着未标记样本比例的上升,训练时间并没有明显的增加。

4 柴油机的诊断应用

4.1 诊断对象及特征提取

以 F3L912型三缸四冲程柴油机为故障诊断对象,验证本文所提OSSL算法的可行性。柴油机失火及气阀机构的故障会引起其燃烧状况的变化,进而导致排气噪声的不同,因此本文采用20 Hz～ 20 k Hz频响范围的声传感器测量排气管出口处排气噪声的原始声压用于柴油机故障诊断,测量时柴油机转速为 1 200 r/min,传感器与排气管垂直,距离排气管口10 cm。第三缸高压油管上的外卡式油压传感器信号与排气噪声同步采集,以准确指示柴油机各缸的工作相位,采样频率为 40 k Hz。为贴近实际应用,实验在空间较大的车间内进行,信号采集时未采用任何消声措施。

试验在正常工况、1缸失火、1和2缸同时失火、2缸失火、排气门间隙过大(0.7 mm)、进气门间隙过大(0.5 mm)、排气门漏气、进气门漏气共 8种工况下进行。 8种工况下排气噪声的时域波形及功率谱图如图1,2所示。为较清楚地显示排气噪声时域与频域的波形,图 1,2仅截取了一个整工作周期噪声信号用于分析,在后续的 AR建模时,本文截取了10个整工作周期的噪声信号。

分析图 1,2可知,不同工况下的排气噪声时域波形的差别较小,但其功率谱却有较大的差别。又AR谱估计易反映功率谱图中的峰值信息且频率定位准确。因此,为提取能够较好反映不同故障状态的特征向量,本文对不同工况下的排气噪声建立 AR模型,并将 AR模型的主要自回归参数作为故障特征向量,用于下一步的故障模式识别。图3为对8种工况下的排气噪声信号建立8阶AR模型,取自回归参数hi2,hi4,hi5作为特征参数得到的三维数据点分布图。

图1 工况 1～ 4排气噪声的时域波形及功率谱图Fig.1 Signal in time domain and power spectrum on four working conditions

图2 工况 5～ 8排气噪声的时域波形及功率谱图Fig.2 Signal in time domain and power spectrum on four working conditions(another)

图3 排气噪声主要自回归参数的三维分布图Fig.3 Three-dimensional graph about main parameters of auto regressive beyond exhaust noise

由图 3可知,不同工况提取得到的故障特征向量具有一定的类内聚性和类间差异性,可用于下一步的故障模式识别。

4.2 应用结果

为较好地反映不同工况间的差异,对排气噪声建立8阶 AR模型,并将得到的8个自回归参数作为故障特征向量。每种工况提取 75个特征向量组成600个特征向量,并以 5∶1的比例随机分为训练集和测试集。为研究未标记样本在设备故障诊断中的重要性,将标记样本与未标记样本分为不同比例进行对比试验,试验时选择隐层激活函数选择rbf,sine和sigmoid,隐层节点数为150,试验结果如表2所示。

表 2 标记样本和未标记样本不同比例下 OSSL算法训练所得故障分类器的性能Tab.2 Result of fault classification based on the OSSL algorithm in the different ratio between labeled samples and unlabeled samples

由表2中标记样本和未标记样本不同比例时的对比试验可知,在仅有少量不精确的标记故障样本和大量未标记故障样本下,OSSL算法可以取得较好的故障分类准确率,且故障分类准确率随着未标记样本的增加而增加;另外,该算法的训练时间并未随未标记样本的增多而大幅度增加。当未标记样本数为零时,OSSL算法退化为 3个 OS-ELM算法的加权平均,因此第1,6,12组试验为OS-ELM算法的输出结果。但对比第5,9,10,11,12等5组试验可知,当总的训练样本相同时,OSSL算法对标记样本具有一定的依赖性,其故障分类准确率仍略低于监督学习模式下的OS-ELM算法。

5 结 论

监督学习模式下的故障分类方法不能有效地利用大量的未标记故障样本,而机械设备的故障诊断中难以获得大量标记精确的故障样本。因此为有效利用大量低成本的未标记故障样本提高故障分类准确率,本文在OS-ELM的基础上提出了OSSL算法。该算法通过标记样本的在线扩充和分类器的增量更新,在提高样本空间稠密度的基础上改善了分类器的泛化性能。半监督基准数据的验证试验表明了OSSL算法的有效性,柴油机8种故障的诊断应用进一步证明了OSSL算法用于故障诊断的可行性。

[1] 李学军,蒋玲莉,杨大炼,等.基于双谱分布区域的齿轮聚类分析与故障诊断 [J].振动工程学报.2011,24(3):304—308.LI Xuejun,JIANG Lingli,YANG Dalian,et al.Custer analysis and fault diagnosis for gear based on bispectrum distribution[J].Journal of Vibration Engineering,2011,24(3):304—308.

[2] 廖广兰,史铁林.GTM算法在齿轮箱状态监测中的应用 [J].振动、测试与诊断,2004,24(1):11— 14.LIAO Guanglan,SHI Tielin.Condition monitoring of gearbox based on generative topographic mapping[J].Journal of Vibration,Measurement& Diagnosis,2004,24(1):11—14.

[3] 张博峰,白冰,苏金树.基于自训练 EM算法的半监督文本分类 [J].国防科技大学学报,2007,29(6):65—69.ZHANG Bofeng,BAI Bing,SU Jinshu.Semi-supervised tex t classification based on self-training EM algorithm[J].Journal of National University of Defense Technology,2007,29(6):65—69.

[4] 祁亨年,杨建刚,方陆明.基于多类支持向量机的遥感图像分类及其半监督式改进策略 [J].复旦大学学报(自然科学版),2004,43(5):781— 784.QI Hengnian,YANG Jiangang,FANG Luming.Multi-class SVM based remotesensing imageclassification and their semi-supervised improvement scheme[J].Jouranl of Fudan University(Natural Science),2004,43(5):781—784.

[5] 柳斌,李之棠,涂浩.一种基于半监督学习的应用层流量分类方法 [J].微电子学与计算机,2008,25(10):113—116.LIU Bin,LI Zhitang,TU Hao.Network application classificatin method based on semi-supervised learning[J].Microelectronics& Computer,2008,25(10):113—116.

[6] 唐晓亮,韩敏.一种基于极端学习机的半监督学习方法[J].大连理工大学学报,2010,50(5):771— 776.TANG Xiaoliang,HAN Min.A semi-supervised learning method based on extreme learning machine[J]. Journal of Dalian University of Technology,2010,50(5):771—776.

[7] Liang Nan-Ying,Huang Guang-Bin,SARATCHANDRAN P,et al.A fast and accurate online sequential learning algorithm for feedforward networks[J].IEEE Transactions on Neural Networks,2006,17(6):1 411—1 423.

[8] Tong Zhang,Frank JOles.A probability analysis on thevalue of unlabeled data for classification problems[A].Proceedings of the 17th International Conference on Machine Learning(ICML’00)[C].San Francisco,CA,2000:1 191—1 198.

[9] Zhi-Hua Zhou,Ming Li.Tri-training:Exploiting unlabeled data using threeclassifiers[J].IEEE Transactions on Knowledge and Data Engineering,2005,17(11):1 529—1 541.

[10]周志华,王珏.机器学习及其应用 [M].北京:清华大学出版社,2007.

[11]Ying Liu,Han Tong Loh,Shu Beng Tor.Comparison of extreme learning machine with support vector machine for text classification[J].Lecture Notes in Computer Science,2005,3 533(1):390—399.

[12]Feng-Chia Li,Peng-Kai Wang,Gwo-En Wang.Comparison of the primitive classifiers with Extreme Learning Machine in credit scoring[A].IEEE International Conference on Industrial Engineering and Engineering Management[C].Hongkong,China,2009:685—688.

[13]Xun-Kai Wei,Ying-Hong Li,Yue Feng.Comparative study of extreme learning machine and support vector machine[A].Third International Symposium on Neural Networks[C].Chengdu,China,2006:1 089—1 095.

[14]Suresh S,Saraswathi S,Sundararajan N.Performance enhancement of extreme learning machine for multi-category sparse data classification problems[J].Engineering Applications of Artificial Intelligence,2010,23(7):1 149—1 157.

[15]Xiaoliang Tang,Min Han.Partial Lanczos extreme learni-ng machine for single-output regression problems[J].Neurocomputing,2009,72(13-15):3 066—3 076.

[16]CHAPELLE O,SCHOLKOPF B,ZIEN A.Semi-supervised Learning[M].Cambridge:MIT Press,2006.