基于融合特征约减和支持向量机的控制图模式识别

赵春华 汪成康 华 露 郑思宇 梁志鹏

三峡大学机械与动力学院，宜昌，443002

基于融合特征约减和支持向量机的控制图模式识别

赵春华 汪成康 华 露 郑思宇 梁志鹏

三峡大学机械与动力学院，宜昌，443002

为提高产品加工过程中质量监测的智能化程度，在运用控制图描述质量波动的基础上，提出了一种基于融合特征约减的KPCA-SVM控制图分类方法。先通过蒙特卡洛模拟生成控制图数据集，提取统计特征和形状特征,并将其与原始特征相融合，运用核主成分分析对高维融合特征降维，再使用遗传算法优化支持向量机的参数。通过仿真实验，将降维前后、不同分类器的识别精度进行了比较，结果表明运用所提方法能够得到更好的识别效果。

控制图；模式识别；特征融合；降维；核主成分分析；支持向量机

0 引言

控制图作为统计过程控制的一种基本工具，已广泛用于各种生产过程的质量管控。该工具在统计学的假设检验原理的基础上，记录和监测产品某些关键质量特性的波动情况[1]。随着相关研究的进一步深入，人们发现仅凭观察波动是否超过上下限难以判断控制图是否会发生突然恶化，因此有学者对控制图的模式现象进行了研究，探究了各异常模式产生的原因，并针对各异常模式制定了相应的处理方案[2]。

为满足企业对产品质量监测过程的智能化需求，目前国内外学者运用控制图模式识别来实现产品质量波动的智能化监测，并对如何运用模式识别技术来快速识别控制图模式进行了大量的研究。要实现控制图的模式识别，首先需要提取控制图的特征，目前特征提取的方法主要有几何特征提取、统计特征提取与小波分析等[3]。在分类器的选择上，GHOMI等[4]、CHENG等[5]运用神经网络识别控制图模式取得了一定的效果，虽然神经网络具有很强的自学习能力，但也存在着拟合速度慢、样本需求量大等问题[6]。有学者将支持向量机(support vector machine，SVM)应用在控制图识别中，先运用粗糙集[7]对时域特征集进行维数约减，再运用遗传算法(genetic algorithm，GA)[7]、粒子群算法[8]对SVM的参数进行优化。上述研究表明，特征维数的约减对控制图识别精度的提高有一定帮助，使用智能算法优化参数后的SVM分类效果比优化前的好，但上述研究只提取了时域特征，特征集难以表示控制图的完整信息。为了更加完整地保留控制图的信息，宋李俊等[9]将控制图的原始特征和形状特征进行融合，很好地保留了控制图的信息，获得了较好的识别效果，但特征融合后，特征维数急剧增加，导致出现冗余特征，增加了计算复杂度。

针对上述问题，本文在现有研究的基础上，提出了一种基于融合特征约减的方法对高维的控制图特征集进行降维，运用SVM识别控制图的模式。实验结果表明，该方法能够很好地保持控制图的特征信息，同时提高识别精度，降低运算复杂度。

1 控制图识别基本理论

1.1 控制图模式现象

受实际生产过程中各种因素的影响，产品质量的波动呈现出一定的规律性，这使得控制图也呈现出不同的模式，包括正常模式(NOR)和6种异常模式：上升阶跃型(US)、下降阶跃型(DS)、上升趋势型(IT)、下降趋势型(DT)、周期型(CYC)和系统型(SYS)[10]，如图1所示。

1.2 控制图描述方法

在研究控制图模式识别的方法时，最佳的数据来源是生产实际，但在现实情况下，大多数企业并不能为研究提供所需的大量质量数据，因此在研究控制图识别方法时，往往运用蒙特卡洛模拟来产生不同模式控制图的仿真数据[5]。基于此，可设置出如下不同类型控制图采样值的仿真生成式。

(a)上升阶跃型 (b)下降阶跃型

(c)上升趋势型 (d)下降趋势型

(e)周期型 (f)系统型

图1 控制图的异常模式Fig.1 Various unnatural control chart patterns正常型控制图采样值的生成式为

y(t)=μ+σr(t)

(1)

式中，y(t)为某过程点的质量特性值；t为控制图中监测点的位置；μ、σ分别为样本集的均值和均方差；r(t)为制造过程中正常范围内的随机扰动，其值服从标准正态分布。

上升/下降阶跃型控制图采样值的生成式为

y(t)=μ+σr(t)±ks

(2)

其中，k的取值为0或1，k=0表示控制图在t点不发生阶跃，k=1表示控制图在t点发生阶跃；当模式为上升阶跃型时，k前的符号为正，下降阶跃型则为负；s为阶跃的幅值。

上升/下降趋势型控制图采样值的生成式为

y(t)=μ+σr(t)±tg

(3)

其中，g为上升/下降趋势的斜率，当模式为上升趋势型时，t前符号为正，反之则为负。

周期型控制图采样值的生成式为

y(t)=μ+σr(t)+asin(2πt/T)

(4)

式中，a为振幅；T为周期。

系统型控制图采样值的生成式为

y(t)=μ+σr(t)+d(-1)t

(5)

式中，d表示系统模式的偏离的均值程度。

2 控制图融合特征约减

2.1 控制图特征的提取

本文结合文献[3]与文献[11]，共提取出控制图的12种特征(6种统计特征和6种形状特征)用于特征融合。统计特征包括平均值M、标准差DS、偏度S、峰度K、均方值VMS和平均自相关系数A：

(6)

(7)

(8)

(9)

(10)

(11)

式中，N为控制图原始特征点的个数，即序列长度。

形状特征包括分段中点斜率的均值fAASL、分段中点斜率的极差fSRANGE、模式和均值线围成的面积与方差的比值fACLPI、全部采样点的最小二乘线性拟合线条斜率的符号量值fSB、均值线和模式线条的交点数与最小二乘线和模式线条的交点数的差fPSMLSC、最小二乘线和所有数据点匹配的均方误差的均值与最小二乘线和6个子集的一半数据点匹配的均方误差的均值的比率fREAE：

(12)

fSRANGE=maxsjk-minsjk

(13)

(14)

(15)

(16)

(17)

(18)

(19)

2.2 三类特征的融合

图2 特征融合的过程Fig.2 Process of feature fusion

2.3 基于核主成分分析的特征约减算法

融合后的特征虽然能更加充分地表示控制图的特征，但维数较大，存在冗余特征，增大了分类模型计算的复杂度。本文运用核主成分分析(kernel principal component analysis, KPCA)的方法对其降维。KPCA是主成分分析(principal component analysis，PCA)方法的非线性推广，它运用核空间的思想将数据非线性映射到高维特征空间，然后再运用PCA方法对高位数据降维[12]。相较于PCA方法，KPCA方法在降维前输入的特征集具有更多的特征维数，同时降维前特征集的非线性特征也保留得更好。下面介绍KPCA降维的主要过程。

设Xm×n(m为样本个数，n为特征维数)为原始特征空间，xi(i=1，2，…，m)为原始特征集合中的样本。将原始特征非线性地变换映射到高维空间H中，得到非线性映射Φ(X)，其结构为m×n′ (n′≫n)，然后求得Φ(X)的协方差矩阵：

C=ΦT(X)Φ(X)/m

(20)

C的特征值λ和特征向量ν满足

λν=Cν

(21)

则存在一组参数αi，使得

(22)

定义一个核矩阵Km×m，其中

Kij=Φ(xi)Φ(xj)j=1，2，…，m

(23)

可得式(21)的等价形式：

mλα=Kα

(24)

α=(α1，α2，…，αm)

在特征空间中，对特征向量α运用PCA进行特征提取后，得到满足主元贡献率的前k个特征向量。一般来说，为保证特征信息的完整性，前k个主元的累计贡献率应在85%～95%。基于此，将Φ(X)在各主元方向投影可得降维后的低维特征空间X′(X′为通过KPCA方法降维得到的数据)，计算公式如下：

(25)

然后运用应用范围最为广泛的高斯核函数计算核函数K(xi，X)：

(26)

式中，δ为高斯径向基函数的宽度。

3 SVM分类技术

SVM是一种基于结构风险最小化原则的模式识别方法。处理线性不可分的样本时，通过运用非线性映射的方法，将其映射到高维特征空间中，使其线性可分[13]。运用SVM进行分类时，需要选择合适的核函数类型，以及惩罚函数c与核函数g的值。根据文献[7]的研究结果，本文选择高斯核函数作为SVM分类器的核函数。在选择惩罚函数c与核函数g的值时，运用遗传算法对其寻优：对训练集进行交叉验证(cross validation，CV)并得到对应的准确率后，将此准确率作为GA中的适应度函数值，对SVM的参数进行优化。遗传算法的计算过程如图3所示。

图3 遗传算法计算流程Fig.3 Calculation flow of genetic algorithm

4 仿真实验验证

4.1 仿真数据集的产生

根据控制图的蒙特卡洛描述方法，参考文献[6]中的相关取值，取μ=0，σ=1，s∈(1，3)，g∈(0.1，0.26)，a∈(1.5，2.5)，T=8，d∈(1，3)。使用此规则共生成1400个样本集，包括7种控制图类型(正常型和6种异常型)，每种类型生成200个样本(100个作为训练集，余下的100个作为测试集)，每个控制图包括40个采样点。然后参照提取统计特征和形状特征的方法，提取样本集的12种统计特征和形状特征，将之与40个原始特征融合，使数据集中每个样本的特征维数都为52。

4.2 控制图融合特征的约减

根据KPCA算法，对高维融合特征降维处理，可算得前28个主成分的累计贡献率达到了95.20%，所有主成分的累计贡献率变化情况如图4所示。

图4 累计贡献率的变化情况Fig.4 Change of cumulative contribution

由运算结果和图4可看出，通过KPCA方法提取前28项主元，不但降低了过程样本的维数，而且使统计特征、形状特征和样本的原始特征得到了很好的保留。按照KPCA的特征选取标准，可将这28项主成分替代原有的52项特征构成新的样本集，对后续SVM分类模型的构建难度和计算速度可以起到优化效果。

4.3 分类模型的训练与参数优化

将经KPCA降维后的特征集分为训练集和测试集，运用包含700个样本的训练集对基于遗传算法的SVM参数优化模型的适应度进行交叉验证，设终止代数为100，种群数量为20，最终获得了优化后的惩罚函数c与核函数参数g的值，分别为69.8176、3.6278。控制图识别精度随进化代数的变化如图5所示。

4.4 实验结果分析

4.4.1 降维前后的识别精度

使用参数优化后的SVM分类器对测试集进行分类。为验证对融合特征使用KPCA降维的有效性，将降维前后各控制图类型的识别精度和总体平均识别精度进行比较，结果见表1。

由表1可知，在将样本特征降至28维后，识别精度有了较大提升，相较于高维特征集，运用低维特征集识别上升趋势型与下降趋势型时有更高的准确率；在识别其他类型时，运用降维后的特征集所得到的识别精度也更加稳定可靠。另外，由于维数得到了大量约减，所以降低了计算复杂度，提升了运算速度。

图5 基于GA的SVM参数优化过程Fig.5 Optimization of SVM parameters based on GA

维数精度(%)均值NORUSDSITDTCYCSYS5293．291009610077801001002898．7198999810010096100

4.4.2 与其他分类器识别精度的比较

为了进一步验证KPCA-GA-SVM分类器的性能，仍然采用降维前的52维融合特征，分别运用普通的SVM、经GA优化参数的SVM(GA-SVM)、多层感知器神经网络(multi layer perceptron neutral network，MLPNN)[9]、经网格搜索(grid search，GS)优化参数的SVM[9](输入的特征集包括五种形状特征和原始特征)即GS-SVM、本文方法进行比较。5种不同模型的分类器识别效果如表2所示。

表2 不同分类器的识别精度

由表2可以看出，维特维数是52时，SVM、GA-SVM与MLPNN分类的精度较本文方法低，且存在特征冗余的情况；GS-SVM分类器对45维融合特征(5维形状特征和40维原始特征)进行分类的效果有所提高，但仍然存在特征冗余度高、计算慢的缺点；本文方法KPCA-GA-SVM不仅剔除了冗余特征，还提高了分类的准确率。

5 模型的应用

为保证手机产品的装配质量，在生产手机外壳时，壳体上的电源键孔、音量键孔等开口宽度都需要达到很高的加工精度。为保证某旗舰手机外壳出线产品的合格率，必须运用检测设备及人员对该外壳电源键孔宽度进行全检。已知该孔宽度的设计质量标准为 (1.5±0.02)mm，现将实际生产过程中连续80次检测数据绘制成控制图(图6)。

图6 电源键孔宽度的均值控制图Fig.6 Mean control chart of the width of powerbwtton hole

将这80个数据以40为宽度向右逐个移动取值(当采样数据不满40个时，将蒙特卡洛模拟正常型得到的仿真数据插入前端)，经特征提取、融合后，运用KPCA-GA-SVM分类器对控制图进行识别。当识别到第40号样本时，识别结果为上升趋势型；当识别到第63号样本时，识别结果为下降阶跃型。根据此识别结果，参考文献[11]中这两种异常模式的产生原因，可得产生上升趋势型的原因是更换了新材料、刀具磨损和操作者疲劳等；产生下降阶跃型的原因是加工机器或检测方法的变化等。经逐步排查，发现两处异常分别是由刀具磨损和检验方法不标准导致的，与实际情况相符。上述案例说明本文所提出的分类器能够有效识别实际加工中的产品质量波动情况，验证了该分类模型在实际生产中的应用价值。

6 结论

(1)提取出控制图的统计特征、形状特征，将之与原始特征串联，形成融合特征集合。融合后的特征既保留了原始特征包含的全局特性信息，又提取了多种统计特征和形状特征，强化了样本集的特征表达，使控制图信息得到了更完整的描述。

(2)运用核主成分分析的方法对融合后的高维特征降维，不仅有效剔除了融合特征集中的冗余特性，还提升了分类器的识别精度，降低了分类模型的复杂度。

(3)运用遗传算法对支持向量机的参数进行优化，解决了对分类器性能影响极大的参数选择的问题，仿真结果表明，该算法有效提升了分类器识别的准确率。

(4)采用基于融合特征约减的KPCA-GA-SVM分类器进行控制图识别，在保证控制图特征完整度的前提下，充分发挥了核主成分分析方法在维数约减上的优势；运用GA-SVM对降维后的融合特征进行分类，既提高了分类器的识别能力，又避免了复杂的运算。

[1]BAIKJW,KANGHW,KANGCW,etal.TheOptimalControlLimitofaG-EWMAGControlChart[J].InternationalJournalofAdvancedManufacturingTechnology, 2011, 56(1):161-175.

[2]GAURISK,CHAKRABORTYS.RecognitionofControlChartPatternsUsingImprovedSelectionofFeatures[J].Computers&IndustrialEngineering, 2009, 56(4):1577-1588.

[3]RANAEEV,EBRAHIMZADEHA.ControlChartPatternRecognitionUsingaNovelHybridIntelligentMethod[J].AppliedSoftComputing, 2011, 11(2):2676-2686.

[4]GHOMISMTF,LESANYSA,KOOCHAKZADEHA.RecognitionofUnnaturalPatternsinProcessControlChartsthroughCombiningTwoTypesofNeuralNetworks[J].AppliedSoftComputing, 2011, 11(8):5444-5456.

[5]CHENGC,HUANGK,CHENP.RecognitionofControlChartPatternsUsingaNeuralNetwork-basedPatternRecognizerwithFeaturesExtractedfromCorrelationAnalysis[J].PatternAnalysisandApplications, 2015, 18(1):75-86.

[6] 黄爱芹. 基于数据驱动的调节阀故障诊断方法研究[D]. 济南:山东大学, 2015.HUANGAiqin.RecognitionofControlChartPatternsUsingaNeuralNetwork-basedPatternRecognizerwithFeaturesExtractedfromCorrelationAnalysis[D].Jinan:ShandongUniversity, 2015.

[7] 项前, 徐兰, 刘彬,等. 基于粗糙集与支持向量机的加工过程异常检测[J]. 计算机集成制造系统, 2015, 21(9):2467-2474.XIANGQian,XULan,LIUBin,etal.ProcessingAnomalyDetectionBasedonRoughSetandSupportVectorMachine[J].ComputerIntegratedManufacturingSystems, 2015, 21(9):2467-2474.

[8] 刘玉敏, 周昊飞. 基于多特征的PSO-MSVM动态过程质量异常模式识别[J]. 计算机应用研究, 2015(3):713-716.LIUYumin,ZHOUHaofei.RecognitionofQualityAbnormalPatternsforDynamicProcessBasedonMulti-featureswithPSO-MSVM[J].ApplicationResearchofComputers, 2015(3):713-716.

[9] 宋李俊，赵虎. 基于融合特征与支持向量机的控制图模式识别[J]. 计算机应用研究, 2014(3):937-941.SONGLijun,ZHAOHu.RecognitionofControlChartPatternsBasedonFeatureFusionwithSupportVectorMachine[J].ApplicationResearchofComputers, 2014(3):937-941.

[10]XANTHOPOULOSP,RAZZAGHIT.AWeightedSupportVectorMachineMethodforControlChartPatternRecognition[J].Computers&IndustrialEngineering, 2014, 70:134-149.

[11] 吴苍. 基于SPC控制图模式的自动生产线产品质量动态监控方法及应用[D]. 重庆:重庆大学, 2013.WUCang.QualityDynamicMonitoringMethodBasedonSPCControlChartPatternRecognitionforAutomaticProductionLineandApplication[D].Chongqing:ChongqingUniversity, 2013.

[12] 李太福, 易军, 苏盈盈, 等. 基于KPCA子空间虚假邻点判别的非线性建模的变量选择[J]. 机械工程学报, 2012, 48(10):192-198.LITaifu,YIJun,SUYingying,etal.VariableSelectionforNonlinearModelingBasedonFalseNearestNeighboursinKPCASubspace[J].JournalofMechanicalEngineering, 2012, 48(10):192-198.

[13] 赵春华, 董海江, 钟先友. 风电齿轮箱故障诊断的SVM参数优化[J]. 中国机械工程, 2015(16):2222-2225.ZHAOChunhua,DONGHaijiang,ZHONGXianyou.SVMParameterOptimizationinFaultDiagnosisforWindPowerGearBox[J].ChinaMechanicalEngineering, 2015(16):2222-2225.

(编辑 张 洋)

Control Chart Pattern Recognition Based on Fusion Feature Reduction and SVM

ZHAO Chunhua WANG Chengkang HUA Lu ZHENG Siyu LIANG Zhipeng

College of Mechanical and Power Engineering,China Three Gorges University,Yichang, Hubei,443002

In order to improve the intelligence of quality monitoring in machining processes, the paper proposed a control chart classification method based on fusion feature reduction and KPCA-SVM, on the basis of quality fluctuation which was described by control chart. Firstly, the Monte Carlo method was applied to generate the control chart data sets, statistical features and shape features were extracted to fuse with original features, then kernel principal component analysis was applied to reduce dimensionality of high dimensional fusion feature sets. Finally, genetic algorithm was used to optimize parameters of SVM. Recognition accuracy were compared through the simulation experiments with the applications of dimensionality reduction and different classification models, the results demonstrate that the higher recognition accuracy may be achieved by using the proposed method.

control chart; pattern recognition; feature fusion; dimension reduction; kernel principal component analysis(KPCA); support vector machine(SVM)

刘明周，男，1968年生。合肥工业大学机械与汽车工程学院教授、博士研究生导师。主要研究方向为制造过程监测与控制、制造系统建模与仿真和CIMS等。发表论文 160余篇。王 强(通信作者)，男，1987年生。合肥工业大学机械与汽车工程学院博士研究生。Email：wq_hfut@163.com。凌 琳，女，1987年生。合肥工业大学机械与汽车工程学院讲师。

2016-06-24

国家自然科学基金资助项目(51205230)；湖北省自然科学基金资助项目(2015CFB445)；宜昌市自然基础科学研究与应用项目(A15-302-a02)；赛尔网络下一代互联网技术创新项目(NGⅡ20150801)。

TH165.4;TP391.4

10.3969/j.issn.1004-132X.2017.08.009