一种改进的SOM神经网络在污水处理故障诊断中的应用

岳宇飞, 罗健旭

(华东理工大学自动化研究所,上海 200237)



一种改进的SOM神经网络在污水处理故障诊断中的应用

岳宇飞, 罗健旭

(华东理工大学自动化研究所,上海 200237)

自组织映射(SOM)神经网络初始权值的选取对神经网络的性能有重要的影响。采用改进的帝国竞争算法(IICA)优化局部权重失真指数(LWDI)寻优SOM神经网络的初始权值;利用改进后的SOM神经网络(IICA-SOM)对污水处理过程数据进行聚类和故障诊断。实验结果表明,与传统的SOM算法相比,IICA-SOM算法取得了更好的聚类效果,且故障诊断的误诊率更低。

故障诊断; 聚类; 自组织映射; 帝国竞争算法

污水处理过程是一个变量繁多、具有大时变、大时滞特点的动态非线性反应过程,实际运行过程中易出现各类故障。例如受用水量、天气等外部因素影响,污水处理过程的进水水质、水量会产生波动,从而对活性污泥造成冲击;反应池的pH异常、供氧不足、有毒物质的流入等,会引起污泥上涨、老化、中毒、膨胀等故障。另外污水处理过程的运行环境恶劣,会导致某些传感器或执行器腐蚀、损坏严重,致使输出信号产生偏差、冲击、漂移或输出恒定值等。并且,污水处理厂一些关键设备(如鼓风机、水泵等)长期运行也会产生机械故障。在污水处理过程中,对上述各种故障进行及时准确的发现及诊断,对污水处理厂的安全、稳定、长期运行有重要意义。

近年来,自组织映射(SOM)神经网络在污水处理故障诊断中得到了许多应用。Mika等[1]提出了一种基于SOM神经网络的自适应多变量监测方法,通过对污水处理数据各项指标的检测来预判故障的发生,从而避免工业事故的出现。Heikkinen等[2]介绍了一种基于SOM神经网络的分析方法,通过SOM对污水处理数据进行建模,并运用K-means方法对训练好的SOM神经网络权值进行聚类,每一类代表一种状态。在实际的污水处理应用中,该方法可以有效地对污水处理过程中的数据进行分析,确定它们分别属于哪个状态以及各个变量对状态的影响程度。Yu等[3]提出了一种基于多元回归、主成分分析和冗余分析的SOM预测模型,并运用该模型对受污染人工湿地中的溶解氧浓度和氨氮浓度进行预测,实验表明该模型能够很好地检测人工湿地中的污染物去除情况。SOM神经网络是一种自监督、自学习能力很强的神经网络,它能够从样本数据中提取到数据特征且所需的样本量较少,同时能对数据进行很好的聚类,因此在污水处理故障诊断领域有很好的应用前景,然而,SOM神经网络的性能对网络初始权值有较大的依赖。本文采用改进后的帝国竞争算法(IICA)来获取最优的初始权值,应用改进后的SOM神经网络(IICA-SOM)对污水处理过程数据进行故障诊断,实验结果显示IICA-SOM的聚类效果和诊断正确率都优于传统的SOM。

1 SOM原理及性能指标

1.1 SOM原理

SOM由芬兰学者Kohonen[4]于1982年提出,它是由一个全连接的神经元阵列组成的无监督、自组织、自学习的网络。该网络与其他神经网络的区别在于它既可以学习数据本身的特征,也可以学习数据之间的拓扑关系,因此神经网络在完成学习之后可以得到输入空间中存在的拓扑结构[5]。此外,SOM在学习输入数据拓扑结构的同时,也可以将输入空间的高维结构特性映射到低维空间中(一般为1维或者2维)[6]。SOM神经网络由输入层和输出层组成,两层之间实现全连接。在SOM网络对一个输入向量进行学习时,将产生一个获胜神经元,在进行权值更新时,获胜神经元及其周围神经元的权值都将得到更新。这样不断地学习下去,就可以使得输入空间中存在关联的数据在输出空间中也能够聚集在一处,形成具有关联性的神经元的集合,这就是SOM神经网络能在无先验知识的情况下对输入数据实现数据聚类的原因。另外SOM网络还具有将聚类结果可视化的功能。

SOM的学习原理[7]:假设某一神经元k的权值向量有n维,即ωk={wk1,wk2,…,wkn},n是输入空间的维数,其初始值一般设为[0,1]之间的随机值。在每一次的训练过程中,对于输入空间中的每一个输入数据x,根据式(1)计算输入数据与网络中每个神经元之间的欧式距离,获得与该输入数据距离最小的神经元ωc,并称之为获胜神经元(BMU)[8]。然后运用式(2)调整BMU及其相邻神经元的权值向量,使它们更加接近于输入数据x。不断重复上述过程,直到神经元的权值向量达到全局收敛。

‖x(t)-ωc(t)‖≤‖x(t)-ωi(t)‖

(1)

ωi(t+1)=ωi(t)+η(t)hc(x),i(x(t)-ωi(t))

(2)

其中:η(t)为t时刻的学习速率,随着训练的进行逐渐减小;hc(x),i为邻域调整函数。

由式(2)可以看出,SOM的每一次训练都是在不停地缩小神经元与输入数据之间的距离。可以得到式(3):

(3)

其中,Xmean为映射到神经元k上的所有输入数据的均值。

因此,当SOM神经网络的训练次数足够大时,每个神经元的权值向量与映射到该神经元上所有输入样本的均值将近似相等,即每个神经元都近似表示为映射到该神经元上的数据样本的中心。

1.2 SOM的大小确定

SOM输出层中的神经元个数及排列方式决定了SOM分类结果的精度及其泛化性,同时神经元个数越多SOM的性能越好,但是计算代价也越大。因此,怎样确定神经元的个数就显得十分关键。根据文献[9]的介绍,SOM输出层神经元个数及大小的确定一般按以下公式进行(近似相等):

(4)

(5)

其中:N为输入空间的样本数;M为神经元的个数;e1、e2为输入空间样本矩阵最大的两个特征值;n1、n2分别表示输出层神经元的行数和列数。

1.3 性能指标

文献[4]为SOM网络的性能评价定义了一个指标——局部失真指数(LWDI),即

D=E[p(x)]

(6)

(7)

其中:E表示数学期望;x表示输入向量;ω(k1,k2)表示坐标为(k1,k2)的神经元的权值;(c1,c2)是输入向量x的获胜神经元的坐标;hx(•)为邻域函数。本文采用的领域函数是Moore函数,形式为

其他值都为0,即只有围绕获胜神经元的神经元才会被激活。

局部权值失真指数可以较为全面地衡量一个SOM神经网络的质量,该指数越小则表明网络的质量越好。从该指数的定义上看,如果把邻域函数去除则与K-means算法的数学表达式很相似[10],因此可以通过最小化LWDI来不断修正SOM网络的聚类中心。由于初始权值对SOM网络性能的影响非常显著,所以本文通过帝国竞争算法寻找使LWDI最小的网络初始权值,以改善网络的性能。

2 帝国竞争算法的原理及改进

2.1 帝国竞争算法的原理

帝国竞争算法(ICA)[11]是一种进化类算法,一般包含初始帝国的产生、同化机制、竞争机制、帝国灭亡4个部分。理想情况下,同化机制使得所有殖民地都和帝国处于同一位置,而帝国竞争使得最后只剩一个帝国,即全局最优解。

(1) 初始帝国的产生。在ICA中个体称为“国家”,类似于遗传算法中的染色体,对于某一个Nvar维的优化问题,国家表示如下:

country=[p1,p2,…,pNvar]

(8)

通过代价函数来衡量每个国家的实力:

cost=f(country)

(9)

初始帝国的产生主要由以下几步完成:

Step1 随机产生Npop个国家,选择其中实力较强的前Nimp个国家作为帝国,剩下的Ncol(Ncol=Npop-Nimp)个国家作为殖民地;

Step2 根据帝国实力的强弱划分殖民地。每个帝国获得的殖民地个数按式(10)～式(12)确定:

(10)

(11)

(12)

其中:cn表示第n个帝国的代价函数值;i的取值范围为[1,Nimp];Cn表示标准代价;pn表示第n个帝国的标准实力;N.C.n为第n个帝国初始时获得的殖民地个数。

Step3 每个帝国从Ncol个殖民地中随机获取相应个数的殖民地,形成Nimp个帝国主义国家。

(2) 同化机制。同化是指每个帝国主义国家的所有殖民地都向其帝国移动。每个殖民地向帝国移动的距离设为x且服从均匀分布,定义如下:

x～U(0,β×d)

(13)

其中:β>1;d是帝国与其殖民地之间的最远距离。另外,为了扩大搜索区域,增加了一个偏移角θ,且服从均匀分布,定义如下:

θ～U(-γ,γ)

(14)

其中,0<γ<π,表示最大的偏移角度。

在殖民地移动的过程中,当殖民地的实力强于帝国时,交换帝国与殖民地的位置。此时,该殖民地成为帝国,而帝国则沦为殖民地。

(3) 竞争机制。竞争是指帝国主义国家与帝国主义国家之间的竞争,实力强的吞并实力弱的。在帝国竞争过程中,选择综合实力最弱帝国主义国家的殖民地作为各个帝国竞争的对象,且实力越强的帝国获得该殖民地的几率越大,最终获得胜利的帝国将获得所有的殖民地。

每个帝国主义国家的实力由两部分组成:帝国自身的实力以及其殖民地的实力,即帝国的代价函数以及殖民地的代价函数。帝国的综合实力定义如下:

(15)

(16)

(17)

其中:T.C.n表示第n个帝国的综合实力;f(•)表示代价函数;impn表示第n个帝国;coli表示第i个殖民地,变化范围为[1,N.C.n];0<ξ<1,ξ表示殖民地对帝国总体实力的影响程度;N.T.C.n表示第n个帝国的标准综合国力,i的取值范围为[1,Nimp];PPn表示第n个帝国获得竞争胜利的概率。

(4) 帝国灭亡。帝国竞争使得实力弱的帝国主义国家的实力越来越弱,直至该帝国的所有殖民地都失去后,该帝国则灭亡。

2.2 基于帝国合并的改进ICA

ICA算法的核心在于帝国内部的同化机制以及帝国与帝国之间的竞争机制,同化机制确保了该算法的局部搜索能力,而竞争机制则确保了算法的全局搜索能力。而当ICA算法应用于高维问题寻优时很容易陷入局部最优,从而出现算法的收敛速度变慢等问题。对于收敛速度慢的问题,本文引入了帝国合并机制。帝国进行合并发生在帝国竞争阶段,若两个帝国需要进行合并,则必须满足以下两个条件:

(1) 两个帝国所在的位置比较靠近,即两者间的距离比较短;

(2) 两个帝国的实力比较接近,即两者代价函数值近似相等。

即满足式(18)、式(19):

dist(impi,impj)

(18)

(19)

其中:0

图1 IICA流程Fig.1 Flowchart of IICA

限制两个帝国的距离较近是为了确保其殖民地的寻优方向近似相同;限制代价函数值近似相等是为了确保其殖民地的寻优目标近似相同。提出这两个条件的原因是当两个帝国的位置和实力相近时,它们的殖民地的移动方向和目标都大致相同,但是算法仍需要执行两次,显然这是没有意义的,因此有必要进行合并。当两个帝国合并为一个帝国时,新帝国的实力为原来两个帝国实力的均值,其殖民地为原来两个帝国所拥有的殖民地的总和。

由于帝国合并机制的存在,IICA与ICA相比迭代次数减少、寻优速度加快,但算法的复杂度在一定程度上有所提高。这是由于帝国合并的存在(即式(18)、(19)),因此算法中会增加2个参数t1和t2。

2.3 算法的性能及评价

为了验证IICA算法的实际性能,选用4个常用的测试函数进行实验。测试函数见表1。

若待优化函数的维数大、取值范围大、且需要的目标精度高,那么优化的难度也高。为了便于比较和突出算法的性能,算法的最大迭代次数设为1 200,并通过重复多次实验取其平均值,实验结果如表2所示。

从表2可以发现,IICA算法的各个测试函数的均值都优于ICA算法。值得注意的是Griewank和Rosenbrock函数,Griewank是一个多峰值函数,有很多极小值点,因此很容易使算法陷入局部最优,而IICA算法依然能快速地找到全局最优值;Rosenbrock函数虽然是一个单峰函数,但在函数的最优值附近呈香蕉状,变量之间的相关性很强,梯度信息极易误导算法,而IICA依然能够寻得较优的值。因此,可以认为IICA算法在处理多维数、多峰值函数问题上拥有比较强的性能。

2.4 基于IICA算法的SOM神经网络

根据帝国竞争算法的优化思想,为了获得最优值,需要计算每个国家的代价函数。由于LWDI能够对SOM神经网络性能做出比较全面的评价,因此IICA将对LWDI进行优化,算法中代价函数如式(20)所示。

cost=1/(1+D)

D=E[p(x)]

(20)

基于改进后帝国竞争算法的SOM神经网络算法(IICA-SOM)的基本步骤如下:

Step1 初始化国家,从样本数据集中随机选取c个(c等于神经元的个数)样本数据组成一个国家,反复执行该步直到国家数量达到设定值;

表1 测试函数表

表2 两种算法实验结果比较

Step2 根据式(20)计算每个国家的代价函数值;

Step3 根据代价函数值的大小形成若干个帝国主义国家;

Step4 在帝国主义国家内部进行同化机制、帝国主义国家之间进行竞争机制和帝国合并机制后,形成新的帝国主义国家;

Step5 计算新一代帝国主义国家的综合实力;

Step6 检查终止条件,如果达到最大的迭代次数或者只剩下一个帝国主义国家,则终止迭代;否则

回到Step4;

Step7 将IICA算法得到的最优解作为SOM网络神经元的初始权值。

3 改进的SOM神经网络在污水处理故障诊断中的应用

3.1 BSM1模型

污水处理过程“1号基准仿真模型”(BSM1)是评价污水控制、优化策略广为采用的一个平台,其生化反应池采用“1号活性污泥模型”(ASM1)[12]来模拟生化反应过程,该反应过程涉及13种组分;二沉池采用的是Takacs等开发的二次指数沉淀速率模型[13]。BSM1的模型结构如图2所示,有2个PI控制器,一个控制的是内回流量,其输入是2号池出水中的硝态氮的测量值;另一个控制的是5号池的氧转化系数(kla5),其输入变量为5号池出水中溶解氧的测量值。

图2 BSM1结构Fig.2 Structure of BSM1 model

模型运行14 d,每隔15 min采样一次得到实验数据,数据集大小为1 345×13。故障数据主要有两类:传感器故障和过程故障。实验中共使用了5种故障数据,故障类型如表3所示。由于两个传感器同时发生故障的概率比较小,故将2个传感器同时发生故障的情况单独作为一类故障。

表3 故障类型表

3.2 仿真实验及结果分析

3.2.1 实验设置 实验输入数据集大小为1 345×13,根据式(4)和式(5)计算可得SOM的神经元数目应设为169,输出层的大小设为13×13。实验采用传统的SOM神经网络和IICA-SOM两种方法对故障数据进行聚类和故障诊断,并在输入数据前对样本数据进行归一化处理。在实验中被故障数据激活的神经元称为“故障神经元”,此外,实验得到的数值结果均是多次实验的平均值。

3.2.2 单个故障 因为溶解氧传感器故障最常见,所以选取故障F2进行实验。实验数据包括故障数据(F2)和正常数据(Normal),从正常数据中随机选取1 245个数据并从故障数据集F2中随机选取100个数据组成输入样本数据集。其中70%用作训练数据集(正常数据872个,故障数据70个),30%用作测试数据集(正常数据373个,故障数据30个),实验结果如表4和图3所示。

从表4中可以看出,SOM和IICA-SOM两种算法在样本数据集中只含有一类故障数据时,能够很好地进行诊断,误判率都在5%以内,且IICA-SOM算法的误判率相对于传统的SOM算法略低一些。从图3可以看出,IICA-SOM和传统的SOM算法都可以将样本数据聚成两类,分别是故障数据集和正常数据集。

表4 故障F2诊断测试结果

图3 SOM和IICA-SOM训练聚类结果(单个故障)Fig.3 Clustering results of SOM and IICA-SOM (Single)

3.2.3 多个故障 实验中样本数据集包含正常数据集和5类故障数据集共1 345个,从正常数据集(Normal)中随机选取1 000个,从每类故障数据集中随机取69个。其中70%作为训练数据(正常数据700个,故障数据每类48个),剩余30%作为测试数据(正常数据300个,故障数据每类21个),实验结果如图4和表5所示。

从图4中可以看出,两种算法总体上都对数据进行了正确的聚类。传统的SOM神经网络完成训练后,虽然可以对故障数据进行聚类,但是聚类效果并不理想。5类故障数据集中,每类都被聚成了两部分,而且故障F1和F5的两部分之间相距也比较远,此结果表明SOM神经网络在完成训练后,其神经元的权值并没有很好地获得输入数据的特征。该结果的产生是由于SOM采用启发式的训练算法,神经元的初始权值是随机产生的,因此受输入数据的顺序及样本数据集大小的影响比较大,很容易产生“死神经元”(在算法迭代的过程中始终得不到激活)。而此类神经元在训练过程中将一直不能获取到输入数据的特征,所以这将导致所聚成的类不集中。反观IICA-SOM神经网络,聚类效果要比传统的SOM优秀,只有F1和F3的故障数据没有聚在一起。这是因为通过IICA算法对网络性能评价指标LWDI的优化能获取最优的网络初始权值,使得SOM神经网络中尽可能少地出现“死神经元”,从而使神经元尽可能获取输入数据的特征信息。从表5故障诊断测试结果可以看出,IICA-SOM对每一类型故障的误判率都要低于SOM的误判率,尤其是F1故障的误判率只有SOM的一半。从整体误判率来看,SOM算法的误判率比IICA-SOM算法高出41%左右,而且IICA-SOM的误判率低于20%。因此,IICA-SOM相较于传统的SOM在聚类结果和诊断误判率方面都有了大幅改善。

图4 SOM和IICA-SOM训练聚类结果(多个故障)Fig.4 Clustering of result of SOM and IICA-SOM (Multiple)

故障类型激活故障神经元次数激活非故障神经元次数误判率/%平均误判率/%F113.47.636.2F215.75.325.2F314.96.129.0F417.43.416.2F520.30.73.322.0

表6 IICA-SOM故障诊断测试结果

由上述两组实验可以发现,多个故障的误判率比单个故障的误判率高很多。这是因为多个故障实验中的故障种类比较多,当故障数据的种类增加时,SOM神经网络所要记录的数据特征就会增加,所以诊断的误判率会有所增加。

4 结 论

本文采用改进后的帝国竞争算法对权重失真指数进行优化,并将算法优化后的最优解作为SOM神经网络的初始权值,以提高网络的质量。SOM作为一种自监督、自学习的神经网络,能够从样本数据集中提取到输入数据的特征,并根据这些特征进行聚类。IICA-SOM除秉承了传统SOM算法的优点外,在聚类效果和故障诊断的正确率上都有了很大的提高,且从实验结果来看,改进后的算法可以将误诊率维持在一个较低的水平,所以IICA-SOM算法对于实际污水处理过程中的故障诊断具有一定的参考价值。

[1] MIKA L,ILKKA L.Advanced monitoring platform for industrial wastewater treatment:Multivariable approach using the self-organizing map[J].Environment Modelling & Software,2013,48(7):193-201.

[2] HEIKKINEN M,POUTIAINEN H.Subtraction analysis based on self-organizing maps for an industrial wastewater treatment process[J].Mathematics and Computers in Simulation,2011,82(3):450-459.

[3] YU Dong,MIKLAS S.Statistical modeling of contaminants removal in mature integrated constructed wetland sediments [J].Journal of Environment Engineering,2012,138(10):1009-1017.

[4] KOHONEN T.Self-organizing formation of topologically correct feature maps [J].Biological Cybernetics,1982,43(1):59-69.

[5] CAI Qiao,HE Haibo,MAN Hong.Imbalanced evolving self-organizing learning [J].Neurocomputing,2014,133(10):258-270.

[6] SOLEDAD D,CONSUELO G,ESTIBALIZ M,etal.A combined measure for quantifying and qualifying the topology preservation of growing self-organizing maps[J].Neurocomputing,2011,74 (16):2624-2632.

[7] HAYKIN S.Neural Networks:A Comprehensive Foundation[M].2nd Edition.Beijing:Tsinghua University Press,2011.

[8] GHASEMINEZHAD M H,KARAMI A.A novel self-organizing map(SOM) neural network for discrete groups of data clustering[J].Applied Soft Computing,2011,46(11):3771-3778.

[9] HILARIO L.Self-organizing map and clustering for wastewater treatment monitoring[J].Engineering Applications of Artificial Intelligence,2004,17(3):215-225.

[10] DEMARTINES P,HERAULT J.Curvilinear component analysis:A self-organizing neural network for nonlinear mapping of data sets [J].IEEE Transaction on Neural Networks,1997,8(1):145-154.

[11] ATASHPAZ-GARGARI E,LUCAS C.Imperialist competitive algorithm:An algorithm for optimization inspired by imperialistic competition[C]//Proceedings of the 2007 IEEE Congress on Evolutionary Computation.Piscataway:IEEE,2007:4661-4667.

[12] BAHAR S,CIGGIN A S.A simple kinetic modeling approach for aerobic stabilization of real waste activated sludge[J].Chemical Engineering Journal,2016,303(1):194-201.

[13] TAKACS I,PATRY G,NOLASCO D.A dynamic model of the clarilication thickening process[J].Water Research,1991,25(10):1263-1271.

An Application of Improved SOM Neural Network in Fault Diagnosis of Wastewater Treatment

YUE Yu-fei, LUO Jian-xu

(Institute of Automation,East China University of Science and Technology,Shanghai 200237,China)

The selecting of the initial weights of the self-organizing map (SOM) neural network has an important impact on the performance of the network.In this paper,by means of an improved imperialists competitive algorithm (IICA) to minimize the locally weight distortion index,the initial weights of the SOM neural network can be obtained optimally.Besides,the improved SOM neural network (IICA-SOM) is applied in the clustering and fault diagnosis of the wastewater treatment process data.The experiment result demonstrates that,compared with the traditional SOM neural network,IICA-SOM can attain better performance in clustering and lower misdiagnosis rate in the fault diagnosis.

fault diagnosis; cluster; SOM; ICA

1006-3080(2017)03-0389-08

10.14135/j.cnki.1006-3080.2017.03.015

2016-10-12

国家自然科学基金(61304071)

岳宇飞(1991-),男,硕士生,主要研究方向为工业过程建模与优化。

罗健旭,E-mail:jxluo@ecust.edu.cn

TP183

A