基于MSADE-IT2FNN模型的软测量建模方法及应用

刘家璞,赵涛岩+,曹江涛,李 平

(1.辽宁石油化工大学 信息与控制工程学院,辽宁 抚顺 113001;2.辽宁科技大学 电子与信息工程学院,辽宁 鞍山 114051)

0 引言

复杂工业过程中某些关键变量受测量方法和环境因素的影响,很难被及时、准确地在线测量,而关键参数的在线测量是企业实现实时优化、故障诊断,从而提高生产效率的重要技术手段[1]。软测量建模是解决工业过程关键变量在线测量的常用方法,是对先进控制和故障诊断的有效补充。而在软测量建模中,模型的选择对于其性能的影响是巨大的。目前,软测量建模中常用的模型有基于回归分析[2-3]、支持向量机[4-5]、概率核函数[6]、径向基神经网络[7]、模糊神经网络[8-10]等。模糊神经网络合并了模糊逻辑系统与神经网络的优点,可以有效利用工程师的经验并且具备学习能力,适应性强、准确性高[11]。区间二型模糊神经网络(Interval Type-2 Fuzzy Neural Network,IT2FNN)近年来受到了学者们越来越多的关注,相比与传统的模糊神经网络,其具有更强的处理不确定性问题和抗干扰性问题的能力,IT2FNN已经在非线性系统建模方面得到了很多成功的应用[12-15]。文献[16]提出了一种基于信息传递强度的算法,该算法可以评估每条模糊规则的独立分量以优化IT2FNN的结构,最后应用在几个非线性系统模型和水质预测的软测量建模中。文献[17]提出了基于混合优化算法的IT2FNN,根据相似性原理将数据聚类产生少量规则,利用量子细菌觅食算法和最小二乘算法实现参数优化,最后把该网络应用到了火电厂烟气选择性催化还原(Selective Catalytic Reduction,SCR)技术脱硝效率的软测量建模中。文献[18]提出了一种基于IT2FNN的出水氨氮软测量模型,由于IT2FNN模型的结构和初始参数随机设定,建模效果过于依赖初始值的设定。文献[19]提出一种基于自组织IT2FNN的乙烯裂解炉收率软测量模型,该网络利用4个不同模糊化参数的模糊c均值聚类(Fuzzy C-Means,FCM)算法来确定模糊规则的前件参数,然后利用聚类有效性标准确定网络的规则数(网络结构),实验结果显示该模型具有良好的预测性能。文献[20]提出了一种基于动态群体合作的粒子群算法用来优化IT2FNN模型的参数,将动态群体和粒子群算法相结合,提高了模型的学习效率,最后应用到混沌时间序列预测。

虽然IT2FNN在处理不确定性问题时,具有很大的优势,但是它的计算过程也更复杂,有更多的参数需要调整,增加了设计的难度。在IT2FNN参数优化中使用最多的是梯度下降法,虽然梯度下降法收敛速度快,但容易受到局部最优问题的影响。同时初值的设置对IT2FNN建模精度影响较大,初值不合适会导致模型建模精度下降。如何设置规则数量,确定初始参数值,以及如何优化IT2FNN中的参数,使其提高建模精度成为亟须解决的问题。

差分进化(Differential Evolution,DE)算法是一种实数编码方式的全局搜索算法,也是一种基于种群的全局搜索算法,具有较强的全局搜索能力和较好的鲁棒性能。但是在实际应用中,DE易出现收敛速度减慢甚至早熟的现象。针对该问题,国内外学者提出了很多改进的DE,主要从种群初始化,变异策略、以及缩放因子和交叉概率的取值等方面进行改进。文献[21]提出了随机变异的DE,但是由于缩放因子的随机化策略,导致训练结果稳定性较差。文献[22]提出了基于进化方向改进的DE,将较优的子代与父代之间的差值向量作为进化方向添加到变异操作中。文献[23]提出利用余弦函数来优化DE的参数,并给出了综合分布参数的概念,利用综合分布自适应调整参数。文献[24]提出了基于反对的学习(Opposition-Based Learning,OBL)策略的DE,通过比较个体与它的反面的适应度,并将更适合的个体保留在群体中,从而加速了搜索过程,且具有更好的能力去探索有潜力的区域,使DE不会出现停滞或过早收敛的情况。上述改进算法虽然取得了一定效果,但是在如何平衡算法的探索和开发能力这一方面仍需要进一步的研究。

综上所述,本文提出一种多策略、自适应的差分进化算法,并利用该算法作为IT2FNN的结构学习算法。首先,针对传统DE易出现收敛速度减慢甚至早熟的缺点,引入种群平均适应度值,使个体采用不同的策略去进化,同时采用自适应的缩放因子和交叉概率,进一步提升了DE的寻优能力;其次,该算法利用IT2FNN模型的均方根误差作为适应度函数,通过搜索不同规则下的最小的均方根误差(Root Mean Square Error,RMSE)值,来确定IT2FNN的结构(规则数)和初始参数;IT2FNN参数学习算法基于KM降型过程中的左、右转折点分区域利用梯度下降法进行学习与调整;最后,将所提方法应用于Mackey-Glass混沌时间序列的预测和酿酒过程淀粉利用率软测量建模问题中,实验结果表明该方法具有较高的预测精度。

1 区间二型模糊神经网络

区间二型模糊神经网络的结构如图1所示,它是一个具有五层结构的网络,分别为输入层、隶属度函数层、规则层、降型层和输出层。本文中网络模糊规则采用Mamdani形式,其后件参数为一个质心区间[25]。IT2FNN中的第j条模糊规则为：

图1 区间二型模糊神经网络结构图

(1)

IT2FNN各层的功能如下所示：

(1)输入层 每个节点表示一个输入,该层不做任何计算直接传送到下一层。

(2)模糊化层 也称隶属度函数层,每一个节点表示一个隶属度函数。如图2所示,分别是具有不确定标准差(如图2a)和不确定均值(如图2b)的高斯区间二型模糊集合。图2b阴影的区域为区间二型模糊集合的不确定轨迹(FOU),它由上、下两个一型模糊集合包围组成的,分别称为上隶属度函数和下隶属度函数,图中用UMF和LMF表示。本文使用图2中具有不确定均值的高斯区间二型隶属度函数。

a 不确定标准差 b 不确定均值图2 不确定标准差和不确定均值的区间二型高斯隶属度函数

其表达式如下：

(2)

其中：

(3)

(4)

(3)规则层 也称激励层,在这层中每个节点代表一条模糊规则,利用product-norm规则下的meet运算计算规则前件激励强度,第j条规则的激励区间Fj(x)表示如下：

(5)

(4)降型层 该层主要完成区间二型模糊系统的降型操作,其输出为一个传统的模糊集合,可表示为[yl,yr],该层的输出如下：

(6)

其中：

(7)

(8)

(5)输出层 其节点表示整个网络的输出,为了提高网络的性能,引入加权因子q,网络输出如下所示：

y=qyl+(1-q)yr。

(9)

其中加权因子q满足0≤q≤1,通过自适应调节q值改变yl和yr的比例以提升网络的精度。

2 结构学习算法

2.1 传统的差分进化算法

DE算法是一种基于种群的智能优化算法,不依赖问题的特征信息,借助于种群个体间的差分信息对个体形成扰动来搜索整个个体空间,并利用贪婪竞争机制进行优化,寻求问题的最优解。DE的变异方式可以有效利用群体的分布特性提高算法的搜索能力。差分进化算法的基本流程如下：

步骤1产生初始种群。

Xk,0=Xk,min+(Xk,max-Xk,min)×rand。

(10)

其中rand为[0,1]之间的随机实数。

步骤2变异操作。

变异操作是差分进化算法的核心,在差分方向上经过放缩产生更多优异的个体。变异操作存在多种不同形式的策略,下面只介绍一种经典策略[27]：

Vk,E=Xr1,E+F×(Xr2,E-Xr3,E)。

(11)

其中：r1、r2和r3为区间[1,Np]内与k不等的随机整数,且满足两两互不相等;缩放因子F为区间(0,1)内的正实数,E为进化代数。

步骤3交叉操作。

交叉操作主要完成变异后的向量和父代向量的信息交换,最常用的二项式交叉表示为：

(12)

其中交叉概率CRk为区间(0,1)内的正实数。

步骤4选择操作。

在父代向量和交叉后向量之间选择最优适应度的向量,优者进入下一轮循环,其表达式为：

(13)

2.2 多策略、自适应差分进化算法

2.2.1 种群初始化

针对IT2FNN的结构学习,自适应差分进化算法(Multi-Strategy and Adaptive Differential Evolution algorithm,MSADE)初始化种群的方法如下：

规则前件隶属度函数中心向量表示如下：

(14)

(15)

隶属度函数的宽度向量表示如下：

(16)

模糊规则后件质心的向量表示如下：

(17)

综上,Np个解向量表示如下：

(18)

初始化种群表示为：

(19)

2.2.2 改进变异策略

执行变异操作过程中,选用单一策略很难平衡算法的开发和探索能力,为此本文采用多策略的变异操作以提高算法的寻优效率。两种策略表示如下：

(1)策略一

Vk,E=Xr1,E+Fk,E×(Xr2,E-Xr3,E)+
Fk,E×(Xr4,E-Xr5,E)。

(20)

(2)策略二

Vk,E=Xk,E+Fk,E×(Xbest-Xpbest,E)。

(21)

其中：r1,r2,r3,r4,r5为区间[1,Np]内与k不等的随机整数,且满足两两互不相等,Xbest为种群中最优的个体,Xpbest,E和Xpworst,E分别为Xr1,E,Xr2,E,Xr3,E,Xr4,E,Xr5,E中适应度值最优的个体和适应度值最差的个体。上述两种策略的触发条件如下：

(22)

2.2.3 改进的缩放因子和交叉概率

传统DE中缩放因子和交叉概率的取值是固定不变的,适应性差,易陷入局部最优解,容易出现早熟现象。为了解决这个问题,本文采用一种自适应的缩放因子Fk,E和交叉概率CRk,E。

(23)

CRk,E=1-Fk,E。

(24)

其中：Fu=0.9,Fl=0.1,Fk,E和CRk,E的取值根据生成的新个体的适应度值自适应变化。

2.3 MSADE优化IT2FNN结构

目前,二型模糊领域的研究者主要关注IT2FNN结构学习和参数学习的改进,也取得了一些成果。文献[28]～文献[32]分别利用粒子群优化(Particle Swarm Optimization,PSO)算法、量子粒子群优化(Quantum PSO,QPSO)算法、动态群合作粒子群(Dynamic Group Collaborative PSO,DGCPSO)、遗传算法(Genetic Algorithm,GA)、灰狼优化(Grey Wolf Optimization,GWO)算法对IT2FNN的结构与参数进行了优化,虽然取得了较好的效果,但是在训练过程中种群数量以及进化代数过于庞大,导致训练时间过长、计算效率低下。本文提出的MSADE算法利用较少的种群数量和进化代数,去搜索不同规则数下的最小RMSE值,来确定网络的最优规则数和初始参数。MSADE算法优化IT2FNN的具体步骤如下所示：

步骤1设置初始规则数j=2,种群数量Np=50,初始代数E=1,最大迭代次数G1=30,最大规则数J=30。

步骤2按照上文提到的初始化方法生成j条规则下的初始种群。

步骤3利用样本数据对IT2FNN进行训练,计算得到IT2FNN输出与样本输出之间的误差。

步骤4计算个体适应度函数值。适应度函数用来比较种群中个体的优劣程度,本文选择均方根误差(RMSE)作为适应度函数,适应度函数表达式为：

(25)

步骤5执行上式变异、交叉、选择操作,令E=E+1,若E

步骤6令E=1、j=j+1,转步骤2。当j>30时,停止迭代,适应度函数RMSE值最小时所对应的模糊规则数为最优规则数,即确定了IT2FNN的网络结构及网络的初始参数。如图3所示为MSADE优化IT2FNN结构和初始参数的流程图。

图3 MSADE优化IT2FNN结构和初始参数流程图

3 参数学习算法

本文所提MSADE-IT2FNN模型参数利用梯度下降法进行学习,这里选择误差函数作为性能函数如下：

(26)

(27)

(28)

(29)

(30)

(31)

(32)

其中εm,εσ,εw和εq分别表示不确定中心、宽度、规则后件参数及加权因子的学习率。由于KM算法中存在左、右转折点问题,进行函数求导时,参数应根据转折点分区域进行学习与调整,具体的推导过程如下：

(33)

(34)

(35)

(36)

(37)

(38)

当j≤L时,

(39)

当j>L时,

(40)

当j≤R时,

(41)

当j>R时,

(42)

(43)

(44)

(45)

(46)

(47)

(48)

4 仿真实例与分析

为了证明所提MSADE-IT2FNN模型的性能,将其应用于Mackey-Glass混沌时间序列的预测[33]和酿酒发酵过程中淀粉利用率[34]的软测量中。为了公平比较模型的性能,引入均方根误差RMSE作为性能指标进行比较[35]。

4.1 Mackey-Glass混沌时间序列

作为一种经典的非线性系统,Mackey-Glass混沌时间序列经常被用来测试模型的性能,其数学表达式如下：

(49)

其中初始状态x(0)=1.2、a=0.2、b=0.1、c=10、τ=17,常数时滞τ越大,系统的混沌程度越高。该系统的输入变量为[x(t-24),x(t-18),x(t-12),x(t-6)],输出变量为x(t)。在时间t=[124,1 123]区间产生1 000个样本数据,其中前500组样本数据用来训练模型,后500组用来测试模型效果。

由上文的结构学习算法得出DE-IT2FNN模型和MSADE-IT2FNN模型在不同模糊规则数下的适应度值如图4所示,由图4中曲线可以看出,本文提出的MSADE-IT2FNN模型在寻优能力方面明显优于DE-IT2FNN模型,DE-IT2FNN模型在拥有7条模糊规则的时候具有最小的适应度值,MSADE-IT2FNN模型在拥有3条模糊规则的时候具有最小的适应度值,从而确定两种模型的模糊规则数分别为7和3。

图4 不同规则下的适应度值

FNN模型、DE-IT2FNN模型和MSADE-IT2FNN模型的测试结果和测试误差分别如图5和图6所示。从图5中的仿真曲线可以看出在预测过程中,FNN模型部分能跟踪上系统的输出曲线,但是总体上误差较大,而DE-IT2FNN模型和MSADE-IT2FNN模型总体上拥有较好的测试效果。从图6中的测试误差曲线可以看出,本文提出的MSADE-IT2FNN模型的测试误差明显小于FNN模型和DE-IT2FNN模型。

图5 3种模型的测试结果

图6 3种模型的测试误差

为了进一步验证MSADE-IT2FNN模型的优势,将训练和测试结果与其他的模型进行了比较,包括自组织径向基神经网络(Self-Organizing Radial Basis FNN,SORBFNN)[36]、简化的自进化区间二型模糊神经网络(Simplified Interval Type-2 FNN,SIT2FNN)[37]、自进化补偿区间二型模糊神经网络(TSK-type-based Self-evolving Compensatory Interval Type-2 FNN,TSCIT2FNN)[38]、支持向量机回归区间二型模糊神经网络(IT2FNN with Support-Vector Regression,IT2FNN-SVR)[39]、模糊神经网络(FNN)、DE-IT2FNN。由表1可以明显看出,本文提出的MSADE-IT2FNN模型与其他几种模型相比,在相同的训练数据和测试数据情况下(t=[124,1 123]),训练过程和测试过程中都拥有较小的RMSE值,并且只有3条模糊规则,模型结构也相对简单,说明提出的MSADE-IT2FNN模型在处理非线性系统建模问题时是有效的。

表1 不同模型的性能比较

4.2 酿酒过程淀粉利用率软测量建模

白酒酿制过程是一个复杂的生物化学反应过程,决定白酒品质和产量的各项指标如温度、水分、淀粉含量、酸度等互相影响、互相制约,导致白酒酿制过程关键参数的在线测量、自动控制与实时优化的设计与实施难度很大。在实际生产过程中,很多时候都是靠操作人员的经验进行操作,使得企业生产成本和操作人员劳动强度居高不下,严重制约企业的效益和发展。要建立白酒酿制过程的自动控制与实时优化系统,首先要实现关键参数的在线测量问题。

淀粉利用率是白酒酿制过程中反映出酒率高低的关键参数,但它的测量一般采用实验室化学分析法进行测量,该方法属于离线测量且存在测量滞后、误差大等问题。软测量技术为淀粉利用率的在线测量提供了切实可行的方案,本文选择与淀粉利用率直接相关的还原糖量、入池时的水分、出池时的水分、入池时的酸度、出池时的酸度5个参数作为淀粉利用率软测量模型的输入变量,而淀粉利用率为软测量模型的输出变量。将本文提出的MSADE-IT2FNN作为软测量的模型,建立基于MSADE-IT2FNN的淀粉利用率软测量预测模型。

在某个大型的酿酒厂,采集了150组样本数据,异常数据会使训练后的模型误差较大,因此在模型训练之前,要将采集到数据中的异常数据剔除后再进行归一化处理,数据归一化公式如式(50)所示。将归一化后的数据作为MSADE-IT2FNN软测量模型的输入,其中124组样本数据中的前80组数据作为模型训练使用,后44组样本数据用来测试模型效果。

(50)

由上文的结构学习算法得出DE-IT2FNN模型和MSADE-IT2FNN模型在不同模糊规则数时的适应度值如图7所示。由图中曲线可以看出,DE-IT2FNN模型在拥有9条模糊规则的时候具有最小的适应度值,而MSADE-IT2FNN模型在拥有4条模糊规则的时候具有最小的适应度值,从而确定两种模型的模糊规则数分别为9和4。

图7 不同规则下的适应度值

FNN模型、DE-IT2FNN模型和本文提出的MSADE-IT2FNN模型的训练结果和测试结果分别如图8和图9所示。由图中曲线可以看出,MSADE-IT2FNN模型不但在训练过程具有较好的拟合效果,而且在测试过程中预测精度也比较高,拥有较强的泛化能力。如图10和图11所示分别为3种模型的训练误差和测试误差,从图中曲线可以看出与其他两种模型相比,MSADE-IT2FNN模型不仅是在训练过程还是在测试过程的误差总体都比较稳定而且较小。

图8 3种模型的训练结果

图9 3种模型的测试结果

图10 3种模型的训练误差

图11 3种模型的测试误差

由表2可以明显看出,本文提出的MSADE-IT2FNN模型与BP(back propagation)神经网络、径向基神经网络(Radial Basis Function Neural Network,RBFNN)、FNN、DE-IT2FNN模型相比,具有最小的训练RMSE值和测试RMSE值,并且只有4条模糊规则,模型结构也相对简单,结果表明MSADE-IT2FNN模型适合非线性系统和复杂工业过程的建模。

表2 不同模型的性能比较

5 结束语

针对复杂工业过程关键参数无法在线检测,提出一种基于多策略、自适应差分进化算法优化的区间二型模糊神经网络(MSADE-IT2FNN)在线软测量建模方法。本文提出的MSADE算法与DE算法相比,在初始参数设置全部相同的情况下,MSADE-IT2FNN模型几乎在所有规则数量下的适应度值都小于DE-IT2FNN模型的适应度值,表明MSADE算法具有良好的全局搜索能力。参数学习过程基于KM算法左、右转折点分区域利用梯度下降法进行学习,由于结构学习过程已对初始参数进行优化,使得该网络进行参数学习时能够快速优化模型,且精度较高。最后,将提出的MSADE-IT2FNN模型应用到了Mackey-Glass混沌时间序列的预测和酿酒发酵过程淀粉利用率的软测量建模问题中,实验结果表明MSADE-IT2FNN模型其他几种建模方法相比具有较高的预测精度。本文仅用少量迭代次数对网络进行优化,利用智能进化算法的优化可以有效提升网络性能,但是如何利用智能优化算法来构造学习方式来优化神经网络是一个值得思考的问题,未来研究可在这方面可以更进一步。