基于多策略自适应差分进化算法的污水处理过程多目标优化控制

赵杨，熊伟丽

（1 江南大学轻工过程先进控制教育部重点实验室，江苏无锡214122； 2 江南大学物联网工程学院，江苏无锡214122）

引 言

随着城市化和工业化的快速发展，生活污水和工业污水带来的污染已然成为人类无法逃避的问题[1-2]。现如今，活性污泥法是污水处理厂最常采用的一种污水生物处理技术[3-4]，该技术是将污水和活性污泥混合后，利用活性污泥的生物凝聚、吸附和氧化作用使有机污染物分解[5-6]。尽管污水处理厂的首要目标是使出水水质达标，但是也要考虑工厂的运营成本，尤其是控制好氧区溶解氧浓度(SO)的鼓风机和厌氧区硝态氮浓度(SNO)的回流泵所带来的能耗[7]。从生化反应机理来看，SO和SNO不仅决定了工厂的运营成本，还关乎着出水水质，因此，适当地控制SO和SNO能使工厂在保证出水水质的前提下，更有效地降低能耗。

污水处理过程工艺相对比较复杂，处理单元较多，给整个过程的优化控制带来了困难与挑战，近年来大量学者进行了相关研究[8-10]。Ostace等[11]采用基于模型的参考运营优化方法，对溶解氧浓度的设定值进行优化。Béraud等[12]采用多目标遗传算法和PI控制器相结合的优化控制方法，以泵送和曝气能耗为优化目标，对溶解氧和硝态氮浓度的设定值进行优化。张平等[13]和韩广等[14]分别采用混沌遗传算法和Hopfield神经网络来对以能耗为优化目标、出水水质参数为约束条件的目标函数进行优化。但这些方法一般侧重于对污水处理过程中能耗的降低，而出水水质的提升空间有限，因此其获得的解不具备多样性，很难达到能耗和出水水质之间的最佳平衡。

Hreiz 等[15]采用精英多目标遗传算法同时优化能耗和出水水质，并在曝气过程中根据混合液中固体悬浮物浓度调节氧气传输速率。Han 等[16]设计了一种非线性多目标模型预测控制方法，采用自组织径向基函数神经网络对能耗和出水水质进行预测，并通过多梯度法的多目标控制器实现对溶解氧和硝态氮浓度的调节。Qiao 等[17]采用模糊神经网络对能耗和出水水质进行软测量建模，并通过改进的非支配排序遗传算法对溶解氧和硝态氮浓度的设定值进行动态优化。韩红桂等[18]采用自适应回归核函数对能耗和出水水质进行软测量建模，并通过多目标粒子群算法获得溶解氧和硝态氮浓度的优化设定值，再利用PID 控制器对其进行跟踪控制。这些多目标优化控制方法，仅考虑第2 单元的硝态氮浓度SNO2和第5 单元的溶解氧浓度SO5，这样会导致能耗和水质的调节范围变小，不利于寻找更优的设定值组合。李永明等[19]针对多目标优化过程的计算成本过高，采用根据工况识别结果对其进行知识引导的方法，并设计3个PID控制器对第4、5单元的溶解氧浓度和第2单元的硝态氮浓度进行跟踪控制。但是算法中采用线性的过渡方法更新惯性权重因子，无法反映实际的搜索过程，不利于种群搜索，算法本身的性能还可以进一步地提升。

综上所述，基于污水处理过程，提出一种基于多策略自适应差分进化算法的多目标优化控制方法。一方面从控制结构改进的角度，底层控制部分在对第2 单元硝态氮浓度和第5 单元溶解氧浓度跟踪控制的基础上，增加了对第3、4 单元溶解氧浓度的跟踪控制，通过4个控制器的相互协调，既扩大了能耗、出水水质的优化调节范围，也提升了各控制器的跟踪性能。另一方面从优化算法改进的角度，采用基于排序个体选择的多策略融合变异和进化参数自适应调整方法，选取合适的变异策略和相对优质的随机个体引导种群变异，并根据进化过程信息自适应地更新种群的交叉率，有效地平衡了种群的全局和局部搜索能力，提升了算法的性能。从而为底层跟踪控制器提供更优质的设定值，最终实现污水处理过程的优化控制。所有实验均基于国际基准仿真平台BSM1 进行，验证所提优化控制方法的有效性和控制性能的提升。

1 污水处理过程多目标优化控制系统及改进

1.1 污水处理过程及优化问题介绍

为了更加有效地模拟和评判污水处理过程中使用的控制和优化策略，国际水质协会和欧盟科学技术合作组织合作开发了仿真基准模型1 号(Benchmark Simulation Model No.1, BSM1)[20]。BSM1主要由生化反应池和二次沉淀池构成，生化反应池共有5 个单元，开始2 个单元是厌氧区，主要进行反硝化反应，剩下3个单元是好氧区，主要进行硝化反应。经过生化反应池处理后的混合液一部分回流到第1 个生化反应单元，另一部分则流入二次沉淀池。在二次沉淀池中，固态物质和活性污泥经过沉淀与清水分离，清水从上层排出系统，沉淀在底部的污泥一小部分作为剩余污泥排出，大部分则是回流到第1 个生化反应单元，保证了曝气池中固体悬浮物的浓度，维持了活性污泥系统的稳定性[21]。图1中的污水处理工艺模块为BSM1 的总体结构，在该模型中有两个关键的评价指标，分别为总能耗(overall cost index, OCI)和出水水质(effluent quality index,EQI)，OCI的定义如下：

其中，AE 为曝气能耗，PE 为泵送能耗。AE 和PE的定义如下：

其中，t0为开始时间；tf为结束时间；T 为采样周期；Vi为第i 个生化反应单元的体积；KLai为第i 个生化反应单元的曝气量；SO.sat为溶解氧饱和浓度；Qa为内回流流量；Qr为外回流流量；Qw为剩余污泥流量。

EQI的定义如下：

其中，TSS为固体悬浮物浓度；COD 为化学需氧量；SNKj为凯氏氮浓度；SNO为硝态氮浓度;BOD5为5日生化需氧量；Qe为出水流量。

由式(1)～式(4)可以看出，OCI 与KLai和Qa有关，EQI 与5 种出水水质参数有关。其中，KLai决定着好氧区的SO，Qa决定着厌氧区的SNO。适当的SO不仅能保证好氧区的微生物充分吸附和氧化分解有机污染物，还能降低曝气能耗。同样，适当的SNO既可以保证反硝化反应的顺利进行，达到良好的脱氮效果，还可以降低泵送能耗。然而，由于SO、SNO与OCI、EQI 之间没有明确的数学关系，对于能耗和出水水质的控制不够精准。因此，首先需要离线采集SO、SNO、OCI、EQI 的运行数据；然后，利用最小二乘支持向量机(LSSVM)建立SO、SNO与OCI、EQI 的软测量模型，并将其作为优化目标函数；最后，通过多目标优化算法获得同等优秀的SO、SNO设定值组合，并从中选取一组偏好解进行实时跟踪，从而实现对污水处理过程中能耗和出水水质的多目标优化控制。

综上所述，污水处理过程多目标优化问题描述如下：

图1 总体控制结构图Fig.1 General control structure

其中，fOCI(x)和fEQI(x)分别为能耗和出水水质的优化目标函数；x =[SO,SNO]为优化变量组成的向量；约束条件s.t.是BSM1 为保证出水水质提供的5个出水水质参数指标；SNh,e,avg为出水氨氮的平均浓度；SNtot,e,avg= SNKj,e,avg+ SNO,e,avg为出水总氮的平均浓度。

1.2 多目标优化控制系统结构及改进

本文所提的多目标优化控制方法，整体控制结构由3个模块构成，分别为污水处理工艺模块、底层跟踪控制模块和多目标优化模块。

底层跟踪控制模块是污水处理过程中至关重要的环节。常见的底层控制策略是将SO5和SNO2作为控制变量，而将第5 生化反应单元的曝气量KLa5和内回流流量Qa作为操作变量。考虑到好氧区共有3 个单元，如果只选择SO5作为控制变量，能耗和出水水质的优化范围可能被很大程度地限制，优化后的设定值质量也得不到保障；此外，第5个生化反应单元是生化反应池的最后一个环节，直接与二次沉淀池相连并影响着出水水质，因此对于SO5的控制器要求很高。而且污水处理过程是一个多变量、非线性、强耦合的复杂系统，SO5的设定值经常会发生较大的阶跃式变化，因此对SO5的精确控制具有很大难度。

因此，本文对底层跟踪控制结构进行了改进。整体结构及控制变量信息如图1 和表1 所示。首先，使用2 个PID 控制器对好氧区的SO5和厌氧区的SNO2进行跟踪控制，再增加2 个PID 控制器对好氧区的SO3、SO4进行跟踪控制。不但使得能耗和出水水质能在一个更大的范围进行优化调节，并通过多目标优化算法寻找一组最优设定值来降低能耗、提升出水水质，而且通过SO3、SO4控制器的协调作用，即使发生较大的阶跃变化，也能使其控制器保持良好的跟踪性。

表1 控制器的控制结构Table 1 Structure of controllers

图2 常规控制结构和改进控制结构条件下离线采集的数据集Fig.2 Data sets collected offline under the conditions of conventional control structure and improved control structure

基于BSM1 的污水处理过程仿真分为112 个优化周期，图2 为第4 个优化周期在常规控制结构和改进控制结构条件下离线采集的数据集，用于建立SO、SNO与OCI、EQI的软测量模型。其中，SO和SNO的设定值组合皆是利用网格搜索法获得。从图2中可以看出，增加了SO3和SO4控制器使得设定值的组合更加多样，OCI和EQI的可调节范围也显著增大。

2 污水处理多目标优化

污水处理过程中能耗和出水水质是一组相互制约的指标，如果为了降低能耗而减少电力设备的运行，会影响生化反应的充分性，从而无法保证出水水质。反之，为了提升出水水质而让电力设备高负荷运转，势必会导致能耗增加。因此，本文在经典差分进化算法的基础上改进获得多策略自适应差分进化算法，并应用于1.1 节中的污水处理多目标优化问题。

2.1 经典差分进化算法

差分进化算法(differential evolution, DE)的核心思想源自于种群进化思想，进化步骤包括变异、交叉和选择。DE 算法具有结构简单、容易实现、收敛速度快等特点[22]，被广泛应用于多目标优化问题的求解过程之中。经典DE 算法的具体实现步骤如下。

（1）初始化 初始化DE 算法的参数：变异率F、交叉率CR、种群规模NP 和最大迭代次数T，随机初 始 化 种 群 Pt={,…,}，其 中={,…,}(i = 1,…,NP)，D为种群中个体的维数。

（2）计算适应度值 种群Pt中的个体对所有目标函数计算其适应度值fq()(q = 1,…,m)，m为目标函数的个数。

（6）终止条件判断 若当前迭代次数t 小于最大迭代次数T，则令t=t+1，更新pareto 解集，并返回步骤（2）继续进化，否则结束进化，输出pareto解集。

2.2 多策略自适应差分进化算法

经典DE 算法本质上是一种静态结构，不具备自适应调整能力，本文提出一种多策略自适应差分进化算法(MSADE)，主要从两方面对经典DE 算法进行了改进。首先是变异策略，采用基于排序个体选择的多策略融合变异方法，根据迭代次数有侧重性地选择变异策略，并随机选取较优质的个体进行变异操作。其次是参数更新，采用进化参数自适应调整策略，根据进化过程信息对交叉率CR 进行实时调整。通过这些改进，所提算法的性能及其所得pareto 解的多样性得到了大幅提升，为获得更优质的控制器设定值提供了保障。所提算法总体流程如图3所示。

2.2.1 基于排序个体选择的多策略融合变异 DE算法发展至今已经提出了许多变异策略，其在提升算法性能方面起着至关重要的作用，常见的变异策略如式(8)～式(13)所示。

（1）DE/rand/1变异策略：

（2）DE/best/1变异策略：

（3）DE/rand/2变异策略：

（4）DE/best/2变异策略：

（5）DE/target-to-best/2变异策略：

（6）DE/rand-to-best/2变异策略：

DE/rand/1 变异策略和DE/rand/2 变异策略中的个体都是随机选出的，所以其特点是全局搜索能力强，不易陷入局部最优，能保证种群的多样性，但是收敛速度较慢；DE/best/1变异策略和DE/best/2 变异策略的基向量都是，让最优个体引导搜索，所以其特点是局部搜索能力强，收敛速度快，但易陷入局部最优，无法保证种群的多样性；DE/target-tobest/2 变异策略和DE/rand-to-best/2 变异策略不仅会让最优个体来引导搜索，同时还加入了随机个体产生的差分向量来协调变异策略的收敛性和多样性，所以其特点是能在全局和局部搜索之间取得平衡，但鲁棒性较差。

通过对各变异策略的优势分析，并受到遗传算法中常用的轮盘赌选择法的启发，设计了一种多策略变异，将DE/rand/1、DE/best/1、DE/target-to-best/2三种变异策略相融合，使三种变异策略相互补充，协同作用。变异策略选择方法如式(14)所示：

图3 多策略自适应差分进化算法总体流程Fig.3 Overall flow chart of multi-strategy adaptive differential evolution algorithm

多策略变异会随迭代次数的增加而变化。迭代初期，DE/rand/1 变异策略被选中的概率较大，该阶段更侧重于种群搜索的多样性，同时也适当地协调了算法的收敛性；迭代中期，DE/target-to-best/2和DE/rand/1变异策略被选中的概率都较大，该阶段权衡了种群搜索的多样性和算法的收敛性；迭代后期，DE/best/1 变异策略被选中的概率很大，该阶段更侧重于算法的收敛性，使得pareto 解集更加逼近真实的最优解集，并增强了种群搜索跳出局部最优解的能力。

在变异操作过程中，关于随机个体的选择采用了基于排序变异算子[23]的方法，将种群中的个体按照一种非支配排序方法进行排序，并定义排序后的种群中第i个个体的选择参考指标为pi，具体定义如式(15)所示：

随机个体选择流程如图3中基于排序个体选择的多策略融合变异模块所示。可以看出，种群中每一个个体都可能被选中，只不过越优质的个体被选中后，被保留下来的概率越大，而较劣质的个体即使被选中也有较大的概率被淘汰，从而能够平衡算法的收敛性和pareto解的多样性。

算法中采用的非支配排序方法皆是先对种群中的个体按支配关系进行pareto 解分层，然后将各层pareto 解按拥挤度[24]进行降序排列。对于的选择也是通过该方法得到第1层pareto解集，并从中选择拥挤度最大的个体作为，用来引导种群搜索，有利于使最终得到的pareto 解分布更加均匀。

2.2.2 进化参数更新 在DE算法中，变异率F和交叉率CR 的选取也影响着算法性能的提升，如果使F 和CR 随着种群的迭代进程而自适应地调整，算法的收敛性和解的多样性都能够得到改善。由于随着种群的不断进化，种群中的个体会逐渐地收敛到最优个体周围，与此同时种群中个体适应度值之间的差也会越来越小，文献[25]提出的进化过程信息θ(t)就是通过计算种群中个体适应度值之间的差来描述种群进化的状况，其具体的定义如式(16)所示：

本文将θ(t)应用于进化参数CR的自适应调整，使CR 更新的结果能够满足种群进化的需求，其具体的定义如式(17)所示：

其中，CRi(t)为第t 代种群中第i 个个体的交叉率；CRmin为最小交叉率；CRmax为最大交叉率；fi(t)为第t 代种群中第i 个个体的适应度值；fm(t) 为第t 代种群中所有个体的平均适应度值，φ为衰减系数。

变异率F 采用非线性的过渡方法，其具体的定义如式(18)所示：

其中，Fmin为最小变异率；Fmax为最大变异率。

由式(17)和式(18)可知，对CR 的调整是：当个体的适应度值小于种群平均适应度值时，CR会按衰减系数进行减小，提升种群的局部搜索能力；当个体的适应度值大于或等于种群平均适应度值时，CR反而会增大，提升种群的全局搜索能力。如此的自适应调整参数方法既保证了算法的收敛性也增加了种群的多样性。而对F 的调整会随t 的增加而逐渐减小，由全局搜索逐步转向局部搜索。

3 仿真实验

3.1 数值仿真

本文选取了ZDT 系列的函数作为基准测试函数，该函数被广泛应用于验证多目标优化算法的性能[26-27]，并将MSADE 与其他一些多目标优化算法进行测试比较，分别为NSGA-II[24]、SPEA2[28]、MOPSO[29]和MODE[22]。此外，本文中用于评价算法收敛性和多样性的性能指标为世代距离(generational distance, GD)和散布性(spread, Δ)。GD 用于衡量算法所得pareto解集与真实pareto解集的接近程度，越趋近于0 则该算法的收敛性越好；Δ 用于衡量算法所得pareto 解集在真实pareto 前沿上分布的均匀程度以及解的多样性，越趋近于0 则该算法的分布性和多样性越好。

GD的定义[24]如式(19)所示:

其 中，n 为 所 得pareto 解 集 的 大 小，di为 所 得pareto解集中第i个解与真实pareto解集中最近解之间在目标空间上的欧氏距离。

Δ的定义[24]如式(20)所示:

其中，N 为所得pareto 解集的大小，di为所得非占优解集中两个相邻解之间的欧氏距离为所有di的均值，df和dl为pareto 解集中边界解与pareto 最优解前沿上末端解之间的欧氏距离。

在测试函数的仿真实验过程中，所有算法的种群大小NP=100，最大迭代次数T=250，pareto 解集规模Amax=100，对比算法的参数设置参考相应的文献。所有算法都在测试函数上独立运行30 次，并求取GD 和Δ 的平均值。表2 和表3 分别给出了5 种算法的性能测试结果。

表2 GD测试结果Table 2 GD test results

表3 Δ测试结果Table 3 Δ test results

从GD 测试结果中可以发现所提算法在收敛性能上明显优于MOPSO 和MODE，相比较于NSGA-II和SPEA2也有较大的提升，尤其是在ZDT2、ZDT3和ZDT6 上有不止一个数量级的提升。在Δ 测试结果中，MSADE在大部分测试函数上均获得了最优的分布性。

3.2 污水处理过程仿真

所有仿真实验均在BSM1 基准仿真平台上进行，选取的仿真数据是晴天、雨天和暴雨天三种天气下的污水数据。整个仿真过程为14 d，共112 个优化周期，每个优化周期是3 h。在各周期的多目标优化过程中，SO3set、SO4set、SO5set和SNO2set的优化范围分别为0.7～1.7 mg/L、1～2 mg/L、1～3 mg/L 和0.5～2 mg/L，MSADE算法的NP=50，Amax=50，T=200。

图4(a)～(h)分别展示了晴天时SO3、SO4、SO5和SNO2控制器的控制效果和误差。可以看出4 个PID 控制器的跟踪控制效果良好，除了在控制器的设定值发生突变时，误差会出现尖峰值，但是很快就能调整过来，跟设定值的轨迹保持高度的吻合。

图4 晴天SO3、SO4、SO5和SNO2控制器的控制效果和误差Fig.4 The control effect and error of sunny day SO3,SO4,SO5 and SNO2 controller

图5 为晴天条件下MSADE、NSGA-II、SPEA2 和MOPSO 对污水处理过程中第4 个优化周期的数据进行优化时所获得的pareto 解集。从算法的收敛性来看，MSADE较其他算法能够搜索到更优的能耗和出水水质对应的控制器设定值组合；从pareto 解集的多样性来看，MSADE 明显优于MOPSO,相对于NSGA-II 和SPEA2 也有小幅的提升。综合考虑，MSADE能够获得较优质的控制器设定值组合，为降低能耗、提升出水水质提供保障。

图5 MSADE及其他算法所获得的pareto解集Fig.5 Pareto solution set obtained by MSADE and other algorithms

图6 给出了晴天条件下5 种出水水质参数在14 d 的优化过程中的变化情况。在任何时刻BOD5、COD 和TSS 都明显低于出水水质参数指标，对应的指标值分别为10 mg/L、100 mg/L 和30 mg/L，而SNh和SNtot存在峰值超标的问题，其指标值分别为4 mg/L和18 mg/L，但是14 d的平均值分别为3.34 mg/L 和16.68 mg/L，低于出水水质参数指标，满足排放条件。

表4给出了晴天条件下不同控制方法所获得的5 种出水水质参数平均值、OCI 和EQI 的对比结果。其中，Influent 为入水水质参数平均值；Openloop 为开环控制；SOOC[17]为单目标优化控制；dMOPSO 为文献[30]提出的基于分解的多目标优化算法的优化控制；NSGA-II 为文献[17]提出的神经网络和多目标优化算法相结合的优化控制；MOPSO-PID 为文献[18]提出的基于多目标粒子群优化算法的PID 优化控制。从表4中可以看出，在出水水质参数方面，本文采用的MSADE 方法的5种出水水质参数平均值都较低，相比于入水，出水时SNh、SNtot、BOD5、COD 和TSS的去除率分别达到了88.92%、67.59%、96.20%、71.60%和93.66%。 在OCI 和EQI 方 面，MSADE 与Openloop、dMOPSO 和NSGA-II 相比，两者都获得了较大幅度的下降，相比于Openloop，OCI 和EQI 的下降率分别达到了11.50%和3.35%；与SOOC 相比，MSADE 的EQI 虽略高，但OCI 却下降了很多，与MOPSO-PID 相比，MSADE 的OCI 略高，但EQI 却大幅下降。

图6 各出水水质参数14 d的变化情况Fig.6 Variation of each effluent water quality parameter during 14 d

表5 给出了雨天和暴雨天条件下不同控制方法的OCI 和EQI 的对比结果。在雨天条件下，MSADE 相较于其他控制方法能够大幅降低OCI，但EQI 的降幅相对较小；而在暴雨天条件下，MSADE 在OCI 和EQI 上均获得了最大的降幅。综合考虑两种天气条件下的OCI 和EQI，本文的控制方法在复杂天气条件下依然获得了良好的优化控制效果。

综合以上分析，可得到结论：本文所提出的基于多策略自适应差分进化算法的污水处理过程多目标优化控制方法在晴天、雨天、暴雨天三种天气下都获得了优良的控制效果，能将出水污染物浓度控制在相应的排放指标范围内，同时可获得较低的OCI和EQI。

表4 晴天条件下不同优化控制方法的效果对比Table 4 Comparison of the effects of different optimization control methods under sunny conditions

表5 雨天和暴雨天条件下不同优化控制方法的效果对比Table 5 Comparison of the effects of different optimal control methods under rainy and stormy conditions

4 结 论

本文提出了一种基于多策略自适应差分进化算法的污水处理过程多目标优化控制方法。该方法通过4 个PID 控制器，实现了对于BSM1 模型中3个好氧区的溶解氧浓度，以及第2 单元硝态氮浓度的实时跟踪控制，扩大了能耗和出水水质的优化调节范围。与此同时，为提升算法的收敛性和pareto解的多样性，提出了一种多策略自适应差分进化算法。该算法采用基于排序个体选择的多策略融合变异和进化参数自适应调整方法，选出相对优质个体引导种群变异，提升了算法的局部搜索能力，并根据迭代进程的信息自适应地调整种群变异策略和交叉率，保障了算法的全局搜索能力，综合改善了其性能，为控制器提供更优质的设定值。仿真结果表明，本文方法能够大幅度地降低能耗，提升出水水质，为实际污水厂的优化控制提供了理论依据。

虽然本文提出的多目标优化控制方法取得了较优的效果，但仍存在一些问题亟待解决。例如，出水水质参数中氨氮浓度和总氮浓度的平均值达标，而其间却有较长的超标时段，下一步的研究可以对出水氨氮和总氮浓度进行预测，提前采取控制策略以避免出现超标。