基于贝叶斯网络参数迁移学习的电熔镁炉异常工况识别

闫 浩 王福利 , 孙钰沣 何大阔 ,

电熔镁砂又称电熔氧化镁,是优质菱镁矿石在电熔镁炉中经高温熔融后形成的高纯氧化物.作为重要的耐火材料,电熔镁砂已被广泛应用于电子器件、陶瓷、化工及航空航天等领域.在电熔镁砂的熔炼过程中,由于各种原材料可能来自不同地域,质量会有很大差异.电熔镁炉通过控制系统,根据不同条件跟踪不同的电流设定点来完成熔炼过程.当原料的颗粒大小或成分发生变化时,如果电流的设定点未被及时合理地调整,则会发生异常.异常工况的发生将导致高能耗、产品性能下降甚至安全威胁.因此,有必要对异常工况进行准确的识别,以避免造成严重后果.异常工况的发生具有一定随机性,这取决于原材料的质量和操作条件.随着控制算法的改进,异常工况的发生率不断降低.这种情况有利于生产合格的电熔镁砂,却也导致异常工况数据的收集变得更加困难.尤其是单个电熔镁炉的异常工况数据非常有限.如果仅依靠少量的异常工况数据来建立异常工况识别模型,准确性将无法满足实际要求.

目前,一些针对电熔镁炉熔炼过程的异常工况识别和安全控制的研究成果已被相继提出[1−11].在文献[7]中,一种基于核主成分分析和核偏最小二乘模型的故障诊断方法被应用于电熔镁炉熔炼过程中,但是该方法无法识别异常工况的类型.在文献[8]中,基于操作人员判断和消除异常工况的经验,一种数据驱动的异常工况识别及自愈控制方法被提出.但是,文献[8]仅利用了电流特征进行异常工况识别,而没有融合多源信息,并且不能区分异常工况的严重程度.在文献[9−10]中,通过融合电流、图像和声音等多源信息,提出了一种基于贝叶斯网络(Bayesian network,BN)的电熔镁炉熔炼过程异常工况识别方法.但是,文献[9−10]所建立的BN 模型假设是基于足够多的异常工况数据,当收集到的异常工况数据很少时,很难建立有效的异常工况识别模型.迁移学习能有效地解决这一问题,它旨在通过使用来自相关源域的数据及其他信息解决目标域问题.文献[11]基于文献[9−10]建立的BN 模型,考虑了来自同一工厂或其他工厂的电熔镁炉的异常工况数据,提出一种基于BN 参数迁移学习的异常工况识别方法,提高了目标域异常工况识别的准确率.然而,文献[11]所提出的方法仅适用于源域BN 与目标域BN 结构一致情况下的参数迁移学习.在实际情况中,很多工厂仅通过电流特征建立模型对异常工况进行识别,此时源域BN 与目标域BN 结构不一致,文献[11]提出的方法无法利用这些源域信息.因此,如何进一步有效地利用这一部分源域信息,提出适用范围更广泛的BN 参数迁移学习方法,成为亟待解决的问题.

迁移学习已成功应用于分类[12]、滤波[13]、识别[14]、故障诊断[15]、预测[16]以及优化控制[17]等各种领域.文献[18]表明使用计算智能的迁移学习方法是一项极具意义的研究工作,包括基于BN 的迁移学习、神经网络迁移学习和模糊迁移学习.然而,针对BN 迁移学习的研究十分有限,现有的成果主要包括结构迁移学习和参数迁移学习两个方面[19−26].针对BN 结构迁移学习,文献[19]提出一种基于条件独立性测试的BN 结构迁移学习方法;文献[20−21]基于评分搜索提出一种针对相关任务的BN 结构迁移学习算法.针对BN 参数迁移学习,文献[22]提出基于网络和片段(子图)相关性的BN 参数迁移学习算法;文献[19]提出基于距离的线性池和局部线性池概率加权方法,但是该方法仅考虑了条件概率表(Conditional probability table,CPT)大小和数据集大小的影响,忽略了源域与目标域的适应度.此外,专家知识在BN 学习过程中起着重要作用[23−24,27−28].文献[23]为了评估多任务BN 结构学习中的相关性,结合领域知识放松假设条件.文献[24]通过整合知识迁移和专家约束,提出一种新的BN 参数迁移学习方法.

本文旨在目标电熔镁炉异常工况数据稀缺的情况下,应用迁移学习的思想来建立目标域异常工况识别的BN 模型.与文献[11]相比,本文放松了源域与目标域结构一致的前提假设,提出了适用范围更加广泛的源域与目标域结构不一致情况下的BN 参数迁移学习方法.首先,将目标域BN 分解成以单一节点及其父节点为单位的子BN.然后,针对目标域的每一个子BN,在源域中进行搜索,将具有相同结构关系的源域作为备选源域.在确定备选源域后,为避免负迁移,本文进一步提出了评价目标域与备选源域相似性的度量指标,该指标由整体结构相似度和参数相似度两部分构成.其中,整体结构相似度通过本文提出的基于语义相似度的评价标准来计算;参数相似度通过提取目标域的专家知识作为约束条件来计算.根据计算得到的相似度得分,可以确定备选源域的迁移权重.最后,最终的目标域参数由备选源域参数和目标域参数加权获得.为了评价提出的方法,首先在著名的Asia 网络上比较并说明了迁移学习前后的效果,然后将所提出的方法应用于建立电熔镁炉熔炼过程排气异常工况识别模型.实验结果表明,与目标电熔镁炉缺少异常工况数据的建模方法相比,本文提出的方法具有更好的异常工况识别性能.

本文的创新点及贡献主要体现在以下三个方面:1) 本文提出了源域与目标域结构不一致情况下的BN 参数迁移学习方法,其优点在于源域的选择范围更加广泛,可利用的源域信息更加充分;2) 本文提出了一种新的评价源域BN 与目标域BN 相似度的方法,以避免负迁移的影响;3) 本文提出的方法被用来解决目标电熔镁炉异常工况数据不够充分的情况下,异常工况识别的建模问题.

本文章节安排如下:第1 节介绍了BN基础;第2 节描述了电熔镁炉熔炼过程和本文要解决的问题;第3 节提出了新的BN 参数迁移学习方法;第4 节先通过著名的Asia 网络验证了本文方法的有效性,然后将本文方法应用于电熔镁炉熔炼过程排气异常工况识别模型的建立以及在线识别;结论展示在第5 节.

1 BN 基础

1.1 BN 定义

一般地,一个BN 可以定义为{V,A,θ}.其中,V表示系统变量,即BN 的节点集,并且Xi ∈V表示一个节点;A表示有向边的集合,并且aij ∈A表示变量Xi与Xj之间的关系是Xj →Xi,即Xj是Xi的因(父),Xi是Xj的果(子);G={V,A}表示由节点构成的有向无环图,并且图中每个节点都有一个父节点集pa(Xi),pa(Xi)={Xj ∈V|Xj →Xi ∈A};θ表示BN 参数,并且θXi ∈θ表示与变量Xi相关的CPT,即变量Xi与其父节点之间依赖关系的定量表示.所有变量的联合概率分布P(X1,X2,···,XN)可以用BN 的链规则分解为

P(Xi|pa(Xi))表示变量Xi在给定父节点集pa(Xi)下的条件概率.一旦父节点被分配,每个节点都是独立的,这可以极大地降低结构学习和参数学习的计算复杂度,并且简化BN 推理过程,该准则称为D 分离准则[29].

1.2 BN 参数迁移学习

一个域D={V,G,Da}包含三个部分:BN 节点,BN 结构和相关的数据.BN 参数学习的目的就是确定每个节点的CPT,可以通过最大似然估计(Maximum likelihood estimation,MLE) 方法来获得.本文有一个目标域Dt和一组相关源域L ≥1.目标域变量V t={X1,···,Xn},1≤n ≤N,N表示目标域BN 的节点数量;源域变量Xm,Y1,···,Yk},1≤m ≤M ≤N,1≤k ≤K,L表示第L个源域,M表示该源域与目标域相同节点的数量,K表示该源域与目标域不同节点的数量.目标域有小数据集源域数据,i ≥1.本文提出的BN 参数迁移学习定义为:给定一组源域L ≥1和一个目标域Dt,通过式(2)来估计目标域参数

其中,假设V t V s,Gt Gs,并且Dt具有不同的参数分布.

1.3 BN 片段

由第1.1 节的BN 定义可知,BN 结构G由节点和有向边组成.因此,可以将BN 划分为一组子图,定义为片段.每一个片段是原始BN 中的单个根节点或者是节点Xi及其直接父节点pa(Xi),并且从原始BN 中匹配对应的CPT.可以说,BN 是由以节点为单位的BN 片段组成的,片段数即是原始BN 中的节点(变量)数[22].BN 分解的示意图如图1 所示.由于目标域BN 与源域BN 结构不一致,目标域中不同的节点可能与不同的源域相关.因此,本文以BN 片段的方式进行参数迁移学习,一旦目标域每个节点的参数都被确定,完整的目标域BN 参数即被获得.

图1 BN 分解示意图Fig.1 Schematic diagram of BN decomposition

2 电熔镁炉熔炼过程描述

2.1 过程描述

图2 为电熔镁炉熔炼过程的简化示意图.一般包括三个主要的熔炼状态:加热熔炼、加料和排气.操作人员通常根据经验确定不同状态下的电流设定点.控制系统通过跟踪不同的电流设定点来完成熔炼过程.在生产过程中,由于不同产地的矿石原料包含的杂质种类及含量有所不同,熔点就会不同,电弧电阻也会不断发生改变,进而引起电弧电流的频繁波动.如果控制系统的电流设定点不能得到及时调整,就会发生异常工况,包括:半熔化异常工况、过加热异常工况和排气异常工况.

图2 电熔镁炉熔炼过程示意图Fig.2 Schematic diagram of the electro-fused magnesia furnace smelting process

BN 是对不确定性问题进行建模和决策的有效工具[30],能有效建立电熔镁炉熔炼过程的异常工况识别模型.文献[9−10]已对电熔镁炉熔炼过程的三种异常工况进行了深入分析,并且根据专家知识建立了相应的BN 模型结构.本文主要考虑排气异常工况,其BN 模型结构如图3 所示,各节点物理意义如表1 所示.

图3 电熔镁炉排气异常工况的BN 模型结构Fig.3 BN model structure for the abnormal exhausting condition of the electro-fused magnesia furnace

表1 各节点物理意义Table 1 Physical meaning of the nodes

当矿石原料的颗粒大小发生改变时,原料与电极之间的缝隙会发生变化,二氧化碳气体从不合适的缝隙中排出炉外,容易导致炉中气压失衡.此时,三相电极会在不平衡的气压下剧烈晃动,造成电弧电阻的剧烈波动,进而导致电流的剧烈波动.若这种状况持续的时间超过设定阈值,会造成高温熔液从炉中喷出,出现“喷炉”现象,该工况即为排气异常工况.由于喷出的熔液内部温度高达2 800 ℃,异常工况的发生会给现场熔炼设备和工人的安全造成极大威胁.排气异常工况在图像上的表现是有大量熔液喷出炉外,在声音上的表现是“喷炉”发生的一段时间内,声音变化明显.因此,声音信息(飞溅特征频率下的短时能量及幅值)、图像信息(平均灰度、灰度方差及灰度丰度)以及电流信息(电流变化率及跟踪误差)多源特征被用来辨别排气异常工况是否发生,即根据节点E～ K 推理节点A 的状态.

2.2 问题描述

本文要解决的问题描述如下:目标域电熔镁炉具有稀少的异常工况数据,无法准确学习异常工况识别BN 模型的参数.源域为同一工厂或其他工厂的电熔镁炉,既包含仅通过电流特征进行异常工况识别的数据,也包含通过电流、图像和声音多源特征进行异常工况识别的数据.由此可见,目标域和源域的任务是相同的,都是解决电熔镁炉异常工况识别的问题.目标域和源域BN 模型结构不一定相同,参数也具有不同的分布.本文参数迁移学习的目的就是利用多个相关源域来改进目标域BN 模型的参数学习.

3 本文方法

本文提出一种新的BN 参数迁移学习算法,流程图如图4 所示.具体步骤描述如下.

1)确定目标域节点的备选源域.

根据第1.3 节所述,可以将目标域BN 分解成以节点为单位的BN 片段,以片段的方式进行迁移学习.选择目标域的一个节点分别在每个源域中进行搜索,如果某一个源域中存在该节点,且具有相同父节点集,则对于节点目标域与该源域具备相同结构关系,并且将该源域作为备选源域.目标域的每一个节点都需要执行上述操作,该过程的示意图如图5 所示.

针对节点在确定备选源域后,需要进一步评价备选源域与目标域的相似性,进而确定迁移权重,以避免负迁移的影响.本文提出的相似性评价指标由整体结构相似度和参数相似度两部分组成.

2)计算该节点备选源域与目标域的整体结构相似度.

基于语义相似度的方法[31],本文提出备选源域与目标域整体结构相似性的评价标准,如式(3)所示

其中,Sim(V t,)∈[0,1],1≤l ≤L′ ≤L,表示第l个备选源域,L′表示备选源域的数量.备选源域与目标域整体结构越相似,则此值越高,完全一致时值为1.

3)计算该节点备选源域与目标域的参数相似度.

本文利用专家知识约束的方法来计算节点备选源域与目标域的参数相似性.提出的目标域专家知识约束包括两种形式:形式一是定性形式,即同一节点在不同状态下的概率关系;形式二是定量形式,即参数的取值范围.具体形式表示如下:

图4 提出的BN 参数迁移学习方法流程图Fig.4 Flow diagram of the proposed BN parameter transfer learning method

图5 确定备选源域示意图Fig.5 Schematic diagram for determining alternative source domain

形式一.同一节点在不同状态下的概率关系表示为

其中,1≤i ≤n,n表示BN 模型中的节点数;1≤j ≤qi,qi表示第i个节点的父节点的状态组合数;是第i个节点的不同状态,并且ri表示第i个节点的状态数;表示目标域的实际参数,满足第i个节点处于第k′个状态,其父节点集处于第j个状态;表示目标域的实际参数,满足第i个节点处于第k′′个状态,其父节点集处于第j个状态.

形式二.参数的取值范围表示为

形式一的专家知识适合判断备选源域的参数是否可以被迁移,而形式二的专家知识适合确定备选源域在迁移学习中的作用.因此,本文首先由形式一确定备选源域的参数是否可用于迁移学习,然后由形式二计算迁移的备选源域与目标域的相似性.如果该节点满足更多的形式二,则更有可能拥有与目标域相似的概率分布.当备选源域的该节点的参数满足一个形式二时,此备选源域的相似性得分将加1.对于更重要的约束,可以设置更高的相似性得分.通过这种评分的方式,可以评价备选源域与目标域的参数相似性.

4)计算备选源域的迁移权重.

首先,根据步骤2)中整体结构相似度确定备选源域迁移的结构权重,如式(6)所示

最后,备选源域的最终迁移权重如式(8)所示

5)根据步骤3)中的专家知识形式一判断该节点目标域的参数是否可用于迁移学习,如果答案为“是”,则转到步骤6);如果答案为“否”,则转到步骤7).

6)计算该节点目标域的最终参数.

根据式(9)计算目标域的最终参数

其中,η(0≤η <1) 表示备选源域的权重,由专家知识根据实际情况确定;表示通过MLE 方法获得的目标域参数;表示通过MLE 方法获得的第l个备选源域的参数;表示由备选源域和目标域加权获得的最终的目标域参数.转到步骤8).

7)计算该节点目标域的最终参数.

根据式(10)计算目标域的最终参数

8)判断该节点是否为目标域的最后一个节点,如果答案为“是”,则结束;如果答案为“否”,则转到步骤1).

4 实验结果

4.1 Asia 网络实验

本节在著名的Asia 网络上评估本文提出的BN 参数迁移学习方法.Asia 网络是一个验证性BN[32],用于表示与呼吸急促有关的变量之间的因果关系,网络结构如图6 所示,各节点的CPT 如表2～表8 所示.

图6 Asia 网络结构Fig.6 Structure of the Asia network

表2 节点 和 的CPTsTable 2 The CPTs of nodes and

表2 节点 和 的CPTsTable 2 The CPTs of nodes and

表3 节点 的CPTTable 3 The CPT of node

表3 节点 的CPTTable 3 The CPT of node

表4 节点 的CPTTable 4 The CPT of node

表4 节点 的CPTTable 4 The CPT of node

表5 节点 的CPTTable 5 The CPT of node

表5 节点 的CPTTable 5 The CPT of node

表6 节点 的CPTTable 6 The CPT of node

表6 节点 的CPTTable 6 The CPT of node

表7 节点 的CPTTable 7 The CPT of node

表7 节点 的CPTTable 7 The CPT of node

表8 节点 的CPTTable 8 The CPT of node

表8 节点 的CPTTable 8 The CPT of node

从真实的Asia 网络采集300 个样本作为目标域数据,并且构建具有不同结构和不同概率分布特征的8 个相关的源域BN,如图7 所示,从每个相关源域BN 分别采集1 500 个样本作为源域数据.针对Asia 网络的专家知识形式一为和专家知识形式二如表9 所示.

图7 相关的源域BNFig.7 Related source domain BN

表9 Asia 网络专家知识形式二Table 9 The expert knowledge form two for the Asia network

为了评估参数学习的效果,本文使用KL(Kullback-Leibler)散度来度量学习到的参数与真实参数的接近程度.KL 散度的表达形式如式(11)所示,KL 散度的值越小,说明参数学习的性能越好[11].

首先,不进行迁移学习,仅使用目标域小数据集学习目标域网络的参数,即式(9)中η=0.在这种情况下,KL 散度值为44.504,参数学习的性能较差.然后,使用本文提出的BN 参数迁移学习方法来学习目标域网络参数,图8 显示了不同权重η下的KL 散度值.从图8 中可以看出,随着权重η的增加,迁移来的源域作用增加,KL 散度值变小,即学习到的参数更接近真实的网络参数.因此,本文提出的方法比仅使用目标域小数据集进行参数学习具有更好的性能.为进一步验证本文在提出的备选源域与目标域相似度评价指标中考虑备选源域与目标域结构差异的必要性,与仅使用专家知识而不考虑整体结构相似度的BN 参数迁移学习方法进行对比,不同权重η下的KL 散度值同样显示在图8中.通过比较可以发现,对于所有权重η,不考虑二者的结构相似度时所获得的KL 散度值均大于考虑结构相似度时所获得的KL 散度值.由此可见,本文提出的衡量备选源域与目标域相似度的方法可以避免负迁移的影响.

图8 不同权重 η 下的KL 散度值Fig.8 The values of KL divergence under the different weightsη

4.2 电熔镁炉熔炼过程排气异常工况识别仿真实验

在本节中,将提出的方法应用于电熔镁炉熔炼过程排气异常工况识别.本文的实验在电熔镁炉仿真平台上进行,该平台由本文作者所在的研究团队设计和构建,如图9 所示.仿真平台可以根据机理分析和实际数据对电熔镁炉熔炼过程进行仿真,从而完成对该过程的最优控制、异常工况识别和自愈控制.该平台包括以下设备:具备不同功能的计算机、嵌入式过程控制系统、数据服务器、传感设备和传输设备.传感设备包括电流测量仪、图像测量仪和声音测量仪.在工业现场,多源信息由传感设备收集并存储于数据服务器中,传输设备在一定时间间隔内通过以太网将信息传输到模拟区域.

电熔镁炉熔炼过程排气异常工况识别的BN 模型结构已经在第2.1 节描述.以节点A 和节点B 为例,表10 和表11 分别表示它们的参数表达形式.其他节点的参数表达形式与节点A 和节点B 类似,故省略.针对电熔镁炉熔炼过程排气异常工况识别模型,专家知识形式一和专家知识形式二分别如表12 和表13 所示.

图9 电熔镁炉仿真平台Fig.9 Construction of simulation platform for electric-fused magnesium furnace

表10 节点A 的参数表达形式Table 10 The parameters expression of node A

表11 节点B 的参数表达形式Table 11 The parameters expression of node B

表12 排气异常工况识别模型的专家知识形式一Table 12 The expert knowledge form one for the abnormal exhausting condition model

表13 排气异常工况识别模型的专家知识形式二Table 13 The expert knowledge form two for the abnormal exhausting condition model

为说明本文方法的有效性和优越性,设计三组实验进行对比.首先,按照文献[9−10]提出的方法,不进行迁移,仅使用目标域电熔镁炉的500 条稀缺数据学习目标域排气异常工况识别BN 模型的参数,并将其表示为模型一.然后,从同一工厂其他两组仅利用电流特征进行排气异常工况识别的熔炼过程以及两组利用多源特征进行排气异常工况识别的熔炼过程中,分别收集2 000 条排气异常数据作为源域数据,通过本文提出的BN 参数迁移学习方法来学习目标域排气异常工况识别BN 模型的参数,并将该模型表示为模型二.最后,按照文献[11]提出的方法,仅考虑结构一致情况下的源域,不使用结构不完全一致的相关源域信息,即只从两组使用多源特征进行排气异常工况识别的熔炼过程分别收集2 000 条排气异常数据作为源域数据,来学习目标域排气异常工况识别BN 模型的参数,并将该模型表示为模型三.综上所述,三种模型的建模方法描述如表14 所示.

表14 三种模型描述Table 14 Descriptions of the three models

本文选取一些排气异常工况的典型事件进行分析,如表15 所示.异常工况体现为7 个不同的特征,即节点E～ K.每个特征分为3 个或4 个等级,由数字1～ 3 或1～ 4 表示.其中,节点E～ J 分为3 个等级,分别为:小、中、大;节点K 分为4 个等级,分别为:非常小、小、大、非常大.以事件编号18 为例,其物理意义是节点E、F 的状态等级为小;节点G～ I 的状态等级为中;节点J 的状态等级为大;节点K 的状态等级为非常大.节点A 分为4 个等级,分别为:正常、轻度异常、中度异常、严重异常,由数字1～ 4 表示.

表15 排气异常工况的典型事件Table 15 The typical scenarios for the abnormal exhausting condition

将表15 中典型事件的特征作为证据输入到已经建立的模型一、模型二和模型三,并且进行BN 推理.本文使用联结树推理算法[33].推理结果分别展示在表16～ 表18 中,将具有最大后验概率的等级视为识别结果,并以粗体显示.

根据实际操作经验,与表16～ 表18 的识别结果进行比较,可以得到三种模型的异常工况识别准确率,分别为72.2%、100%和94.4%.模型一由于仅使用了目标域稀缺数据学习目标域BN 模型参数,无法完全学习到数据真实的分布特性,建立的BN 模型不准确,因此异常工况识别准确率较低,为72.2%.模型三由于使用了两组结构一致的源域来辅助学习目标域BN 模型参数,异常工况识别准确率得到了有效的提升,为94.4%.而模型二除了使用两组结构一致的源域,还使用了两组结构不完全一致的相关源域,使用的源域信息更加充分,建立的BN 模型更加准确,因此比模型三有更高的识别准确率,为100%.实验结果说明了本文提出方法的有效性和优越性.

表16 排气异常工况识别模型一的识别结果Table 16 The identification results of abnormal scenarios for model one

表17 排气异常工况识别模型二的识别结果Table 17 The identification results of abnormal scenarios for model two

表18 排气异常工况识别模型三的识别结果Table 18 The identification results of abnormal scenarios for model three

5 结论

本文针对电熔镁炉熔炼过程中异常工况数据不够充分的情况,提出了一种新的BN 参数迁移学习方法,解决了源域与目标域结构不一致情形下的参数迁移学习问题.目标域BN 被分解成以单一节点及其父节点为单位的子BN.针对每一个子BN,在源域中进行搜索,将具有相同结构关系的源域作为备选源域.在确定备选源域后,为避免负迁移影响,本文进一步提出了评价备选源域与目标域相似性的指标.通过计算整体结构相似度和该节点的参数相似度,确定了备选源域的迁移权重.最后,将备选源域参数和目标域参数进行加权,获得了最终的目标域参数.在Asia 网络以及电熔镁炉熔炼过程排气异常工况识别的实验,说明了本文提出方法的有效性和优越性.