改进深度学习优化电力设备缺陷图像识别

于彦良，李静力，王 斌

（1.河北轨道运输职业技术学院，河北 石家庄 050022；2.华北理工大学矿业工程学院，河北 唐山 063210）

1 引言

电力设备的各种缺陷影响了电网的正常运转，严重的缺陷甚至给生产生活带来重大的损失，因此快速准确的设备缺陷检测具有重要意义[1]。电力设备的缺陷根据其应用特点，通常会产生异常发热[2]，因此可以使用红外图像凸显电力设备缺陷，达到全时无接触且不停电的检测优势，但随着自动化水平的提高，电力企业为预防设备缺陷而产生大量的设备关键部位连续拍摄红外图像，这些图像所处背景复杂，且噪声多变，传统机器学习提取的特征对人工先验知识过于依赖，特征的描述力较弱，对复杂背景和多变噪声的鲁棒性较差，较低准确率和低泛化能力难以实时准确的对缺陷检测识别检测，为引，基于深度学习的电力设备红外图像缺陷识别技术研究，成为电力设备缺陷检测的研究热点[3]。

基于深度学习算法的缺陷目标识别以CNN网络支撑，在缺陷特征学习和提取上具有更好的泛化能力，其中基于候选区域的Faster-RCNN 网络实现了端对端识别，准确率较好，已经被应用于各种场合[4]，但网络模型的计算复杂度高，实时更新难度较大，为此，文献[5]采用生成对抗网络改善缺陷图像的模糊性，并以改善后的清晰图像作为Faster RCNN的模型训练输入，然后以领域专家标准对网络模型的参数进行优化，建立了缺陷检测的改进Faster RCNN模型；文献[6]将模型定位和分类产生的误差构建判别函数对Faster RCNN模型的负样本进行差别，并采用自助采样改进模型训练；文献[7]删减了Faster RCNN模型的RCNN部分，采用数据聚类思想自适应设置初始选框，从而优化网络的收敛性能，同时以困难样本挖掘改进模型的损失函数，极大的提高了训练过程，实现了针对毫米波图像目标识别的快速高效神经网络；文献[9]采用Faster RCNN 网络构建用于电力配网设备小部件缺陷的识别与定位算法，取得较好的识别准确率和定位精度，但模型需要较长的训练过程，且合适的样本选取较为困难。

在已有研究基础上，结合电力设备缺陷在红外图像中表现的实际特性，提出了基于改进Faster RCNN 的缺陷识别算法，算法通过模型中RPN网络卷积核的优化，减少RPN网络的计算量，通过多分辨率特征融合提高网络对缺陷特征语义信息和细节定位信息的应用，最后通过自适应训练数据抽样提高正负训练样本抽取的有效性，从而提高算法缺陷识别准确率，实测数据实验验证了算法的有效性。

2 缺陷红外图像识别

2.1 改进Faster RCNN识别模型

电力设备缺陷的红外图像主要由电力相关企业多年采集的典型缺陷图像，设备缺陷的红外图像中的包含有彩虹、铁红等较多类型的伪彩色，且背景复杂多变，噪声干扰较多，采集角度多变，从而使得传统的图像识别算法对缺陷的红外图像处理性能不足。

Faster RCNN 深度学习网络模型以特征的共享卷积形式将RPN和RCNN两大神经网络进行合并，且提供了针对两个网络提供了联合训练策略，因而比单一形式的神经网络结构具有更深的网络层次，更适于复杂背景的目标识别，但传统模型训练样本要求高，训练时间较长，为此，文中构建了基于改进深度学习Faster RCNN模型的缺陷红外图像识别模型，其检测结构及检测流程，如图1 所示。首先以采集的缺陷备红外图像对基于改进Faster RCNN网络的识别模型进行训练，确定网络相关识别参数，生成检测网络，然后将缺陷测试图像输入识别模型，完成网络识别性能测试，从而实现电力设备缺陷的准确识别与定位。

图1 基于改进Faster RCNN模型的缺陷检测流程Fig.1 Defect Detection Process based on Improved Faster RCNN Model

2.2 RPN网络优化

RPN网络通过共享卷积层提取输入图像的特征，并将特征图压缩为ω×h大小，Proposal层在该图中每个像素位置地提取k个锚点区域，然后通过分类器和边框回归获得包含电力设备缺陷目标的锚点候选区域。

在训练阶段，Proposal层进一步根据相交率（IoU）最大及相交率大于0.7这两个条件对锚点区域进行正样本标注，然后以式（1）所示目标函数进行网络训练[9]，即：

式中：Ncls、Nreg—锚点及其中的正锚点的数量；pi∈[0，1]—置信度预测值={ 0，1} —锚点正样本和负样本标注参数；ti、t*i—锚点边框修正值的预测值与实际值；Lcls—描述置信度预测误差的交叉熵分类代价函数；Lreg—描述边框修正值预测误差的代价函数，其定义为［10］：

在文中改进Faster RCNN网络缺陷识别模型中，RPN将输入的设备缺陷红外图像输出为矩形的候选框，候选框对应缺陷目标的存在概率和位置，传统RPN网络由卷积核共生出特征图，计算量巨大，为提高网络性能，改进后的模型采用（3×3）核一次生成256个目标特征，从而避免（5×5）卷积核的使用[11]。

2.3 多分辨率特征融合

模型ROI池化层将RPN网络输出的候选框坐标映射到conv_5卷积层，并将其在水平和垂直方向等分为7层进行各层的最大池化，从而得到尺寸为（7×7×512）的结果层，conv_5卷积层对语义信息描述较好，但其输出的特征图分辨率较低，而相应的conv_3层对图像的细节信息描述较好，为此，将conv_5层和conv_3层输出的候选特征图相融合进行ROI池化层的多分辨率改进，其过程，如图2所示。首先将两个卷答层输出的候选特征图进行拼接，得到尺寸为（7×7×768）的拼接图，然后再对拼接特征图进行（1×1）卷积，最后由全连接层完成多分辨率特征图的连接。

图2 多分辨率特征融合卷积Fig.2 Multi-Resolution Feature Fusion Convolution

上这卷积过程将conv_5卷积层输出的语义特征与conv_3卷积层输出的细节信号融合到拼接特征图中，同时保持了卷积后特征图原始尺寸和特征信息，相比于传统Faster RCNN 网络模型，文上改进模型聚集了多分辨率特征信息，从而有利于模型对缺陷的识别。

2.4 自适应采样训练

在模型训练阶段，训练数据主要为RPN网络输出的候选特征图，但由于电力设备缺陷区域通常仅占整个红外图像的很一部分，导致特征图中往往背景区域多于目标区域，针对这种情况，传统Faster RCNN 网络通过简单的正负样本的随机抽样获得训练数据，这种方向易实现，但是识别与边框精度有待提高，为此，文中提出自适应训练数据采样算法来提高改进模型的识别效果。

算法首先对数据进行初始测试并挖掘其中误差较大的样本用以训练难样本，其中难正样本受到分类和边框两个误差的影响，分类误差能够提高训练结果的预测概率并减少漏检率，但同时影响了边框精度，反之亦然。为此，难正样本的自适应抽样时，先选取IoU较小的样本以降低算法的误检率，而对于IoU较大的样本，则以分类误差较大的样本为主，以优化算法的漏检率，这样文中对难正可样本的自适应抽样设计了式（3）所示的判别函数：

式中：通常以o=0.5作为边框预测是否准确的阈值，p－分类置信度，与Lscore呈现负的线性关系，当L(o，p)大于某阈值时，则该样本作为难正样本。负样本主要与分类识别误差相关，其通常以分类误差较大的样本作为难负样本。而不影响边框误差，最后组合所有抽样难样本并随机选取一组样本作为训练数据。

3 实验结果与分析

为验证文中改进模型对电力设备缺陷的识别性能，以某电力企业提供的500幅红外缺陷图像和1000幅无缺陷红外图像作为实验数据，基于Cafe架构构建实验模型，RPN数为60，阈值为0.80，实验环境：CPU Intel Core i7 7700HQ，内存8G，训练数据采用自适应抽样从实验图像中选取。

在训练过程中，模型目标函数收敛情况，如图3所示。可以看出，随着迭代次数的增加，改进识别模型的目标函数逐渐收敛，在迭代12次时，目标函数值在一个较少的幅度内震荡，从而实验算法收敛。

图3 Faster RCNN模型收敛曲线Fig.3 Faster RCNN Model Convergence Curve

为进一步测试文中改进Faster RCNN 缺陷识别模型的识别性能，采用传统Faster RCNN、基于SIFT特征的CNN识别模型（记为SIFT－CNN）、YOLOv3[9]模型和SSD300[10]模型作为实验比较算法，实验结果，如表1所示。可以看出，SIFT－CNN组合模型的各项评价指标都较低，主要其对红外图像复杂背景和干扰的鲁棒性不强，对人工特征候选区域的依赖性较高，而文中改进的Faster RCNN识别模型通过优化锚框尺寸，多分辨率特征整合进一步改善传统Faster RCNN模型对电力设备缺陷红外图像的适应性，同时保持了传统网络模型原有的抗噪性和对不同背景的适应性。

表1 不同方法的缺陷检测实验结果Tab.1 Classification Results of Different Methods

4 结论

结合电力设备缺陷在红外图像中表现的实际特性，提出了基于改进Faster RCNN的缺陷识别算法，算法通过模型中RPN网络卷积核的优化，减少RPN网络的计算量，通过多分辨率特征融合提高网络对缺陷特征语义信息和细节定位信息的应用，最后通过自适应训练数据抽样提高正负训练样本抽取的有效性，从而提高算法缺陷识别准确率，实测数据实验表明，改进模型目标函数可以在较少的迭代次下实现稳定实收，在准确率、召回率和运行时间优化传统FasterRCNN 模型、基于SIFT 算子等已有模型，从而验证了算法的有效性和对不同背景干扰的有效性。