基于卷积神经网络的输电线路金具缺陷检测方法

裘瑾怡 任新新 陈希

技术应用

基于卷积神经网络的输电线路金具缺陷检测方法

裘瑾怡1任新新1陈希2

（1.新昌县新明实业有限公司，浙江 新昌 312500 2.长沙理工大学，湖南 长沙 410000）

针对架空输电线路长期处于恶劣、复杂的自然环境中，线路上的金具受气候、地形、外力作用等影响出现的不同类型缺陷，提出一种基于YOLO V3卷积神经网络的输电线路金具缺陷检测方法。通过YOLO V3卷积神经网络提取不同类型缺陷的特征，并对其进行适应性改进，识别与定位这些缺陷在输电线路上的位置，可提高检测的准确性和实时性，及时发现线路故障，确保输电线路安全稳定运行，提高输电线路巡检的效率和电网的智能化程度。

输电线路金具；YOLO V3卷积神经网络；缺陷检测

0 引言

架空输电线路长时间暴露在自然环境中，输电线路上的螺栓锈蚀、导线破损和防震锤形变等情况[1]时有发生，及时发现这些线路金具缺陷对电力系统安全稳定运行是非常必要的。传统的输电线路巡检工作需要大量的人力和时间，并受限于交通、气候等条件，无法满足日益发展的电力系统需求。通过高清摄像头采集输电线路图像，检测金具缺陷的方式有无人机巡检和带电作业机器人巡检[2]等，这些巡检方式比人工巡检更精准、快捷、安全，可大面积、长时间地巡检，然而，仍需要人工肉眼观察输电线路图像中的故障，无法实现自动检测。为此，本文提出采用视觉技术检测输电线路金具缺陷的方法，提高线路巡检工作的智能化程度。

卷积神经网络具有权值共享和局部连接的特性，适合处理图像问题。随着计算机算力的提升和深度学习的发展，使卷积神经网络在计算机视觉领域得到充分应用；同时，降低了图像分类错误率，提高目标检测准确性，并逐步实现实时目标检测。

本文采用基于深度卷积神经网络的YOLO V3算法[3]识别输电线路金具缺陷。YOLO V3算法将目标检测问题处理为回归问题，直接从输入图像预测目标的位置和类别信息，网络结构简单，检测速度快捷。在416×416输入图像分辨率下，对MS COCO数据集[4]实现了55.3%的mAP，速度达到35帧/s，检测精度和检测速度都超过SSD算法。针对本文的识别任务，对YOLO V3算法的主体网络结构进行适应性改进，使其在识别输电线路金具缺陷时，具有较高的准确率和良好的实时性。

1 输电线路金具图像数据集

1.1 图像数据采集

首先，在不同光照强度、背景、角度、远近的情况下，利用输电线路带电作业机器人或人工的拍摄方式，采集输电线路上的螺栓（锈蚀螺栓、正常螺栓）、破损导线和防震锤的图像各600幅；然后，整理采集的图像并统一剪裁为416×416像素；最后，对图像进行±45°随机旋转、随机水平/垂直翻转和随机裁剪，将螺栓、破损导线和防震锤的图像分别扩增至1 486幅。这些数据扩展方式不仅不会影响目标本身的特征信息，还可以在数据量不足的情况下，增加样本的多样性，提高检测模型的泛化性。

1.2 图像标注与数据集制作

用矩形框标注1 468 × 3 = 4 458幅图像中的螺栓、破损导线和防震锤，标注过程如图1所示。

图1 数据集标注过程

2 基于改进YOLO V3的输电线路金具检测方法

2.1 YOLO V3基本原理

在CVPR2016上，REDMON J等[6]提出You Only Look Once（YOLO）算法。该算法没有采用当时盛行的Two Stage方法，放弃了在图像上生成建议区域的过程，而是将整幅图像作为一个全卷积神经网络的输入，直接在输出层回归边界框的坐标信息及其所属的类别信息，实现实时的目标检测任务。YOLO V3作为YOLO算法的第三个版本，继承了其单阶段检测的特性。本文在YOLO V3算法的基础上提出输电线路金具缺陷检测方法。

2.2 YOLO V3主体结构

为达到更好的分类效果，YOLO V3借鉴ResNet网络结构，采用更深的卷积神经网络Darknet-53。Darknet-53网络主要由1×1和3×3的卷积层组成，每个卷积层后都接一个批次归一化层[7]和一个LeakyRelu激活层；引入ResNet[8]残差模块，解决网络深度加大时出现的训练退化问题；引入多尺度融合，改善YOLO算法识别小目标的效果。Darknet-53网络结构如图2所示，该网络共进行5次降采样。

2.3 多尺度融合预测

YOLO算法是在整幅输入图像上进行预测，导致其识别小目标时效果不好。为此，YOLO V3借鉴了FPN网络[9]的思想，将不同尺度的特征图融合后再做预测。由于高层次特征图包含的信息更抽象，表达的语义信息更强，感受野更大，适合检测大尺度目标；低层次特征图含有目标更多细节，感受野较小，适合检测小尺度目标。因此，将高层次特征图与低层次特征图进行特征融合，可充分利用图像的低层语义信息，提升小目标检测效果。

图2 Darknet-53网络结构

2.4 适应性的改进方法

本文数据集是无人机拍摄的输电线路图像，属于远视角图像，而需要识别的目标为螺栓、破损导线和防震锤，属于小尺度目标。YOLO V3算法融合的特征图是针对MS COCO 数据集设计的，不适用于本文数据集的识别目标，易出现漏检或误检情况。为此，本文针对输电线路金具缺陷，对YOLO V3算法做了相应改进。

2.4.1 数据集标注框维度聚类的改进

YOLO V3引入了Faster RCNN的锚框机制，将锚框作为先验框来预测目标的边界框。而Faster RCNN的锚框比例和大小是根据经验而定，在训练过程中再调整。虽然过多的锚框可以保障检测效果，但同时也会影响算法的检测速度。因此，REDMON J等在YOLO V2算法中提出了维度聚类方法[6]。利用K-means算法在数据集上聚类，得到合适的锚框个数和初始尺寸，并将簇中心的个数作为算法的锚框个数。

标准的K-means算法利用欧式距离衡量两点间的距离，然而在边框尺寸较大时，其误差也较大。为使先验框和预测框之间的交并比更大，且交并比与边框尺寸无关，本文通过交并比定义距离函数。计算公式为

对本文自制数据集进行聚类分析，聚类过程中簇的中心个数K和平均交并比的关系如图3所示。

由图3可知，当= 6时，曲线开始收敛，即当锚框数为6时，锚框可较好地贴合标注框。本文数据集中聚类得到的6种锚框尺寸分别为(29, 60)、(49, 92)、(85, 95)、(96, 153)、(130, 89)、(306, 152)。

2.4.2 多尺度融合的改进

YOLO V3算法针对MS COCO数据集分别在13×13、26×26和52×52的尺度下进行特征图融合与预测。本文数据集包括3个小尺度目标，且尺度变化较大。因此，改进的YOLO V3算法只在26×26和52×52的尺度下做预测，这样可以更加专注于小目标检测。每种尺度有3种锚框，以降低误检或漏检情况。

首先，26×26特征图经过1×1的卷积核改变通道数，使其与52×52特征图的通道数相同；其次，做2倍上采样（最邻近上采样法）；再次，通过像素间加法将其与低层次特征融合；最后，融合后的特征图经过3×3卷积核处理，消除上采样带来的混叠效应[9]。通过上采样和特征融合，提高了小目标的检测效果。两次预测总计10140个边界框，在减少预测框个数的同时，保证了对小目标的检测效果。改进后的多尺度融合结构如图4所示。

图4 改进后的多尺度融合结构

为充分利用低层次特征信息，针对本文自制数据集进行相应改进。在两种较大尺度的特征图上利用特征图融合方式进行2次预测，提高小目标的检测效果，同时降低网络结构的复杂性，从理论上提高检测速度。

2.5 训练与检测结果

本文的实验环境如表1所示。

表1 实验环境

本文实验的数据集由螺栓、破损导线和防震锤的图像各1 486幅及其标注信息组成。随机抽取螺栓、破损导线和防震锤图像各1 000幅作为训练集，剩余图像作为测试集。

在训练改进的YOLO V3算法时，载入原YOLO V3的权重文件。首先，训练网络的最后三层80个迭代次数，冻结其余层，得到较为稳定的loss值，此阶段训练的批次大小batch_size为16，RMSprop优化算法设置初始学习率为0.001；然后，将网络所有层训练100个迭代次数，训练的批次大小batch_size为16，RMSprop优化算法设置学习率为0.0001。训练28 h后loss基本收敛，得到最优的训练模型。

本文实验利用486 × 3 = 1 458幅测试集图像及其标注信息进行测试，采用召回率、准确率和检测速度评估改进的YOLO V3算法性能，并与YOLO V3算法进行对比，对比结果如表2所示，螺栓、破损导线、防震锤检测结果分别如图5、图6、图7所示。

表2 实验对比结果

图5 螺栓的检测结果

图6 破损导线的检测结果

图7 防震锤的检测结果

由表2可知，改进的YOLO V3算法的召回率比YOLO V3算法降低了1.8%，准确率提高了6.7%，仅用6种锚框做2次预测，检测速度达到32帧/s，验证本文对YOLO V3算法做适应性改进是有效、可行的。

改进的YOLO V3算法在光照强度变化、大部分遮挡和多目标检测情况下，依然可以检测出锈蚀螺栓、破损导线、防震锤变形，检测结果分别如图8、图9、图10所示，说明该算法具有较强的泛化性和鲁棒性。

图8 部分遮挡的螺栓检测结果

图9 不同光照强度的破损导线检测结果

图10 多目标的检测结果

3 线路金具缺陷检测

通过改进的YOLO V3算法可识别与定位输电线路的螺栓、破损导线和防震锤。由于是针对破损导线进行模型训练，因此破损导线缺陷可以直接检测。输电线路的锈蚀螺栓和防震锤形变需利用改进的YOLO V3算法进一步检测。

3.1 螺栓锈蚀检测

采用改进的YOLO V3算法可以准确、快速地检测输电线路上的螺栓，利用这个检测结果可进一步识别锈蚀螺栓情况。正常螺栓和锈蚀螺栓的表面颜色特征不同，正常螺栓表面多是银色，而锈蚀螺栓表面多是暗红色或黑色。因此，可以利用图像处理技术识别螺栓锈蚀区域，从而判断螺栓是否发生锈蚀。

采集的输电线路图像是RGB图像，R（红色）、G（绿色）、B（蓝色）。RGB图像易受光照影响，且无法直观地表达人眼观察的颜色。HSV图像不受光照影响，是与人类视觉感知接近的颜色模型。因此，本文利用螺栓的HSV图像对螺栓锈蚀区域进行识别。

螺栓锈蚀区域识别流程为：

1）根据YOLO V3算法的检测结果，在输电线路图像中裁剪出螺栓图像；

2）将裁剪的螺栓图像从RGB颜色空间模型转换为HSV颜色空间模型；

3）对螺栓HSV图像进行阈值分割，并通过大量实验确定锈蚀区域的、、分量的分割阈值为

式中，

——色度；

——饱和度；

——明度。

4）统计二值化后的螺栓图像中锈蚀区域的面积。

正常螺栓锈蚀检测结果如图11所示，锈蚀螺栓锈蚀检测结果如图12所示。

图11 正常的螺栓的检测图

图12 锈蚀的螺栓的检测图

由图12可知，输电线路上正常螺栓经过二值化处理后，识别为锈蚀区域的面积较小；而锈蚀螺栓经过二值化处理后，识别为锈蚀区域的面积较大。因此，可通过锈蚀面积判断螺栓是否锈蚀。

3.2 防震锤形变检测

输电线路上的防震锤因风力或外力作用，使其两侧锤头出现形变，影响防震效果。本文通过检测防震锤两侧的锤头顶点和线夹体中点这3个关键点来判断防震锤是否形变。防震锤的3个关键点如图13所示。

图13 防震锤上的3个关键点

本文利用Mobilenet V2卷积神经网络来训练预测防震锤上的3个关键点。Mobilenet V2将标准卷积分解为深度卷积和逐点卷积，降低网络结构的计算量，从而提高检测速度。利用YOLO V3算法检测出输电线路图像中防震锤位置，然后将防震锤图像及3个关键点的标注信息作为Mobilenet V2网络的输入，利用RMSE损失函数计算预测关键点与标注关键点的距离，从而识别防震锤3个关键点。防震锤关键点检测结果如图14所示。

图14 防震锤关键点检测结果

通过防震锤上3个关键点的坐标信息，可判断防震锤是否形变。

4 结论

本文针对输电线路的锈蚀螺栓、破损导线和防震锤形变等缺陷，提出基于YOLO V3的输电线路金具缺陷检测方法。根据本文的识别对象对目标检测网络的结构进行相应改进，利用K-means聚类算法得到合适的锚框数目和锚框尺寸。通过实验结果对比，改进的YOLO V3算法相比于YOLO V3算法在准确率和检测速度上都有显著提升。将该算法部署到带电作业机器人或无人机上，可实现机器人自主巡检输电线路故障并实时监控输电线路状况，取代人工巡检，提高电网智能化程度。

[1] 胡毅,刘凯,吴田,等.输电线路运行安全影响因素分析及防治措施[J].高电压技术,2014,40(11):3491-3499.

[2] 肖晓晖,史铁林,杜娥.高压输电线路巡线作业机器人的动力学建模[J].机械与电子,2004(10):44-47.

[3] REDMON J, FARHADI A. Yolov3: an icrement-al improvement[C]//IEEE Conference on Com-puter Vision and Pattern Recognition,2018.

[4] LIN T Y, MAIRE M, BELONGIE S, et al. Micro-soft COCO: common objects in context[C]//Pro-ceedings of European Conference on Computer Vision. New York: Springer, 2014: 740-755.

[5] EVERINGHAM M, VAN COOL L,WILLIAMS C K I, et al. The pascal visual object classes(VOC) challenge[J]. International Journal of Computer Vision, 2010,88(2):303-338.

[6] REDMON J,FARHADI A.YOLO9000: better, faster, stronger [C]//Proceedings of IEEE Con-ference on Computer Vision and Pattern Reco-gnition. New York:IEEE Press,2017:101-110

[7] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep networ training by reduceoing interal covariate shift[C]// Proceedings of International Conference on Machine Learning. Heidelberg: Springer Press, 2015:448-456.

[8] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceed-ings of IEEE Conference on Computer Vision and Pattern Recognition.New York:IEEE Press, 2016:770-778.

[9] LIN T Y, DOLLAR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//Pr-oceedings of IEEE Conference on Computer Vi-sion and Pattern Recognition.New York:IEEE Press, 2017:936-944.

Detection Method of Transmission Line Fittings Defects Based on Convolution Neural Network

QIU Jinyi1REN Xinxin1CHEN Xi2

(1.Xinchang Xinming Industrial Co., Ltd. Zhejiang 312500, China 2.Changsha University of Technology, Changsha 410000, China)

Aiming at the different types of defects of the fittings on the overhead transmission line, which are affected by the climate, terrain and external force, a method for detecting the defects of the fittings on the transmission line based on YOLO V3 convolutional neural network is proposed. The YOLO V3 convolutional neural network is used to extract the characteristics of different types of defects and make adaptive improvement to them. Identifying and locating the positions of these defects on the transmission line can improve the accuracy and real-time of detection, timely detect line faults, ensure the safe and stable operation of the transmission line, improve the efficiency of transmission line inspection and the intelligence of the power grid.

transmission line fittings; YOLO V3 convolutional neural networks; defect detection

TP183

A

1674-2605(2022)04-0008-07

10.3969/j.issn.1674-2605.2022.04.008

裘瑾怡,任新新,陈希.基于卷积神经网络的输电线路金具缺陷检测方法[J].自动化与信息工程,2022,43(4):36-41,47.

QIU Jinyi, REN Xinxin, CHEN Xi. Detection method of transmission line fittings defects based on convolution neural network[J]. Automation & Information Engineering, 2022,43(4):36-41,47.

裘瑾怡，女，1995年生，本科，助理工程师，主要研究方向：电力通信运检。E-mail: qjy081152@163.com

任新新，女，1989年生，硕士，工程师，主要研究方向：电力通信运检。E-mail: 807264446@qq.com

陈希，女，1997年生，硕士，主要研究方向：图像处理。E-mail: 1430094269@qq.com