巡检机器人中指针式仪表示数的自动识别方法

孙婷 马磊

摘 要：针对巡检机器人室外自主識别仪表示数易受到光照影响的问题，在研究了基于二维伽马函数的仪表图像光照不均匀自适应校正算法的基础上，提出了基于最大稳定极值区域（MSER）提取指针区域的算法。首先，通过三尺度高斯函数提取光照分量，构造二维伽马函数自动地调整图像反光区域或过暗区域的亮度;然后，通过MSER的两次稳定区域检测提取指针区域;接着，以指针通过仪表轴心为条件，用细化算法和累计概率霍夫变换（PPHT）精确地定位到指针，提高了定位直线的准确度;最后，通过PPHT检测的直线两个端点与轴心位置比较，直接可以判断指针指向，更加方便了计算示数。实验结果表明，所提的仪表示数识别方法能够适应不同光照下、不同类型仪表的指针定位，且识别示数的正确率达到94%以上。

关键词：二维伽马函数;指针区域提取;最大稳定极值区域（MSER）;细化算法;累计概率霍夫变换（PPHT）

中图分类号： TP216; TP391.413

文献标志码：A

Abstract： In the outdoor working environment of inspection robots， recognizing the number of meter was susceptible to illumination. An adaptive adjustment algorithm for meter images based on 2D-Gamma function was studied. Then an algorithm based on Maximally Stable Extremal Region （MSER） was proposed to extract the pointer. Firstly， the reflection component was extracted by three-scale Gaussian functions， 2D Gamma function was constructed to automatically adjust brightness of the reflected or overshadowed region of image. Secondly， the pointer region was extracted through two MSER detections. Thirdly， on the condition that the pointer passed through the axis of dial， the pointer was precisely positioned by thinning algorithm and Progressive Probabilistic Hough Transform （PPHT） to improve the accuracy of positioning lines. Finally， on basis of comparing the positions of two endpoints by PPHT with axis， the direction of pointer was directly determined， thus calculating the number was more convenient. The experimental results show that the proposed method can deal with different types of meters under different lighting conditions. Moreover， the correct rate of identification reaches over 94%.

Key words： 2D-Gamma function; extraction of pointer region; Maximally Stable Extremal Region （MSER）; thinning algorithm; Progressive Probabilistic Hough Transform （PPHT）

0 引言

指针式仪表因其实用性好、可靠性高、成本低、抗电磁干扰能力较好等特点，被广泛应用于电力系统，因此需要对这类仪表示数进行识别达到监控设备的目的。在传统的人工巡检耗时、耗力、低效的背景下，电力巡检机器人[1]应运而生。若要求巡检机器人代替人工巡检，那么自主而准确读取不同工况下各个仪表的示数是其必备的核心功能之一。

由于巡检机器人室外工作的环境，需要考虑到光照等天气情况的影响。Liu等[2]利用小波变换提取边缘点，再利用最小二乘法拟合指针所在的直线，但是该方法对噪声比较敏感。Jian等[3]针对仪表反光的现象，利用轮廓特征对几何图形进行拟合，以某一固定特征为参考位置，根据位置关系读取示数。该方法能减少光照影响，但若光照影响了指针轮廓提取，效果会不理想。许丽等[4]提出迭代最大类间方差算法，能够提取不同光照条件下的指针区域，再利用霍夫变换（Hough Transform， HT）定位到指针。针对消除光照反射影响的问题，Tan等[5]根据反射模型采用位编码的漫反射图片估计去除高光后的图片，由于需要进行颜色分割，所以部分情况下适用。Lee等[6]利用直方图均衡化进行图像增强，但存在色彩失真等问题。基于Retinex理论[7]的算法以色彩恒常性为基础，在原图像中估算出亮度图像，保留反射图像来消除光照的影响。该算法一定程度上可以消除亮度不均，但在亮度突变区域易产生光晕现象。Elad[8]提出的基于双边滤波的Retinex算法，利用双边滤波对原图像平滑计算亮度图像，该算法去光照效果较好，但是双边滤波耗时较长。

本文首先对仪表图像进行预处理，其中主要研究了去除光照不均匀下的问题，采用了二维伽马函数[9]校正亮度。该算法采用高斯模糊提取亮度图像，根据亮度分布特性构造二维伽马函数自适应校正图像亮度。由于传统的二值化算法难以适应不同条件下指针区域的提取，根据指针区域与表盘区域灰度差异，提出了基于最大稳定极值区域（Maximally Stable Extremal Region， MSER）算法得到最稳定的区域即仪表指针，然后利用细化算法[10]细化指针，便于累计概率霍夫变换（Progressive Probabilistic Hough Transform， PPHT）检测直线定位到指针。在表盘上构建坐标系，根据指针的指向求解出指针的示数，最后通过实验验证本文算法识别仪表示数的有效性。

1 图像预处理

由于室外光照、噪声等因素的影响，在识别提取到的仪表示数之前对图像进行预处理，包括二维伽马函数[9]校正图像的不均匀光照、中值滤波去噪、灰度化。

1.1 光照不均匀校正

1.1.1 Retinex理论

根据Retinex理论，对于一幅给定的图像S（x，y）可以看作由入射图像（亮度图像）L（x，y）和反射图像R（x，y）构成，如式（1）所示：

其中：L（x，y）决定了图像中像素可以达到的动态范围;R（x，y）代表了物体反射能力，由物体本身决定。Retinex理论的主要思想就是在原始图像中，选取某种方法最大限度地降低入射图像的影响，保留物体本身属性的反射图像，如式（2）所示：

一般将亮度图像估计为空间模糊图像，如式（3）所示：

其中：为卷积符号;F（x，y）为中心环绕函数。由于采取高斯函数的方法可以在压缩图像亮度的动态范围同时准确估计图像中照度的变化，故本文采用的是高斯函数形式，如式（4）所示。F（x，y）S（x，y）为高斯函数与原图像卷积，即为光照分量的估计值。

其中：c为高斯环绕尺度;λ为归一化常数，其取值必须满足F（x，y）dxdy=1。

1.1.2 三尺度高斯函数

根据高斯函数的特点，单个高斯环绕尺度c的取值难以同时兼顾压缩动态范围和保证对比度，故采取多尺度高斯函数[9，11]，如式（5）所示：

其中：N为高斯中心环绕函数个数;ωi为相应的权系数。经典的就是三尺度，包括大（c1=250）、中（c2=85）、小（c3=15），既可以有效压缩图像动态范围，又可保持图像局部特性，即N=3，ωi=1/3。

1.1.3 二维伽马函数

提取出光照分量之后，可以根据光照的分布特性，自适应地校正图像的亮度分布，伽马校正可以实现图像的亮度校正。本文采用的是利用光照分布特性调整二维伽马函数的参数，构造的二维伽马函数如式（6）所示：

其中：O（x，y）表示校正后的图像;γ为亮度校正的指数值;α为γ的可变参数，取值范围为（0，1];m为光照图像的亮度均值。根据伽马校正[12]的原理，灰度值较低的区域，α取值越小，γ越小，则图像的动态范围变大;灰度值较高的区域，α取值越小，γ越大，则图像的动态范围变大。

本文的应用场景是针对指针型仪表的，对于获取的仪表图像中，指针一般为黑色（深色）、表盘多数为白色（浅色）或两者相反。图像整体亮度提高后，便于后续有效提取出指针区域，经过实验，取α=0.3效果较好。

因此，不均匀光照校正的算法具体步骤如下：

1）将图像从RGB转换到HSV空间，可单独处理图像的亮度空间（V）而不对图像的色调（H）、饱和度（S）产生影响。

2）三尺度高斯函数与原图像卷积，得到光照分量估计图。

3）根据光照分布特性对二维伽马函数进行参数调整，自适应校正原图像光照的不均匀分布。

4）从HSV转换为RGB空间，得到校正后的图像。

原始图像光照过暗，得到的实验结果如图1所示。图1（b）为基于双边滤波的Retinex校正的结果，校正后的仪表亮度均匀提高了，但耗时较长，处理时间为10.620337s。图1（c）为二维伽马校正的结果，没有出现色彩失真等现象，去光照效果较好，处理时间为1.048631s，耗时较短。

1.2 图像预处理流程

在采集仪表图像时会有噪声的干扰，因此在经过不均匀光照处理之后，采用中值滤波去噪，但是平滑窗口的大小过大或过小，在一定程度上会造成图像的模糊，本文采用的是5×5方形窗口，去除噪声的同时不会造成过多细节的丢失，因此本文的图像预处理的整体算法流程包括不均匀光照校正、中值滤波、灰度化处理。

2 仪表指针定位

仪表指针的定位分为两步，包括提取指针区域、定位指针所在直线。提取指针区域的二值化算法，如全局阈值化、最大类间方差法等，一般受光照、背景等影响难以有效提取指针区域。针对以上问题，本文提出了基于MSER的指针区域提取算法。指针区域具有末端细、始端粗的特點，直接定位其所在直线存在偏差，所以本文采用了细化算法和PPHT检测直线算法来定位指针。

2.1 MSER检测

MSER[13-14]是基于分水岭的概念，可以用于图像的区域检测，而且具有仿射不变性。Nister等[15]的实验证明，该方法多数情况下在区域检测中性能最佳，稳定较好，计算效率高且无需模糊操作便可实现多尺度检测。该算法获取的极值区域反映的是其集合中的像素值总大于或总小于其邻域中的像素值，本文的区域指的是仪表指针所在区域，一般其指针区域和表盘区域灰度深浅程度相差比较大，能够进行指针区域的有效提取。

2.1.1 原理简介

MSER基本思想：对灰度图像进行二值化操作，其阈值变化范围为[0，255]，即图像经历一个从全黑到全白的过程。此过程中，有些连通区域面积随阈值上升的变化很小，这些区域即为MSER，如式（7）所示：

其中：Qi表示检测的第i个连通区域的面积;Δ表示较小的阈值变化量。当面积变化率V（i）小于指定的阈值时即被认为是MSER。这个检测的过程称为MSER+检测过程。

MSER+检测到的MSER内部灰度值小于边界值，需要对图像反转后再进行MSER检测，获取内部灰度值大于边界的区域，此过程称为MSER-检测。

2.1.2 算法步骤

基本的MSER检测算法[14]实现的步骤包括像素点排序、生成极值区域、稳定区域判定、区域拟合和区域归一化。

根据MSER检测的原理，MSER+适合检测深色区域浅色背景，MSER-适合检测浅色区域深色背景。基本的MSER检测方法是将两次检测结果“相与”，取两次结果相同的区域。

由于在获取图像过程中拍摄亮度不均的影响，即使在亮度校正之后，也不能保证两次都能检测出完整的指针区域，一直都提取相同的区域可能导致指针区域的不完整，因此，为了更准确得到指针区域，本文提出的基于MSER算法检测的具体步骤如下：

2.2 细化算法

如图2所示，指针仪表的指针特征多为始端粗、末端细，因此为了后续精确定位指针读数，需要对其进行细化操作获取其骨架，得到图中的虚线。其中Zhang文献10的作者不是Zhang，请作相应调整。请注意，在正文中对文献引用要依编号次序进行，不能跳过某一编号的文献。回复：针对我文章中您提出的问题：第[10]篇文献中的作者不是zhang，其实是这样的，那篇文献是在zhang细化算法基础上做的，但是这个方法最开始是zhang提出来的，所以默认就是叫作zhang细化算法，第[10]篇文献中也是这样写的，下面是第[10]篇文献的摘要，请查看。所以此处写为zhang细化算法没有问题的，不作修改。细化算法[10]具有快速并行、细化后的曲线保持连通性和无毛刺等优点，因此本文采用该算法来细化指针。

Zhang细化算法是一个迭代算法，迭代过程分为两步。对于边界上的某一待判断点P1，该点的八邻域如图3所示。

2.3 累计概率霍夫变换

霍夫变换（HT）[16-17]检测直线的主要思想就是将图像坐标系映射到它的参数空间，得到一些位置的峰点，通过统计峰值点得到符合直线形状的集合。任意一条直线在直角坐标系可表示为y=kx+b，则在极坐标系中如式（11）所示：

其中： ρ表示原点到直线的距离;θ表示ρ中表示距离的垂线与x轴的夹角。

HT检测直线具有较好的鲁棒性和容错性，但是不能获取直线的两个端点，不能自动判断指针的指向，不利于后续读数的判读，因此采取累计概率霍夫变换（PPHT）。获取了细化后的指针后，PPHT检测指针直线的算法步骤如下所示。

1）随机选取指针边缘中某一点，判断该点是否被标记为直线上的点，若未被标记转步骤2）;否则继续在剩下的边缘点中随机抽取，如此循环至所有的点都被标记。

2）采用HT对上述选取的点进行变换，包括累加和计算。

3）在参数空间内选取值最大的点，如果该点大于设定的阈值，则转步骤4）;否则返回步骤1）。

4）根据HT得到的最大值，以该点为出发点，沿直线方向移动，找到线段的两个端点L1（x1，y1）、L2（x2，y2）。

5）计算检测到的线段长度，如果大于设定阈值，则认为找到了好的直线，返回步骤1）。

根据以上算法内容得到仪表指针提取以及定位的流程如图4所示。

3 仪表指针读数识别

如图5构建仪表读数坐标系，其中表盘刻度的最大值和最小值是关于Y轴对称的。预先获取的内容包括：最大刻度值Vmax、最小刻度值Vmin、表盘中心点位置M0（x0，y0）。与X正负轴相交的两个表盘刻度分别为X1、X2，与Y正方向相交的刻度为Y1。

在细化指针时，由于指针转动轴心处有小圆的影响，细化的完整的指针直线会有点弯曲，因此PPHT检测直线的时候检测的是图中虚线部分，如图5构建读数坐标系，则两个端点中X坐标绝对值小的为指针始端，绝对值大的即为指针末端。

4 实验结果及分析

本文以Visual Studio 2015和OpenCV作为软件开发环境，测试了提取出的指针式仪表的自动判读问题。实验结果将从指针区域提取、指针定位、仪表读数三个方面进行分析验证。

4.1 指针提取实验结果

本文研究了不同光照下、不同条件下指针区域提取的问题，将最大类间方差法（Otsu）、基本的MSER检测和本文提出的基于MSER算法包括校正光照前、后进行对比实验，对于正常光照、仪表面反光、过暗光照三种条件下实验结果如图6～8所示。

分析实验结果可知，在指针区域提取方面，Otsu算法和基本的MSER检测都只能在正常光照下较好地分割出指针区域，光照过暗或者存在反光现象时都无法提取。本文算法包括光照校正和MSER算法检测，从图7（c）、（d）和图8（c）、（d）实验对比中可以看出光照校正的有效性，本文MSER算法能提取较完整的指針区域，能够适应各种光照条件，对光照具有较好的鲁棒性;同时本文算法能够更好地抑制指针周围背景的影响，较好地去掉多余的背景区域。

4.2 指针定位实验结果

针对不同情况下不同类型的仪表的指针直线定位的实验结果如图9所示，图中检测的直线即为定位的指针，直线的两端为检测的两个端点，利于后续读数判断指针的指向。传统的HT和PPHT算法在检测直线都存在参数难调的问题，但本文的基于细化算法的PPHT检测直线的方法一定程度上克服了需要不断调参的缺点。

4.3 仪表读数实验结果

为了验证仪表读数的准确性，本文在变电站拍摄的仪表图片中选取了49张仪表图，进行读数的识别，其中的13组识别结果和人工读取的结果如表1所示。虽然在示数较小时相对误差较大，但是总体的正确率达到了94%以上，能够满足变电站对仪表示数监控的要求，在示数超过正常范围时进行提示。

5 结语

本文主要研究了不同光照条件下指针仪表自主示数识别的问题，主要包括光照的处理、指针提取和定位、示数识别三大部分。首先光照分量的去除在很大程度上提高了指针提取的有效性，通过对比实验验证了本文提出的基于MSER算法能够适应不同光照条件下指针区域的提取，同时能较大程度地消除背景的影响。在指针的定位上，没有直接通过霍夫变换检测直线，而是有限制、有条件地定位指针轴心下端的直线部分，可以更简便判断指针指向、计算示数;且定位准确，能够适应不同条件下仪表示数识别的应用。结合机器人巡检的应用，本文研究的问题有一定的实际工程应用。

但是本文识别示数中用到的先验条件，如最大值、最小值刻度、仪表轴心位置是人工标记获取的，如何自动化获取是后续需要解决的一个问题，同时后续研究的方向为结合机器人硬件设施，建立一个完整的视觉识别系统。

参考文献 （References）

[1] 鲁守银，张营，李建祥，等.移动机器人在高压变电站中的应用[J].高电压技术，2017，43（1）：276-284.（LU S Y， ZHANG Y， LI J X， et al. Application of mobile robot in high voltage substation[J]. High Voltage Engineering， 2017， 43（1）： 276-284.）

[2] LIU S G， LIU M Y， HE Y. Checking on the quality of gauge panel based on wavelet analysis[C]// Proceedings of the 2002 International Conference on Machine Learning and Cybernetics. Washington， DC： IEEE Computer Society， 2002： 763-767.

[3] JIAN Y， XIN W， XUE Z， et al. Cloud computing and visual attention based object detection for power substation surveillance robots[C]// Proceedings of the 2015 IEEE 28th Canadian Conference on Electrical and Computer Engineering. Piscataway， NJ： IEEE， 2015： 337-342.

[4] 许丽，石伟，方甜.巡检机器人中的指针式仪表读数识别系统[J].仪器仪表学报，2017，38（7）：1782-1790.（XU L， SHI W， FANG T. Pointer meter reading recognition system used in patrol robot [J]. Chinese Journal of Scientific Instrument， 2017， 38（7）： 1782-1790.）

[5] TAN R， IKEUCHI K. Separating reflection components of textured surfaces using a single image [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2005， 27（2）： 178-193.

[6] LEE P， WU S， HUANG Y P. Illumination compensation using oriented local histogram equalization and its application to face recognition [J]. IEEE Transactions on Image Processing， 2012， 21（9）： 4280-4289.

[7] WANG S， ZHENG J， HU H M， et al. Naturalness preserved enhancement algorithm for non-uniform illumination images [J]. IEEE Transactions on Image Processing， 2013， 22（9）： 3538-3548.

[8] ELAD M. Retinex by two bilateral filters[C]// Proceedings of the 2005 International Conference on Scale-Space Theories in Computer Vision. Berlin： Springer， 2005： 217-229.

[9] 刘志成，王殿伟，刘颖，等.基于二维伽马函数的光照不均匀图像自适应校正算法[J].北京理工大学学报，2016，36（2）：191-196.（LIU Z C， WANG D W， LIU Y， et al. Adaptive adjustment algorithm for non-uniform illumination images based on 2D Gamma function[J].Transactions of Beijing Institute of Technology， 2016，36（2）： 191-196.）

[10] 牟少敏，杜海洋，蘇平，等.一种改进的快速并行细化算法[J].微电子学与计算机，2013，30（1）：53-55.（MOU S M， DU H Y， SU P， et al. A new improved fast parallel thinning algorithm [J]. Microelectronics and Computer， 2013， 30（1）： 53-55）.

[11] 李益红，周晓谊.一种多分辨率多尺度的Retinex彩色图像增强算法[J].计算机工程与应用，2017，53（16）：193-198.（LI Y H， ZHOU X Y. Multi-resolution and multi-scale Retinex for color image enhancement [J]. Computer Engineering and Applications， 2017， 53（16）：193-198.）

[12] 彭国福，林正浩.图像处理中GAMMA校正的研究和实现[J].电子工程师，2006，32（2）：30-32.（PENG G F， LIN Z H. A study on GAMMA correction and its implementation in image processing [J]. Electronic Engineer， 2006， 32（2）： 30-32.）

[13] MATAS J， CHUM O， URBAN M， et al. Robust wide baseline stereo from maximally stable regions [J]. Image and Vision Computing， 2004， 22（10）： 761-767.

[14] 唐有寶，卜巍，邬向前.多层次MSER自然场景文本检测[J].浙江大学学报（工学版），2016，50（6）：1134-1140.（TANG Y B， BU W， WU X Q. Natural scene text detection based on multi-level MSER [J]. Journal of Zhejiang University （Engineering Science）， 2016， 50（6）： 1134-1140.）

[15] NISTER D， STEWENIUS H. Linear time maximally stable extremal regions [C]// Proceedings of the 10th European Conference on Computer Vision. Berlin： Springer， 2008： 183-196.

[16] BAKER L， MILLS S， LANGLOTZ T， et al. Power line detection using Hough transform and line tracing techniques[C]// Proceedings of the 2016 IEEE International Conference on Image and Vision Computing. Piscataway， NJ： IEEE， 2017： 1-6.

[17] YE H S， SHANG G C， WANG L N， et al. A new method based on Hough transform for quick line and circle detection[C]// Proceedings of the 2016 IEEE International Conference on Biomedical Engineering and Informatics. Piscataway， NJ： IEEE， 2016： 52- 56.