基于边缘增强型MSER特征的道路标志检测

王淑丹　徐向华

摘 要： 针对自然场景下道路标志检测所面临的一些问题，提出了一种基于边缘增强型MSER特征的标志检测方法。首先采用灰度世界法对图像做光照平衡处理，并对处理后的图像进行颜色增强，区分标志和环境背景；然后基于边缘增强型MSER特征，提取标志候选区域；最后对这些候选区域使用基于霍夫变换的形状分析方法进行筛选处理。通过在GTSDB数据集上的实验验证，该方法对光照条件、局部遮挡、旋转尺度变化等情况均具有较好的鲁棒性。

关键词： 道路标志检测； 边缘增强型MSER； 霍夫变换； GTSDB

中图分类号：TP393.0 文献标志码：A 文章编号：1006-8228（2016）06-04-04

Abstract： Aiming at the various problems which occur in the process of traffic sign detection in natural images， a novel traffic sign detection method based on edge-enhancement MSER （Maximally Stable Extremal Regions） feature is proposed. Firstly， the gray world balance method is used for the image preprocessing to reduce the effect of illumination change， and through color enhancement， the traffic signs are distinguished from the environment background. Then， the traffic sign ROI candidate regions are extracted with edge-enhancement MSER feature. Finally， these candidate regions are further filtered by using a shape analysis method based on Hough transform. The experiment results on GTSDB （German Traffic Sign Detection Benchmark） data sets show that the proposed method is robust to lighting condition， partial occlusion， and rotation scale change.

Key words： traffic sign detection； edge-enhancement MSER； Hough transform； GTSDB

0 引言

交通标志识别系统（Traffic Sign Recognition，TSR）主要是通过在道路场景中识别到的交通标志信息来提高交通安全，比如告知驾驶员限制车速，或者注意潜在的危险，例如道路结冰等。

TSR系统通常分为两阶段。①交通标志检测：利用交通标志的色彩和形状等先验特征从图像或视频流中提取标志候选区域。②交通标志识别：采用机器学习，或邻近搜索的方法对候选区域进行分类识别。其中，交通标志检测阶段是后续标志识别的基础， 影响着整个系统的召回率和准确率。

现有论文的研究点多侧重于识别方法和性能评估，很少有利用公开数据集进行检测算法评估的研究。但值得一提的是，Stallkamp J等人[1]针对标志检测阶段缺少公开数据集的问题，在2013年IJCNN会议上提出了GTSDB数据库（German Traffic Sign Detection Benchmark， GTSDB）。

本文提出了一种基于边缘增强型MSER特征的交通标志检测方法，其流程如图1。在GTSDB数据集上进行了实验验证，实现表明该方法对光照条件、局部遮挡、旋转尺度变化等情况均具有较好的鲁棒性。

1 交通标志检测方法

1.1 灰度世界法光平衡处理

在自然场景下，光照条件对拍摄的道路场景图像（RGB格式）的清晰度、颜色等因素都会产生直接影响，因此我们采用灰度世界法对图像进行光照平衡预处理，以减少光照条件造成的影响。

灰色世界法假设图像中的反射面足够丰富，以至于可以作为自然界景物的一个缩影。若这幅图像是在经典光源下拍摄的，其通道均值就应该等于灰色值；若这幅图是在非经典光源下拍摄的，那么其通道均值就会大于或者小于灰色值。而该均值相对于灰色值的偏离程度则反映了未知光源相对于已知光源的偏离性。此处，我们假设反射光谱是均衡的，即本文选取（129，129，129）作为灰色值。灰色世界法的计算过程如图2所示。

1.2 图像颜色增强

GTSDB数据库中交通标志轮廓颜色多为红色或蓝色，因此RGB图像中的红色和蓝色通道是交通标志的重要颜色特征。基于这一点，我们将Ruta等人[2]提出的颜色分割方法与形态学滤波相结合，进行图像颜色增强处理。

首先，对图像中的每个像素点x={xR，xG，xB}，我们使用公式⑴对图像进行R通道和B通道的颜色增强；

其中，I为光照平衡处理后的图像，IO，IC，ID，IE分别表示开运算，闭运算，膨胀和腐蚀运算操作，，分别表示顶帽和底帽变换。

1.3 边缘增强型MSER特征检测

由于GTSDB数据集中的交通标志无论是其外围边缘或是其内部区域都具有均匀的亮度或颜色信息，这使得MSER特征成为了很受欢迎的交通标志区域检测子[3]。MSER（maximally stable extremal regions）[4]就是当图像在不同层次上阈值化时，每次都分析其所产生的连通区域，能够在多个层次阈值上都维持其形状的那些连通区域。

然而，交通标志周围往往存在很多颜色与其非常相似的背景干扰，这会导致MSER特征检测时产生过大的候选区域，如图3（a）中间图片。而这些过大的候选区域可能会被误认为背景噪声（比如几何条件约束）。

因此，本文使用精确定位但不一定连续的Log边缘检测来提高极值区域的边缘响应。具体来讲就是，首先基于Log边缘构成的边界，移除那些位于边界之外的原属于MSER区域的像素点；然后，使用基于灰度图得到的梯度方向图，对MSER区域沿梯度方向进行修剪，将交通标志和具有相似颜色的背景区域分割开来，效果如图3（a）最右侧图片所示。

这种边缘增强型MSER特征检测方法，结合了Log边缘和MSER区域检测子的优点，相较于原MSER特征，不仅提高了算法对复杂道路场景的适应性，降低了方法系统的漏检率，而且能大大减少环境背景的干扰，如图3（b）。

虽然边缘增强型MSER特征能更加精准地提取出候选区域，但却可能会导致标志候选区域的轮廓发生缺陷，如图3（b）的中左侧的圆形交通标志。为了解决这个问题，我们提出了一种基于原MSER区域的外围边界的缺陷修补方法：首先将边缘增强型的MSER特征检测结果逐个区域地与原MSER区域的外围边界（单像素宽）进行逻辑或运算，得到封闭的图像轮廓；然后使用孔洞填充的方法填充该封闭轮廓，逐个区域修补缺陷后效果如图4所示。

经实验论证，我们提出的这种基于MSER区域的外围边界的缺陷修补方法，在保持图像中候选区域的大小及其基本形状特征不变的基础上，能快速且有效的解决轮廓缺陷的问题。

1.4 几何条件约束

通过边缘增强型MSER特征检测，我们从颜色增强后的灰度图像中获得了一系列的连通区域，这些连通区域就是初步的标志候选区域。随后，我们将选用一组简单而灵活的几何条件，对候选区域进行限制约束，筛除掉那些明显非交通标志的候选区域。本文选取的各项几何条件约束的阈值范围如表1所示。

1.5 基于霍夫变换的形状分析

交通标志都具有明确的外围形状，故我们采用霍夫变换方法对边缘增强型MSER特征检测的结果中的候选区域的轮廓信息进行更加具体的形状分析。

为了实现图像中的ROI区域的精确地定位，我们首先来提取边缘增强型MSER特征检测结果中的三角形区域。我们知道，任意的三角形的内切圆圆心是其三个内角的角平分线的交点，如图5所示，a，b，c分别为线段 BC，AC和AB的长度。

假定OD与x轴间的夹角用θa表示，OG与x轴间的夹角用θb表示，OE与x轴间的夹角用θc表示（角度按逆时针旋转计算）。根据三角形原理性知识，采用如下方法及步骤来检测图像中的三角形区域：

⑴ 对那些通过几何条件约束的标志候选区域执行霍夫直线变换，并得到与候选区域相对应的霍夫变换矩阵；

⑵ 原点到候选区域中的每条线段的距离ρ，以及其所在直线与横轴x的夹角都可以通过霍夫变换矩阵被计算出来；

⑶ 在该线段集合中，如果任有三条线段满足下列条件，那么这三条线段就组成了一个三角形，其中，Ta，Tb为阈值，则该候选区域的外围轮廓形状就是三角形。

另外，也可以将霍夫直线检测结果中的直线线段按照矩行定义进行拟合，从而判断图像中是否存在矩形图形，以及其具体参数和位置。类似地，我们可以采用霍夫圆变换的方法来检测边缘增强型MSER特征检测的结果中的圆形区域。

通过基于霍夫变换的轮廓形状分析，我们快速且精准地定位出了边缘增强型MSER特征检测结果中与标志的形状有关联的候选区域。这种方法不仅使图像中那些明显非标志候选项的区域得到了有效地筛除，而且能为识别阶段提供更加精确的候选区域。

2 实验结果

为了验证本文检测方法的有效性，我们将本文所提出的交通标志检测方法与Jack Greenhalgh等人[3]，MA Garcia-Garrido等人[5]的检测算法在公开数据集GTSDB上进行了一系列的对比实验。GTSDB数据集含有900张1360×800 pixels大小的图像，其中包含了光照条件的剧烈变化，相似的背景颜色干扰，运动模糊和局部遮挡等不同状况的道路场景图片。

从表2中可以看出，我们提出的这种基于边缘增强型MSER特征的道路标志检测方法，相较于Jack Greenhalgh等人[3]的（基于MSER特征检测标志区域）方法，在准确率和F-measure上分别提升了20%和16%左右；而相较于MA Garcia-Garrido等人[5]（基于边缘图像的霍夫变换来检测标志区域）的方法，在准确率和F-measure上分别提升了5%和3%左右。显然，我们所提出的这种基于边缘增强型MSER特征的检测算法的检测性能要优于传统的MSER特征检测算法和基于霍夫变换的标志检测算法。

3 结束语

本文针对自然场景下道路标志检测所面临的一些问题，提出了一种基于边缘增强型MSER特征的交通标志检测方法。该方法充分利用了交通标志的颜色特征和边缘信息，结合了MSER特征和边缘特征的优势。在公开GTSDB数据集上的实验测试表明，我们所提出的这种基于边缘增强型MSER特征的交通标志检测方法，在准确率和F-measure上都明显优于传统的MSER特征检测算法[3]和基于霍夫变换的标志检测算法[5]。但是，由于边缘检测的线段大都是不连续的，这可能会使得待检测的ROI区域发生边界丢失的现象，从而导致漏检情况发生，这将会是我们以后研究工作中需要进一步解决的问题。

参考文献（References）：

[1] Houben， S.， et al.， Detection of Traffic Signs in

Real-World Images： The German Traffic Sign Detection Benchmark[C]. Proceedings of International Joint Conference on Neural Networks （IJCNN），2013：1-8

[2] Ruta， A.， et al.， In-vehicle camera traffic sign detection and

recognition[J]. Machine Vision and Applications，2011.22（2）：359-375

[3] Greenhalgh J， Mirmehdi M. Real-Time Detection and

Recognition of Road Traffic Signs[J]. IEEE Transactions on Intelligent Transportation Systems，2012.13（4）：1498-1506

[4] Matas J， Chum O， Urban M， et al. Robust wide-baseline

stereo from maximally stable extremal regions[J]. Image and Vision Computing，2004.22（10）：761-767

[5] Garcia-Garrido MA， Ocana M， Llorca DF， et al. Robust

Traffic Signs Detection by means of Vision and V2I Communications[C]. Proceedings of 14th International IEEE Conference on Intelligent Transportation Systems （ITSC），2011：1003-1008