联合图像处理和目标约束的车道线检测方法

骆济焕，兰凤崇，陈吉清

（华南理工大学 机械与汽车工程学院 广东省汽车工程重点实验室,广州 510640）

车道线检测技术实现的精准程度在汽车驾驶辅助系统中尤其重要，直接决定了预警系统的及时性和准确性。智能辅助驾驶汽车在环境感知方面主要采用摄像头、激光、雷达等传感器以及GPS定位导航系统进行切换和结合的方案[1]。基于单目视觉的车道线检测技术不仅实用性好并且成本低，在智能交通、智能驾驶辅助系统、机器人等领域都有着广泛的应用前景[2]。

智能辅助驾驶中车道线检测方法主要是使用单目视觉实时获取前方道路的信息并对其进行处理和检测[3]。近年来，较多的研究人员采用Hough变换[4]、神经网络[5]和基于变形模版[6]等方法来识别车道线。但在实际驾驶中，它们都不同程度地受到了鲁棒性和抗干扰能力不足的制约。传统的Hough变换算法指的是通过识别图像中最符合车道特征的直线[7]，从而对其进行标定。此算法的优点在于能够较好地检测出车道线的边界点，但也存在计算量大、检测精度不够高、多峰值检测、受噪声干扰严重等问题。对此，很多学者提出了改进的方法[8-10]，FARDI等[11]提出了使用Hough变换从图像中分布的边缘点提取直线等。可是这些方法旨在减少计算量，并没有考虑在Hough变换前，对要变换的目标进行适当的前处理，并将其它算法结合起来改进Hough变换法，以便解决其问题。

因此，通过道路图像前处理算法先对目标进行预处理来解决检测速度慢和受噪声干扰等问题，并结合TCR算法来缩小检测范围，从而改进Hough变换法，避免多峰值检测并提高车道线的检测精度。最后结合自主搭建的汽车试验平台和软件平台，在直道和弯道行驶情况下进行车道线检测试验，验证本文的车道线检测算法在弱光照和强光照条件下也具有较强的鲁棒性和实用性。

1 道路图像前处理算法

在城市道路中，通过单目视觉采集到的视频会受到背景环境（包括路边树木、建筑物和前方车辆等）和太阳光等因素的影响。对视频中的道路图像进行前处理，可以去除图像中的杂质，更好地提取出车道线。本研究提出的实用性较好的道路图像前处理算法流程如图1所示。

图1 道路图像前处理算法流程

1.1 彩色图像灰度化

彩色图像灰度化对彩色图像进行降维处理即M*N*3变为M*N，加快后续算法处理速度和效率。综合考虑算法的实用性和合理性，选取加权平均法。根据图像的特征，将彩色道路图像转化前红（R）、绿（G）、蓝（B）三种颜色按照其权重关系ωG＞ωR＞ωB来计算转化后的值。

式中：R (i,j) ，G (i,j) ，B(i,j)分别为像素点对应R，G，B的数值大小。

图2为直道行驶和弯道行驶的加权平均法灰度化的效果图。可知，对图像进行降维处理的同时也完好地保留了车道线的轮廓，符合车道线检测的要求。

图2 彩色道路图像灰度化

1.2 改进的中值滤波

为了有效地避免道路图像中杂质的干扰，并且尽可能多地保留需要提取的车道线轮廓，采取中值滤波[12]来滤除噪声，其在消除噪声方面有特别好的效果，特别是消除城市环境下最容易出现的椒盐噪声。假设在某邻域内有一组像素序列按大小x1＜x2＜x3＜···＜xn进行排列，则该像素序列的中值y为：

为了避免窗口大小对滤波效果的直接影响，优先选取3×3的滤波窗口对灰度化道路图像进行改进的中值滤波处理，步骤如下：

（1）假设3×3的窗口沿着列方向进行滤波，最左侧一列像素的灰度值分别为y01、y02、y03，即将进入的一列像素的灰度值分别为yn1、yn2、yn3。

（2）判断等式y01=yn1&&y02=yn2&&y03=yn3是否成立。等式成立则输出原中值，等式不成立则取新值。

（3）对新的3×3窗口里的像素系列重新进行排列，由式（2）得到新的中值yn。

（4）按照上述步骤将3×3窗口移遍整个图像，若是噪声则取中值y，若是信号则不进行处理。

1.3 结合OTSU法的车道线边缘提取

传统的Canny算法是人为选取高阈值和低阈值，从而会使边缘和伪边缘之间的识别存在矛盾，不同道路图像之间也不具有自适应性，满足不了复杂的道路情况。为了解决这一矛盾，结合最大类间方差法[13]（OTSU法）来得到最优阈值，从而自适应地提取出图像的高低阈值。为了准确分割背景环境和车道线，应用OTSU法来获取图像的最优阈值，提取出二值化的车道线。假设分割阈值T把图像的灰度值分成两组C0和C1，P(i)为i点灰度值大小，C0和C1出现的总概率为ω0和ω1，则：

设µ0和µ1分别是两组灰度值相对应的平均值，图像全部像素点的平均值µ1为：

组间方差为：

不同的分割阈值T会产生不同的组间方差，OTSU法最终选取的分割阈值是能够使组间方差达到最大值的Tmax。按照下式对图像进行二值处理。

OTSU法进一步减少了背景环境区域干扰和噪声信号，使车道线和背景区域分离开，为车道线的边缘提取提供支持，效果如图3所示。

图3 OTSU分割法

在数字图像领域，对于车道线检测而言，其颜色值与周围路面环境信息相差较大，其边界点可以利用边缘检测来获取。目前边缘检测算子有Roberts算子、Prewitt算子、Sobel算子和Canny算法等[14]。将OTSU法和目前使用最广泛并且理论最为完善的Canny边缘检测算法结合起来，使OTSU法确定的最优阈值等于传统Canny算法中的高阈值。综合考虑不同车道线的阈值大小，令高阈值等于低阈值的2倍，从而求出低阈值[15]。处理效果如图4所示。

图4 Canny算子边缘提取

由图可知，道路图像前处理算法突出了车道线信息，使处理后的图像或者视频能够更好地辅助后续车道线检测算法的实现。

2 结合TCR的改进Hough变换算法

为了在车道线检测时对目标范围进行约束，提高检测精度和准度，采用了TCR算法。先通过目标区域划分和极角极径约束缩小车道线检测范围，然后分别运用算子[1 0 -1]和[ -1 0 1]对车道左右双线进行边缘叠加处理，改进Hough变换算法在直道和弯道行驶下的车道线检测精度，最后在新的TCR下进行车道线跟踪，从而得到一套鲁棒性较强的车道线检测算法。

2.1 车道线目标区域划分

汽车正常行驶条件下，车载摄像头获取的前方道路视频中，车道线信息的道路区域一般位于下半部分，位于上半部分的天空区域则无需进行处理。根据车载摄像头安装的位置和角度，近似地把车道线和天空的分界线定为图像总行数Height的2/3处（从上往下），并且考虑较小的估计误差增量ε，则天空区域和目标区域的分割线高度为：

对于本研究的240×360的图像而言，确定这360列中标记的最大行数为80，其中ε可取1到5，将最后得到的行数80+ε标记为目标区域的上界。划分目标区域上界后，避免了背景环境的干扰并提高了检测的准确度。

图5 划分目标区域

2.2 检测范围约束

Hough变换是将图像空间变换到参数空间，通过寻找峰值来实现目标检测，在车道线边缘点检测上应用广泛[16]。设直线l的极坐标方程为：

式中：ρ为原点到直线l的距离，最大值为对角线长度；θ为直线l的法线与x轴正方向的夹角，取值范围为 [-90°，+90°]。

实际情况下，左右车道线分别分布在道路图像的两边。通过对采集到的大量道路图像样本进行计算分析，得到左、右车道线的目标约束范围，则左、右车道线极角θ1，θr的约束范围和极径ρ1，ρr的约束范围分别为：

图6中的图像坐标系取图像左上角为坐标原点o，i轴为图像的角度增加方向，j轴为图像位移增加方向。

图6 极角极径法示意图

在满足TCR的目标区域划分和极角极径法约束的条件下检测车道线，有效地避免了噪声点、路边树木和建筑等障碍物的干扰，减少了Hough变换要处理的区域并提高了系统的检测速度。改进后的Hough变换检测区域为直线a和直线b围成的区域加上直线c和直线d围成的区域之和，再减去上方的三角形重叠区域S，如图7所示。

图7 TCR下的Hough变换检测区域

2.3 车道左右双线叠加处理

车辆在道路上正常行驶时，一般位于道路的正中间，而车道线则位于车辆的两侧。对车道线进行边缘检测后，1条车道线会有左右两条边界线，两条车道线则意味着有4条边界线，分别为L1、L2、L3、L4，如图7所示。对道路图像进行整体检测，检测出来的车道线就有=6种情况。在实际中，只需要把左右车道线的内侧边缘L2和L3检测出来。

为了准确地检测出车道线，以中轴为基准，把检测区域分为左右两部分，分别进行边缘处理。在左区域，运用掩模算子[1 0 -1]对左边的两条车道线进行滤波叠加处理，最终得到边界线L2。同理，运用算子[-1 0 1]对右区域进行车道线边缘叠加处理，得到边界线L3。

2.4 基于新TCR的车道线检测与跟踪

由于车载摄像头采集道路图像的速度较快，相邻两帧图像的车道线位置偏差不大，所以车道边缘点的位置具有一定的可预测性。通过分析采集到大量道路图像，连续两帧道路图像中车道线的倾斜角度变化在± 5°内，截距变化在± 15个像素内。因此，本研究以检测到的车道线参数为基础，建立下一帧道路图像的新检测范围TCR，如图8所示。

图8 新的TCR区域

式中：kl，kr分别为上一帧左右车道线的斜率；bl，br分别为上一帧左右车道线的截距；Δb，Δk分别为两帧图像车道线参数的变化量；kl-up，kl-down，bl-up，bl-down分别为当前帧左车道线TCR的斜率和截距；kr-up，kl-down，br-up，br-down分别为当前帧右车道线TCR的斜率和截距。

在进行车道线跟踪检测时，在新TCR下将常坐标系下的(k,b)参数转换为极坐标系下的(ρ,θ)参数，然后在新TCR内进行叠加处理，最后进行Hough变换，进一步减少了非车道线边缘点的干扰，提高了车道检测的实时性。采用基于新TCR下的Hough变换后车道线参数波动减少，增加了直线检测的稳定性，提高了检测精度。

3 车道线检测试验

在自主搭建的汽车试验平台上，完成了视频的录制并对有代表性的视频进行了仿真测试和结果分析，进一步验证本文研究的车道线检测算法的鲁棒性。车道线检测总流程如图9所示。

3.1 试验设计方案

自主搭建的汽车试验平台使用了广汽本田的一款1.5 L自动豪华版（2008款）飞度汽车。针对车载摄像头的安装要求，试验选取的单目视觉硬件是锐尔威视-USB摄像头。锐尔威视-USB摄像头通过USB数据线与检测计算机相连接，如图10所示。

图9 车道线检测流程图

图10 单目视觉车载系统

该摄像头体积小，安装在车内顶部的正中间位置，不会影响驾驶员的视线。为了使其固定方便且抗震性好，采取了相应的固定措施。摄像头的角度0 ～45°任意可调，可以适应不同测试环境。为了更好地符合实际行驶情况并扩大前方视野的范围，令摄像头的中心光轴与水平线成α的俯角，α取15°～ 30°。

在软件平台方面，应用了Matlab 2016软件，为试验提供仿真分析。软件平台对车载摄像头采集到的每一帧视频信息进行处理和识别，提取并标记出车道线位置轮廓信息，可以在结果显示栏内很直观地看到仿真处理后的效果。

在试验中，先利用USB摄像头对视频进行采集（摄像头设置的分辨率为640×480，每秒25帧），然后传输到电脑进行保存，最后通过电脑对视频进行试验分析，算法主要分为道路图像前处理和车道线检测两个模块。

3.2 车道线检测偏离和修正

直接对道路图像进行整体检测，车道线的检测标识会偏出了行驶车道的范围，如图11a所示。因为对道路图像进行整体检测，检测出来的车道线有=6种不同的效果，图11a显示了其中1种不合理的检测情况。直接对车道线进行整体检测，不仅增加了算法的随机性，而且检测的精准度也不高。为了准确地检测出车道线，采用基于TCR的Hough变换法对车道线进行检测，效果如图11b所示。

图11 车道线检测偏离和修正（直道情况）

改进的Hough变换检测车道线，不仅修正了偏差即提高了检测精度，而且增加了算法的严谨性，避免了误检或者检测失败的情况。弯道对比效果如图12所示。

图12 车道线检测偏离和修正（弯道情况）

3.3 车道线仿真结果分析

为了使车道线检测算法更好地满足复杂多变的道路环境，试验特意选取了一段具有代表性的视频，视频中的道路情况包括上坡直道行驶、上坡弯道行驶、车辆前方和道路附近均有行人等。为了检验仿真测试的准确率，分别对直道行驶和弯道行驶情况进行5个周期的概率统计，每个周期有200幅图像，一共1 000幅图像。当检测的车道线与实际车道线之间的倾斜角度变化在±2°内并且间距变化在±2个像素内，称为检测成功，否则称为失败；当检测不出车道线时，称为漏检，结果见表1和表2。

表1 直道行驶检测情况

表2 弯道行驶检测情况

在直道和弯道行驶时，车道线检测试验仿真效果如图13和图14所示。

图13 直道行驶时车道线检测仿真效果图

图14 弯道行驶时车道线检测仿真效果图

最后还对广州市区一段复杂路况的视频进行了弱光照条件和强光照条件下的对比仿真试验，如图15所示。

在相对复杂的道路条件下，算法准确地检测出了车道线，直道行驶情况检测的平均准确率为93.8%，弯道行驶情况检测的平均准确率为91.6%。广州市区复杂路况下的仿真试验进一步验证了算法能排除弱光照和强光照的干扰，证明了其具有较强的鲁棒性。

图15 弱光条件和强光条件下车道线检测情况

4 结论

将道路图像前处理算法和TCR结合，改进了Hough变换车道线检测法，提高了单目视觉下车道线检测算法的鲁棒性，具体结论如下。

（1）针对Hough变换中检测速度慢和受噪声干扰严重的问题，设计出了一套较好的道路图像前处理算法，算法通过结合加权平均法和改进的3×3中值滤波来去除噪声的干扰，接着基于OTSU法确定最优阈值来进行二值化处理，进而运用Canny算子来提取车道线的边缘。

（2）在单目视觉下，结合道路图像前处理算法和TCR，通过目标区域划分和极角极径法较大程度地缩小车道线检测区域。运用算子[1 0 -1]和[-1 0 1]对左、右车道线分别进行边缘叠加处理，并在新的TCR下进行车道线跟踪。改进的Hough变换法，避免了多峰值检测并提高了车道线检测精度，能够在直道及弯道行驶时有效地检测和跟踪车道线。

（3）结合自主搭建的汽车试验平台和软件平台，对有代表性的视频进行直道行驶和弯道行驶情况下的检测试验，其平均准确率分别为93.8%和91.6%。通过分析车道线检测遇到的偏离问题，结合本研究提出的车道线检测算法，解决了车道线检测偏离问题，并且验证了本研究提出的算法也能排除弱光照和强光照的干扰，对改进在单目视觉下的车道线检测算法具有一定的实用价值。