多线索融合的结构化道路检测算法研究

李晓威， 袁春， 李杨， 郭宗环， 李昊， 王瑞虎

（1. 重庆理工大学，重庆 400054；2. 重庆金康赛力斯新能源汽车设计院有限公司，重庆 401133；3. 重庆交通职业学院，重庆 402247）

道路检测在自动驾驶领域是一个重要研究课题，能对自动驾驶车辆提供强有力的安全保障。单一的传感器用于道路检测不可避免地存在“感知不到”的缺陷，因此，国内外学者对道路检测算法进行了大量研究。XIAO Liang 等［1］提出了基于条件随机场的道路检测法，基于条件随机场联合点云数据和图像数据对道路进行粗分割。但该方法只使用最简单的点云特征，并且在像素点上建立随机场模型，因此随机变量较多，耗时较长。LIU Ziyi 等［2］提出基于单目视觉和激光雷达点云数据融合的无监督道路检测方法，但该方法没有将行驶区域进行分层标记。CALTAGIRONE 等［3］提出基于全卷积网络的多源数据融合，在网络训练过程中实现图像和激光点云的交叉融合。基于相机的卷积网络中，在良好的照明条件下表现良好。但在另一组数据集中，检测效果表现不佳。XU Kai 等［4］通过设计单层特征映射和利用多层特征映射的结构，增加特征映射与相应图像特征映射之间的交互性，实现更稳定的3D 目标检测。但两种方法都依靠大量的数据训练来保证检测结果，算法计算量大。

本文提出一种融合激光雷达点云和视觉特征的道路检测算法。一方面，激光雷达不仅能拥有准确的几何测量精度且基本不受光照条件的限制［5］，还能提供准确的定位和点云丰富的道路边缘信息。另一方面，视觉信息可以提供道路的最基本特征。本研究是基于贝叶斯理论框架下进行的特征级融合，实现结构化道路区域检测。

1 激光雷达点云似然图

1.1 激光雷达道路边沿检测

激光点云中的点由(x，y，z)和反射强度组成，p(x，y，z)代表激光雷达检测到的三维位置信息，数据单位为m，反射强度是测量激光雷达脉冲强度的一种指标，与激光雷达扫描到的目标有关系，体现目标的反射特性［6］。本文使用的是城市带车道标记的道路中的um-41，其中，图1 为um-41 对应的未校准激光点云3D示意图；图2为激光雷达点云对应的原图像。

图1 激光雷达点云

图2 激光雷达点云对应的原图像

对激光雷达点云数据进行点云预处理，包括感兴趣区域提取和地面点去除。再进行车道点检测，包括峰值强度检测和窗口搜索。激光雷达点云中的车道点有明显的强度分布，计算激光雷达坐标系中x轴的强度直方图。窗口搜索的目的是通过沿车道曲率滑动窗口来检测车道点。寻找车道点实现结果，如图3所示。

图3 检测到的车道点

激光雷达点云中车道线的点云，如图3 所示。图中的黄色和红色标志分别为道路左侧和右侧车道点。

1.2 激光雷达点云投影至二维图像

激光雷达能对周围环境进行水平方向360°扫描，每帧图像数据约为120 000 个激光点，这些激光点云中，大部分点都不在视觉图像数据内，需要剔除。此外，激光雷达与视觉存储数据方式的不同，会造成原始点云与图像间没有一一对应的关系，所以需要先进行数据校准［6］。KITTI 传感器布置［7］如图4所示。

图4 传感器安装位置

图4 为官方采集数据集传感器的安装位置。本研究需要用到图4 中的Cam 0 （gray） 和Cam 2（color）参数，目的是将激光雷达点p(x，y，z)投影到二维图像平面上。首先，将激光点p(x，y，z)投影到图4 中的Cam 0 相机坐标系下。然后，对Cam 0 号灰度相机坐标系下的数据进行校准。最后，将校准结果投影到图4 中的Cam 2 彩色相机坐标系下，建立激光点云与图像像素点的对应关系。激光雷达点云投影到二维图像的计算，如式（1）所示。

式中：Cpoint-img(x，y，z，u，v)中（u，v）为投影后的二维图像平面坐标，（x，y，z）为激光点云的坐标；Prect2为图4 中Cam 2 彩色相机的内参矩阵；R0_rect 为图4 中Cam 0 灰度相机的旋转校准矩阵；为从激光雷达点云坐标系到相机坐标系的外参矩阵。

经过公式变换，保留有效道路边沿的激光点云，完成激光雷达点云与图像之间的校准工作。城市带车道标记的城市道路中的um-41 与对应的激光雷达点云车道点联合校准后的结果，如图5所示。

图5 um-41与其对应的道路边沿激光点云

图5a 为图像数据，图5b 为校准后将道路边沿激光点云投影到图像面。

1.3 求解似然图

在二维图像中获取道路边沿激光点云位置，通过式（2）计算激光点云似然图。

式中：xi为图像（u，v）坐标系的位置；dxi为道路边沿两侧到最近边沿点云的距离。若xi在道路边沿内，则选择赋值为1；若xi在道路边沿外，则选择点云似然图的第2个公式。激光点云似然图，如图6所示。

图6 激光雷达点云似然图

2 视觉线索似然图

2.1 颜色线索

光度和颜色信息是广泛用于道路检测的强大提示。但是，道路的颜色外观因采集条件而变化［8］。因此，需要光度不变性来提供对光度条件的鲁棒性。本研究采用的光度不变性方法［9］，如式（3）所示，根据此方法，可以获得无阴影的图像I(xi)。

式中：R(xi)，G(xi)，B(xi)分别为输入图像像素的红色值、绿色值和蓝色值；角度θ为定值。摄像头的校准使用FINLAYSON 等［10］提出的方法，彩色相机的不变方向θ选为37.5°［8］。无阴影图像结果，如图7所示。

图7 是根据式（3）对原彩色图像进行计算的结果。在无阴影图像中，选择道路区域建立7×7 的归一化参考直方图，如图8 所示，位于像素点p的候选直方图，是其周围的包围盒Np计算。似然图中像素点p的计算由巴氏系数确定［11］，如式（4）所示。

图8 巴氏系数示意图

图8 是根据道路特征建立的参考直方图，其他位置建立候选直方图，根据巴氏系数确定似然图中的值。

式中：B为直方图分支数量；为候选直方图；为参考直方图；为第b个候选直方图；为第b个参考直方图。道路似然图描述了像素作为道路模型的概率，像素值越高，道路的可能性越大。道路似然图Linv(xi)如式（5）所示，效果如图9所示。

图9 道路似然图

图9 是根据巴氏系数提取道路颜色信息的效果，显示出所提取的道路特征信息清晰。

2.2 消失点

从视觉图像中，通过特征准确检测消失点的位置是保证道路位置特征的关键，纹理信息是自然界中广泛存在的一种物体表面特征［12］。

本研究基于Gabor 滤波器对图像进行处理，提取图像中的道路纹理方向［13］，并使用KONG Hui等［14］提出的投票方法。道路消失点效果，如图10所示。

图10 道路消失点

图10 的消失点是根据确定道路的纹理方向和通过软投票确定下来的。确定道路消失点和道路边界，计算消失点似然图Lvp(xi)，如式（6）所示。

道路消失点似然图的效果，如图11所示。

图11 道路消失点似然图

2.3 水平线

水平线包含用于推断道路在每个图像中位置的信息，道路通常位于地平线以下，为了估计图像中地平线的垂直位置，本研究利用确定消失点的横坐标作为水平线的位置ht，即确定图像中的位置。水平线似然图的计算如式（7）所示。

式中：Lh(·，i)为第i行中的所有像素指定相同的值；Lh的范围为0～1，其中值越大，成为道路像素值的可能性越高［8］。道路水平线似然图的效果，如图12所示。

图12 道路水平线似然图

图12 是根据消失点的位置确定ht，低于ht的区域赋值为1，其他区域则选择水平线似然图的第2个公式。

2.4 车道标记

车道标记能提供强有力的信息来推断道路的走向。车道线检测是无人驾驶环境感知部分的重要模块之一［15］。本研究采用LOPEZ 等［16］提出的基于脊线和随机样本一致性的单车道算法。灰度图像中的脊线是细长明亮结构的中心线。对于车道线，它是纵向中心。因此，脊度是衡量像素领域与脊的相似程度的指标。脊度度量值必须沿直线中心具有较高的值，并朝边界减小。存在对比度良好且均匀的脊度度量，通过简单的阈值化获得与中心线对应的二值脊线图像。利用一对具有公共渐近线的双曲线对车道标记进行建模，通过RANSAC 算法拟合出道路曲线。给定车道标记，计算道路似然图，如式（8）所示。

式中：xi为图像（u，v）坐标系的位置；dxi为道路边沿两侧到最近边沿点云的距离。若xi在道路边沿内，则选择赋值为1，若xi在道路边沿外，则选择道路似然图的第2 个公式。图13 为车道标记图像，图14为车道标记似然图。

图13 车道标记图像

图14 车道标记似然图

3 似然图融合

3.1 贝叶斯融合框架

贝叶斯框架逐帧执行，估计每个像素成为道路像素的概率。将每一个线索视为一个似然图，提供5 个不同的似然图，范围全为0～1，分别为Llidar、Linv、Lvp、Lh、Llm。贝叶斯原理是给定图像I，来推断出检测道路区域的位置r，即计算P(r|I)。贝叶斯推理计算［8］如式（9）所示。

式中：P(L|I)为先验概率；P(r|L)为似然概率；Pr(xi)为图像xi属于道路的概率，正比于先验概率（激光雷达似然图）与其他似然图的乘积。

结合视觉线索和激光雷达所获得的先验知识的道路检测算法描述如下。

1）通过式（2）计算Llidar。

2）通过式（5）～（8）计算Linv、Lvp、Lh、Llm。

3）通过式（11）计算Pr(xi)结合先验信息和视觉多个线索。

4）对于单帧图片计算，如式（10）所示。

式中：融合的概率Pr(xi)赋值于便于式（11）计算。

5）计算道路二进制图像O，如式（11）所示。

式中：B根据设置阈值大小，计算二进制图像。

3.2 融合结果

基于激光点云与视觉共同融合实现道路检测任务，拓宽道路检测的方法，实现更鲁棒性的检测算法。然而，激光点云数据和视觉图像数据在数据获取和数据存储方面都存在许多不同［6］。基于两种类型完全不同的数据共同实现道路检测任务，本文并没有直接采用特征级融合的方法，而是分别根据道路的不同特征构建似然图，然后在贝叶斯框架下，融合上述过程中生成的似然图。贝叶斯融合似然图效果，如图15 所示。KITTI 数据集提供的原图真值，如图16所示。

图15 融合效果

图16 官方提供融合结果

4 算法评估

在道路可行驶区域检测过程中，像素级评价指标主要包括：精度（Precision）、召回率（Recall）、F测度（F-measure）、准确率（Accuracy）、最大F测度（Fmax）、平均精度（Average Precision，AP）、负正类率（False Positive Rate，FPR）等［7］。精度、召回率、准确率、F测度计算式为：

式中：对于F-measure，β=1；P1为精度；R为召回率；A为准确率；TP为正确检测的道路像素；TN为正确检测的非道路检测；FP为被错误检测的非道路像素；FN为被错误检测的道路像素。

式中：PA为平均精度；RFP为负正类率；r为不同的召回率。

根据激光雷达与视觉图像融合的算法，用KITTI 数据集测试，在Matlab 中编写评价指标代码，测试用似然图融合的道路检测与官方KITTI 提供的道路真值。评价指标如图17所示。

图17 道路评价指标

测试融合算法的评价指标，如图17所示，横轴为根据式（11）选择不同的阈值，范围选择为0～1；纵轴为根据式（12）～（15）计算算法评价指标。由图可知，精度和准确率分别能达到94%和86%。

目前，常通过ANN［17］、PGW-ARS［18］、FCNLC［19］、HybridCRF［20］、multi-task CNN［21］检测算法进行道路检测，本文方法和前述几种道路检测方法的对比，见表1。

表1 城市道路数据道路检测方法对比

由表1 可知，本文方法在城市道路检测方法中具有较高的精度和较低的假阳率，优于上述5 种城市道路检测方法。

5 结语

本文提出并验证了激光点云与视觉图像融合以实现道路检测的方法。采用KITTI 数据集验证测试该融合算法，由道路评价指标（图17）可知，采用本文提出的方法在精度、召回率、准确率等方面具有较好的检测效果。与神经网络用于道路检测方法不同，该方法基于激光雷达点云与视觉图像的道路多线索特征提取，生成对应似然图并进行信息融合，达到识别道路区域的目的。