基于立体视觉与纹理特征相结合的障碍物探测

赵申

摘 要：针对智能汽车行驶过程中障碍物检测问题，提出一种使用双目立体视觉的距离信息与障碍物纹理信息相结合的障碍物检测方法。首先，将双目相机的左图和右图校正后进行匹配得到视差图，根据相机内部参数和外部参数将视差图投影为具有距离信息的鸟瞰图，去除地面及高空背景目标，在鸟瞰图上将相近的点云聚类为一个目标，得到障碍物的粗略位置信息；然后，将得到的位置信息映射到原图，并形成多个候选区域，在候选区域查找障碍物边缘信息，得到障碍物具体位置。该算法结合了物体距离的三维信息和物体形状的二维信息，使障碍物的分割结果更加精准。针对典型交通场景进行了实验，结果表明，该算法能够有效弥补单独使用距离信息或者纹理信息带来的障碍物分割不准确的问题。

关键词：图像处理；目标检测；立体视觉；边缘检测

DOI：10.11907/rjdk.172827

中图分类号：TP319

文献标识码：A 文章编号：1672-7800（2018）005-0117-04

Abstract：To aim at detecting obstacles in the process of intelligent vehicle driving， a method based on the distance information and the obstacle texture information is proposed. First， the left camera and right camera are corrected to obtain a parallaximage， and the parallaximage is projected into a birds-eye view with distance information according to the cameras internal and external parameters. In the birds eye view， the target information is mapped to the original image so that a plurality of candidate regions are formed， and the edge information of the obstacle is searched in the candidate region to obtain the specific position of the obstacle. The algorithm proposed in this paper combines the three-dimensional information of the object distance and the two-dimensional information of the object shape， therefore the segmentation result of the obstacle is more accurate. The experiment is carried out for the typical traffic scene. The result shows that the algorithm can effectively improve the segmentation inaccuracy caused by the application of distance information or texture information.

Key Words：image processing； obstacles detection； stereo vision； edgedetection

0 引言

障礙物探测是无人驾驶和机器人研究领域的一个热门问题[1，2]，也是实现自主避障和导航的前提。智能汽车常常使用多种传感器进行障碍物探测，常见的传感器有激光雷达[3]、毫米波雷达[4]、相机[5]、超声波雷达等等[6，7]。激光雷达采用发射激光的方法，通过测量激光发射和反射之间的时间差[8]，直接测量障碍物的距离，具有测量准确的优点，但是价格较为昂贵，容易受到天气影响[9]；毫米波雷达采用毫米波发射的方法探测障碍物，受天气影响较小，但是分辨率较低，不能够得到障碍物的轮廓信息[8，10]；超声波雷达价格便宜，但测量距离短，一般用来探测低速、近距障碍物；相机在视觉上能够获取颜色、轮廓等较为丰富的信息[11]，但是对算法的要求最高[12]。现阶段基于视觉的障碍物探测工具主要分为单目相机和双目相机[13]。单目相机主要依靠物体的形状纹理特征和运动特性进行检测[11]，但受环境干扰较大；基于双目相机的障碍物探测，主要利用物体的距离信息[14]，在距离上进行分割，将分割后的结果逆变换到原图中，得到障碍物的位置信息[15，16]。本文采用双目相机，在深度图上进行分割，在分割后得到的区域中求取障碍物的边缘，进一步获得障碍物较为精准纹理信息。参考障碍物的纹理信息，可以有效地排除误检，也可以为障碍物分割提供有效的决策信息。

1 立体视觉

双目立体视觉基于视差原理，利用摄像机从不同的位置获取被测物体的两幅图像[1]，通过立体匹配得到两个图像对应点间的位置偏差形成视差图；根据相机标定得到的内部参数和外部参数，可以获取物体三维几何信息。双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点[2]，非常适用于实时物体探测[17]。

2 边缘检测

障碍物通常存在着丰富的纹理信息。通过深度图分割出障碍物的粗略位置后，可以在候选区域中进行边缘检测，得到障碍物精准的位置信息和外观特征，有助于对障碍物的精确定位和类别判断。在小的候选区域内进行边缘检测也有助于抑制复杂背景带来的干扰，同时得到障碍物的纹理信息，可以为障碍物类型的判断提供更多辅助信息。

边缘检测常见的方法有神经网络法、微分算子法、小波检测法等方法。微分算子以其简单、易实现的优势应用在多种场景中，常见的有Canny，Roberts，Sobel，Log等检测算子，本文主要介绍Canny边缘检测算法。Canny边缘检测算法从1986年提出至今被认为是最优的一种边缘检测方法，具有错误率低，定位优良，不重复等特点。本文对障碍物的边缘检测主要流程有四步。

第四步采用滞后阈值策略。即采用双边阈值的方法，设置一个较大阈值和一个较小阈值，像素位置的幅值高于较大的阈值时就可以确定它是边缘像素，低于较小的阈值时就舍掉该像素，在两个阈值之间丢失部分信息。

3 实验与分析

本文双目视觉系统采用加拿大PointGrey公司的Bumblebee系统立体相机，采用Bumblebee BB3型号相机，使用最左最右两个相机采集图像。相机的基线长度为24cm，相机的焦距固定为3.8mm，视场角66°，数据传输方式为1394B接口。相机获取数据时，所提供的SDK对图像进行了畸变校正，获取图像的分辨率为640*480，校正后的图像可直接进行立体匹配。

场景一的图像如图3所示，是在双向车道近处包含两个障碍物（两个骑行的人）获取的图像。

采用块匹配方法将左右图进行立体匹配，得到视差图如图4所示。

由图4立体匹配到的视差图可以看出，在稠密视差匹配过程中存在着某些点无法得到匹配点的情况，在障碍物附近会出现大量匹配不上的空洞点。原因是两个相机的视角不同，导致在障碍物附近观察到的场景不同，对物体分割产生了一定影响。深度图分割出的候选区域如图5所示，将该区域进行边缘检测得到图6所示结果。

场景二的图像如图7所示，为在双向车道上，同向车道包含一个障碍物（一个骑行的人）获取的图像如图7所示。

采用块匹配方法将左图右图进行立体匹配得到视差图，如图8所示。

对场景二中的障碍物目标进行分割，并对深度图分割出的区域进行边缘检测得到结果分别如图9、图10所示。

本文同时对另外30种场景进行了检测。实验表明，能较好地检测出目标，在障碍物目标轮廓获取时，虽然有时因为人群并排、车辆相互交错、障碍物遮挡等存在分割不理想的情况，但分割的精准度较单一使用深度信息或者纹理信息都有较大的提升。但考虑到无人驾驶车辆比较关心的是距离较近的障碍物信息，仅需识别最邻近目标的详细信息，即能为无人驾驶控制提供有力的决策支撑。遮挡现象会一定程度影响被遮挡目标识别，基本不影响距离较近的障碍物。因此，本方法是一种有效且能够较精准获得障碍物详细信息的检测方法。

4 结论

为了通过图像检测无人驾驶车辆前方的障碍物信息，本文提出融合立体视觉和障碍物纹理的检测算法。将左右相机获取的图像进行立体匹配得到视差图，根据相机内外参数，将视差图变换为鸟瞰图，在鸟瞰图上对障碍物进行聚类分割，得到大致位置信息，以该位置信息作为候选窗口，分析原图中该窗口内的纹理信息，精细描述障碍物轮廓，实现车辆前方障碍物更加精准的检测，为后续的辨识提供多种决策信息。立体视觉和障碍物纹理的融合充分利用了立体视觉图像的深度信息和原图像中障碍物的纹理特征，为基于图像的车辆前方障碍物探测提供了一种新方法。但是，当背景复杂时，会对障碍物的边缘检测造成很大干扰，无法得到较为精准、连续目标边缘，如果采用改进的边缘检测方法（如主动轮廓模型）能更加精准地获取障碍物的连续轮廓信息，从而获取目标长宽比、矩形度、圆形度等外观特征。

参考文献：

[1] HAK S， MANSARD N， STASSE O， et al. Reverse control for humanoid robot task recognition[J]. IEEE Transactions on Systems Man & Cybernetics Part B Cybernetics A Publication of the IEEE Systems Man & Cybernetics Society，2012，42（6）：1524.

[2] TIAN J D， SUN J， TANG Y D. Short-baseline binocular vision system for a humanoid ping-pong robot[J]. Journal of Intelligent & Robotic Systems，2011，64（3-4）：543-560.

[3] ULSOY A G， PENG H， MELIH C[M].London： Cambridge University Press，2012.

[4] 朱學葵，高美娟，高广庆，等.基于无人驾驶汽车的障碍物检测方法综述[C].昆明：中国计算机用户协会网络应用分会网络新技术与应用年会，2014.

[5] GANDHI T L， DEVADIGA S， KASTURI R， et al. Detection of obstacles on runway using ego-motion compensation and tracking of significant features[C].Colorado： IEEE Workshop on Applications of Computer Vision （WACV），2014：168-173.

[6] 贾慧星，章毓晋.车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述[J].自动化学报，2007，33（1）：84-90.

[7] 王世峰，戴祥，徐宁，等.无人驾驶汽车环境感知技术综述[J].长春理工大学学报：自然科学版，2017，40（1）：1-6.

[8] 黄如林，梁华为，陈佳佳，等.基于激光雷达的无人驾驶汽车动态障碍物检测、跟踪与识别方法[J].机器人，2016，38（4）：437-443.

[9] 赵一兵，王荣本，李琳辉，等.基于激光雷达的无人驾驶车前方障碍物检测[J].交通信息与安全，2007，25（2）：9-13.

[10] GERNIMO D， LPEZ A M， SAPPA A D， etc. Survey of pedestrian detection for advanced driver assistance systems[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2010，32（7）：1239.

[11] YAMANOUE H. The differences between toed-in camera configurations and parallel camera configurations in shooting stereoscopic images[C].IEEE International Conference on Multimedia & Expo，2006：1701-1704.

[12] 张双喜.基于雷达与相机的无人驾驶智能车障碍物检测技术研究[D].长安大学，2013.

[13] HILARIO C， COLLADO J M， ARMINGOL J M， et al. Pedestrian detection for intelligent vehicles based on active contour models and stereo vision[C].International Conference on Computer Aided Systems Theory，2005：537-542.

[14] GAVRILA D M. Pedestrian detection from a moving vehicle[M].Springer Berlin Heidelberg， 2000：37-49.

[15] 劉昱岗，王卓君，王福景，等.基于双目立体视觉的倒车环境障碍物测量方法[J].交通运输系统工程与信息，2016，16（4）：79-87.

[16] 董琴琴.基于双目立体视觉的障碍物检测算法的研究与实现[D].沈阳：东北大学，2009.

[17] 赵一兵，邓云翔，郭烈，等.无人驾驶车野外环境水体障碍物检测[J].中国科技论文，2013，8（11）：1192-1196.

（责任编辑：江 艳）