车载激光雷达和视觉传感器融合算法研究

时间：2024-05-04

李贵炎

(南京交通职业技术学院,江苏南京 211188)

0 引言

近年来,随着移动技术和通信技术的发展[1],许多新型高端技术被应用到智能驾驶系统的研发中[2]。其中,一种新型的车载激光雷达被广泛用于检测智能驾驶系统中的引导功能[3]。该车载激光雷达对车辆周围的空间具有搜索范围广、信息范围广和单幅图像信息、精度高等优点,本文重点介绍基于车载激光雷达的线搜索技术[4]。

1 相关概念

1.1 激光雷达传感器

激光雷达扫描仪的众多优势,使其成为复杂交通环境中视觉检测的理想选择[5]。视觉系统的主要功能是契合智能驾驶环境自动作出指令和判断,指导智能驾驶行为[6]。本文提出的激光雷达多面组合检测算法流程,如图1 所示。

图1 基于激光雷达的障碍物检测算法流程

1.2 基于激光雷达的障碍物识别方法

1.2.1 地面分割

交通环境中会出现很多突发情况[7],驾驶员一般难以从容、整合处理。对于车载激光雷达来说,处理复杂交通情况则相对容易。地面分割是一种简单有效的预防方法,可以用于处理突发状况。综合考虑,本项目采用RANSAC 算法(Random Sample Consensus, RANSAC)进行遗传分离[8],其第一个均衡模型可以定义为[9]:

在进行地表分割时[10],系统操作人员必须先将指标代入符号,计算误差,根据指定的阈值分析PROad 符号集中的第一个符号,然后对第一个内部基因应用RANSAC 算法设置PROad。

1.2.2 点云栅格化

激光雷达传感器的数据传输量非常大,Velodyne 64 线激光雷达在双响应模式下每秒产生3D 扫描。信号数量可以达到220 万个,即使去除地面信号,云的数据大小也保持不变,并且还会留下标记供适当处理,光束可能不会被激光扫描,远处的格栅会产生隔音格栅,并降低能见度。

如图2 所示,确保网格有两束激光束,距离激光雷达的距离为d,本研究必须调整线的大小,使其与线和激光雷达中心的距离相等。这是因为靠近前导水平面的激光束之间的夹角非常小,根据弧长模型可以得到晶格长度的最小值Gmin:

图2 栅格与激光扫描线位置关系示意

式中:θ为相邻两束激光线之间的水平夹角,根据一定的情况,考虑网格上存储的网格的内存问题,设计人员选择一个最大尺寸的格网。

1.3 卷积神经网络

1.3.1 卷积神经网络的组成

卷积神经网络是深度学习技术中最重要的模型之一,其有很多不一样的网络层。从实用的角度来看,这些网络层可以分为两部分:信号层和解密层。卷积层利用卷积纹理对部分数据场进行卷积函数计算,如见图3 所示。

图3 卷积操作

从卷积的具体操作过程中可以看出,卷积函数是提取数据的高级抽象特征和近似数据的关系特征。

1.3.2 卷积神经网络

卷积神经网络借助卷积运算操作的优势,与数据序列相关的数据有本地关联(最近的数据有更强的关联),因此可以用CNN 来处理它们的本地特性。CNN 的基本结构,如图4 所示,主要包含卷积层与池化层。

图4 卷积神经网络结构

输入x数据时,卷积层的特征图C可表示如下:

式中,⊗为卷积操作;W为卷积核的权重向量;h表示偏移量;本文采用Relu 函数,可以选用的还有sigmoid,tank 等。

2 车载激光雷达与视觉传感器融合的障碍物识别方法

2.1 车载激光雷达

车载激光雷达被称为车上的3D 激光扫描仪,其配备有移动式3D 激光扫描系统,是最有效的建模工具之一。建模技术如图5 所示,其看起来与实际图片相似,但是由几个激光点组成,不同颜色反映了激光返回的不同反射作用。

图5 建模技术

2.1.1 DTM 建模技术

DTM(Digital Terrain Model)建模技术起初用于高速公路建设。建模技术的主要功能是使用由3D 激光扫描仪和其他设备扫描“信号云”,通过计算机处理来创建3D 模型(通常是将信号链接到线或帧)。

2.1.2 车载/船载激光雷达

不论是车载、船载还是机载的激光雷达,目标都是在交通工具上的POS 系统中添加3D 激光扫描仪。该项目应该能够在更长的范围内创建DTM 模型,前提是将先进的导航系统集成到其他辅助手提包中,并完成数据处理程序,以确保路线的准确性,防止GPS 信号的丢失。

2.2 数据层融合

为了克服激光雷达在障碍物检测算法方面的弱点,技术人员要注意算法的端到端处理,可以消除对一个值为1～7 的循环预设模型的依赖,使用相关算法进行深入研究。但是,激光雷达数据不完整且有限,不能作为卷积神经网络的积分器。因此,雷达图制作需要分为两部分:(1)确定激光雷达点云在图像平面的位置。 (2)确定雷达图的“像素值”。

本文根据Lawson 算法得到散点之间的Delaunay三角形,其算法步骤如下。

Step1:位置。

Step2:构造一个全能包含全部散点矩形,并记录该矩形的4 个顶点D1,D2,D3,D4,在散点中任选一点P1与矩形的4 个顶点相连构成4 个三角形,图6 是Lawson 算法的Step 1 与Step2 的示意图。

图6 Step 1 与Step2 的示意

如图7 所示,为了在一系列散点上创建一个DT 三角形,在DT 三角形之后,原始散点设计的表面被分成了具有多个三角形的层。

图7 DT 三角剖分

2.3 高阶特征融合

卷积神经网络中的卷积执行能得到图像的高阶特征,对其进行学习。然而,在获得分离结果时,卷积的作用是去除关键信息而忽略局部细节,图8 展示了Enet-CRF-Lida 网络模型的总体框架。

图8 Enet-CRF-Lidar 网络模型

2.4 实验分析

Enet,Enet-CRF 和Enet-CRF-Lidar:经过训练后在测试集A 上,其测试结果如表1 所示。从表1 中可以看出,本文研究的激光雷达通知方法(Enet-CRFLidar),结合了激光雷达在像素密度和平均IoU 精度上的优势,其优于其他两种网络模型,可用于分析网络性能的条件。

Enet,Enet-CRF 和Enet-CRF-Lidar 在测试集A 上的部分输出结果如图9 所示。从图9 和表1 所示结果可以得出,在公路、道路等简单车辆的情况下,3 种网络模型都可以用于对前停站进行分类,所以分类的准确率,尤其是每段横向位置的准确率要高于Enet,在城市、路口等特定区域或场景等环境复杂的地方,交通主体众多,Enet 的分离效果并不好。

图9 各模型在测试集A 上的部分输出结果

表1 各模型在测试集A 上的表现