国内基于深度学习的道路路面病害检测研究综述

山东高速工程检测有限公司 刘宪明 辛公锋

道路路面病害检测和提取算法已经得到了广泛的研究，但是传统的图片自动识别技术在面对复杂的道路场景上尚存在诸多的局限。近年来，随着深度学习在图像识别领域取得了较多突破，国内诸多学者开始尝试将这一先进的工具应用于道路路面病害识别。典型的道路路面病害识别包括图像预处理、病害特征提取、病害分类和结果输出等。本文首先针对图片预处理技术与手段，综述了国内在路面阴影处理、车道线移除、光照均衡、复杂背景、图像增强等重点问题上的研究进展；然后，针对深度学习在道路病害检测中的具体应用，综述了在数据集、模型选用、结果比较三个方面的研究进展；最后，提出了建设符合国内标准的道路病害数据集、二维图片处理过渡至三维图片处理、单项或成组病害识别转向全病害类别识别、病害识别转向病害成因识别及病害发展预测四个研究进展方向。

道路路面病害检测既是一项传统的道路运维管理基础性工作，又是一项以目标检测为典型任务的人工参与程度较高的工作。自上世纪80年代以来，各大公司和科研机构就已纷纷尝试用自动检测手段替代繁重和危险的人工作业，并取得了较为丰硕的成果。然而，道路病害类型多样、形态复杂。《公路技术状况评定标准（JTG 5210-2018）》中，仅沥青路面损坏类型就有11大类、21中类的病害需识别和评定。同时，除了各道路检测单位使用的采集工具不同导致的图片自身的质量和标准的差异较大以外，道路上的光照条件、车道线、旁车、油污、水渍、阴影、路标线、减速带、车辙印、树叶、杂物、道路路灯等不可控因素使得传统的图片自动识别技术的识别难度较大。近几年，国际范围内深度学习在图像识别领域取得的突破性进展，使得国内的学者纷纷尝试将这一先进的工具应用到道路路面病害自动识别中来。

1 图片预处理技术与手段

图像分析中，图像质量的好坏直接影响识别算法的设计与效果的精度；因此，在图像识别前，需要进行预处理。图像预处理的主要目的是最大限度地简化数据，从而改进特征提取和识别的可靠性。道路路面病害常见的需要预处理的是路面阴影处理、车道线移除和光照均衡；同时，复杂背景和图像增强也是预处理的难点问题。

1.1 路面阴影处理

路面阴影不仅破坏了路面裂缝图像亮度的一致性，而且路面阴影具有形状极其不规则、半影区巨大、阴影区和非阴影区难以界定等特点。王骜（2016）采用了OTSU图像分割算法进行了处理，其实质是对图像进行灰度分割比较，首先将同一张图像分别进行OTSU图像分割，然后比较分析；如果差异小，则可以认为不存在阴影。李丽（2018）提出了一种自适应亮度高程模型的路面阴影消除算法SGRSR，其具体分为三步：首先采用形态学膨胀运算和高斯平滑滤波消除路面裂缝和路面纹理对后续阴影区域划分的影响；然后利用最大熵阈值分割算法求解出高斯平滑后路面影像阴影区域和非阴影区域的划分阈值，以此实现划分阈值的自适应确定；最后，基于改进的亮度等高区域划分模型和亮度补偿方法实现路面阴影的消除。

1.2 车道线移除

在采用卷积神经网络（Convolutional Neural Networks, CNN）等人工智能方法对路面图像实现自动分类识别时，路面图像中通常会出现白色车道线，车道线区域亮度偏高，边沿处存在强烈的灰度跳变，车道线宽度往往大于裂缝宽度，经CNN卷积、池化操作后，对车道线的特征感知强于裂缝，若含车道线的路面图像数量较多，不仅影响对路面图像的光照校正，还会影响最后的分类结果。黄涛（2019）提出了利用Mask R-CNN首先检出车道线区域，然后将该区域移除，接着采用改进Criminisi方法修复图像，以达到移除车道线的处理目的。

1.3 光照均衡处理

王骜（2016）在直方图均衡化方法的基础上，利用灰度值矫正对横向上的光照不均也进行了均匀化处理。黄涛（2019）基于变换域的方法，采用Mask匀光法完成图像的初步光照校正，同时融合伽玛校正算法调整匀光后图像的亮度并增强其对比度，伽玛系数取值通过二分法自适应查找获取，不再手工干预，最后达到批量图像的亮度基本保持一致的目的。白胜（2019）则采用了直方图均衡化和中值滤波进行图像预处理，降低光照不均带来的影响。

1.4 复杂背景处理

王骜（2016）采取了改进的双边滤波算法，利用了局部噪声方差的方式进行区域型的滤波，减少图像滤波导致的目标信息丢失。借助图像分割的手段将非目标信息滤除，以此来达到消除噪声的目的。温佳乐（2019）使用了全局对比度归一化方法来移除图片最为明显的变化源，使得图像像素之间的标准差满足同一个尺度参数，接着通过数据集进行增强来减少模型的泛化误差。

1.5 图像增强

王骜（2016）采取了灰度变换、图像平滑（领域平均法和中值滤波法）增强了图像中有用的信息。王丽萍(2018)在混凝土路面裂缝检测研究中，将24位RGB 彩色图像经预处理把混凝土裂缝图片切割成大小为256×256的灰度图。冯卉(2019)用灰度图LOG变换和CLAHE算法，基于路面图像和裂缝的特征，提供一种像素灰度值的映射，以增强部分裂缝与其他路面信息的对比度。

2 深度学习在道路病害检测中的具体应用

2.1 数据集

海量的标注数据能够有效降低过拟合的风险，有效提高模型的泛化性能，还能进一步提高模型的鲁棒性，因此能否获取海量的标注数据就成为了影响模型性能的关键因素。

（1）自建数据集

李丽（2018）用大疆无人机Phantom 4pro自带的CMOS面阵相机采集，采集高度30cm，采集分为了强光和弱光两种模式，共采集了包括6种常见干扰物（车道线、下水道井盖、落叶、车辙印、不同背景纹理的路面裂缝图像、水渍），采集数量2000张。她采用了几何变换、空间滤波、线性变换三类图像处理方法对数据集中的图像数量进行了扩充。司吉兵（2019）用Gopro Hero 6 Black相机搭载车辆的方式，采用了连拍和录像两种方式自行采集数据，连拍的图像尺寸为4000×3000，视频分帧后的图像尺寸为1920×1080。为解决样本量过少，他采取了镜像处理、旋转处理和添加少量高斯噪声进行了数据增强。

（2）公共数据集

杨晨曦（2019）尝试使用了谷歌地球的遥感影像数据，分辨率0.15～0.60m，图片大小414×410～691×592，图片1000张，目标个数4300，训练样本660。柏嘉洛（2019）选用了CFD和TITS数据集，采用了图像变换（含亮度变换、图像旋转、图像翻转、图像截取、图像平移）、图像合成（从源图像中提取裂缝、对裂缝进行变换、将变换后的裂缝与获取的背景图像融合、合成图像进行色彩变换）进行了数据增强。

（3）运营数据集

陈旭林（2018）除了用平移、翻转和镜像翻转解决了样本量不足问题，还尝试采取丢弃一些负样本、更改损失函数和通过算法生产样本三个方法来解决正负样本不均衡问题。黄涛（2019）所用沥青路面图像数据集由重庆市公路局提供，主要筛选出有代表性的三类病害图像与正常路面图像共四种类型，所有图像均为单通道，经翻转、裁剪及加噪增强后总计10800张，每一类型图像均按比例随机分为训练集、验证集和测试集。肖林（2019）采用了由长安大学三维路面破损检测车拍摄得到的绥满高速呼伦贝尔段的24000张图片，其中12000张为裂缝图像，12000张为非裂缝图像，每一类图像中随机挑选8000张作为训练集，2000张作为验证集，剩余2000张作为测试集。

2.2 模型选用

司吉兵（2019）利用迁移学习技术，选择了VGG-16、Inception-v3、Res Net-50三种经典的CNN网络结构模型,三种模型的初始参数为Image Net数据集训练过的参数。他采取了两个方案（方案一：以预训练模型的参数为初始参数，使用fine-tune对所有层进行训练；方案二：以预训练模型的参数为初始参数，使用Convent作为特征提取器，冻结除最后一层全连接层以外的所有层的权重）进行了对比分析,进一步地在第一种方案的基础上，他进行了SGD、Adagrad、Adadelta、Adam、Momentum 以及Rmsprop优化算法测试。李丽（2019）选用了基于Alexent网络的FCN模型。黄涛（2019）选用了Alex Net、VGGNet、GoogleNet和ResNet模型，并尝试了Adagrad、Adadelta、Adam、GD、Momenetum、RMSProp进行了优化器的比较。陈旭林（2019）参考NIN和Inception，优化了CNN设计，进一步选用了FCN并用U-Net对其进行了改造。温佳乐（2019）选用了VGG并对其网络结构进行了优化；同时，他还基于Caffe框架搭建了改进的神经网络模型结构。杨晨曦选用了多视角卷积神经网络(Multi-Per Net)，并将其与ZF-net、PVANet进行了比较。冯卉（2019）则选用了直线型CNN模型（无图像预处理）、直线型CNN模型、残差模型和优化CNN模型，并进行了结果对比。柏嘉洛（2019）选用了编码器-解码器结构的全卷积神经网络DenseCrack。王丽萍（2019）选用了CNN和Faster R-CNN两种结构进行了对比分析。肖琳尝试了ResNet50、ResNet34和Inception V3模型。

2.3 结果比较

神经网络检测结果的优劣通常会从准确率、精确率、召回率、F1值和ROC曲线等多个维度进行比较。但是，由于国内各研究者的研究指向的病害类别采用的数据集、数据增强方式、选用神经网络模型、选用的模型优化方法等均不一样，因此各研究之间的结果的比较难以进行。从各研究者各自的对比分析可以看出，图像预处理、数据集、模型参数的调整、模型优化方法等均会对结果产生较大影响。

3 研究趋势展望

3.1 建设符合国内标准的道路病害数据集

深度学习是一门数据驱动的技术，其训练需要大量的标注数据。深度学习不同于浅层学习，其对样本的依赖性很强，训练样本的设计是很重要的，训练样本应该具有足够的代表性尽可能地覆盖数据真实分布，才能让网络模型学习到数据的本质特征，使得模型具有强大的表达能力。基于卷积神经网络或全卷积神经网络进行复杂背景下的路面病害检测需大量的、带语义类别标签的路面病害图像作为训练集、验证集和测试集。但是到目前为止，全球还没有公开的、带类别标签的、用于道路病害图像语义分割的数据集合。特别地，我国的道路病害检测要求与发达国家还有着显著的差异，这就要求道路病害检测企业、道路病害检测设备提供商、国内高校和科研机构通力合作，尽早建立符合《公路技术状况评定标准（JTG 5210-2018）》检测要求的道路病害数据集，以为进一步的模型训练和优化奠定坚实的基础。

3.2 二维图片处理过渡至三维图片处理

由于二维图片缺乏关于高度的信息（当然可以通过一定算法计算获得，但是既增加了难度，又难以保证精度），诸如沉陷、波浪拥抱、坑槽等的病害检测难以利用该方法检测。近年来，路面三维高精度检测系统的问世与日渐成熟，这就为路面病害的智能检测开启了新的研究方向。未来的研究要紧跟采集技术的发展趋势，在二维图片检测的基础上，持续进行技术迭代，以适应未来三维检测的需求。

3.3 单项或成组病害识别转向全病害类别识别

目前，国内关于此领域的研究大部分集中在裂缝、裂纹的识别等，沥青路面占大部分，水泥路面占少部分。然而，要使得现有的深度学习技术能够从实验室走向工程应用，就需要能够尽可能多地覆盖更多的病害类别。增加病害类别的数量，将会带来系统设计和模型算法要求几何级数的难度增长，这将是未来该领域的长期攻坚方向。

3.4 病害识别转向病害成因识别及病害发展预测

现有的利用深度学习技术对道路病害的识别仅限于对道路病害表现的识别。但是从道路运营管理的全流程角度来看，对病害成因的识别和对病害长期发展的预测可能更具备应用前景和价值。国内已有部分研究涉及到路面结构病害检测，但尚未形成相较成熟的应用前景。在未来的科研工作中，需要更多地结合道路病害运营管理诉求，结合各类检测传感系统的发展，坚强深度学习技术在此领域的应用研究。