卷积神经网络在端到端道路裂缝检测中的应用研究①

谭 启

(安徽工业经济职业技术学院地质与建筑工程学院,安徽合肥 230051)

0 引 言

找到一种能够根据道路图像精确检测出裂缝区域的道路裂缝自动检测技术,对道路养护有着重大意义。目前的道路裂缝自动检测技术多采用基于形态学的处理方法,但该方法的检测精度低、要求高,因此已逐渐无法满足需求[1]。卷积神经网络(Convolutional neural network,CNN)具有识别精度高、速度快等优点,因此在图像识别领域被广泛应用。研究提出了一种融合卷积神经网络的端到端智能检测办法,提高检测精度和效率,为道路裂缝检测提供了一种新的思路。

1 端到端的深度卷积神经网络

1.1 道路裂缝图像纹理特征提取

道路裂缝前景和背景图像具有不同的纹理特征。因此需要对道路裂缝图像的纹理特征进行提取和匹配,以保证裂缝图像的精确度。使用传统的局部二值模式(Local Binary Patterns,LBP)法对裂缝道路裂缝图像进行处理。提取过程可分为两步进行,第一是对裂缝图像进行全局特征抽取,得到裂缝图像的轮廓信息灰度直方图。裂缝的灰度直方图描述了图像的整体灰度分布。不同的像素具有不同的图像特征,使用阈值划分灰度值区间提取裂缝图像的轮廓信息使用阈值划分灰度值区间,将接近相似像素的灰度值映射到对应的区间[2]。

对于清晰度为NP 的图像f,其轮廓信息计算公式如公式(1)所示。

公式(1)当中,j(m,n)表示像素坐标(m,n)的灰度值,uf为被处理图像中第f 个临界值。f*为变换后的图像,f 代表原始图像,其中f*局部区域中心像素灰度值的计算公式如公式(2)所示。

这里需要说明的是,公式(2)SSP 最终计算得到的值只需要保留整数,li为围绕中心像素的像素数量,Wf为第f 个邻域灰度值。通过计算规则可知,中心像素灰度SSP 最小值为li,最大值为（δ -1）×li,由此可以得出,裂缝图像特征的灰度直方图计算公式,如公式(3)所示。

式(3)中M ,N 为图片像素总长与宽,满足NP =M ×N。当m =n 时j(m,n)=1其他情况均为0,通过上述方式就能够获取裂缝图像的全局特征。第二步就是通过细分局部二进制模式进行裂缝图像局部特征的获取,计算公式如式(4)所示。

通过量化GMI(m,n)后就能得到直方图。根据上述内容,即可实现图像的无缝融合,进而方便模型对道路裂缝进行识别和检测。

1.2 针对道路裂缝检测的CNN 网络框架

基于CNN 的道路裂缝检测方法较传统的检测方式大大降低了检测难度[3-4]。因此研究基于CNN 构建道路裂缝检测模型。首先在原有CNN的网络结构上,设计出编码器-解码器结构的网络框架,模型的整个系统可以分为三个板块,上下采样路径模块、密集卷积块以及瓶颈结构。上下采样路径模块的主要负责对道路裂缝特征图进行处理。卷积神经网络的下采样本质上就是池化过程,池化可以通过两种方式进行,即平均池化和最大池化,两种方式都能起到压缩图像的目的。将道路裂缝图像进行转置卷积操作称为上采样,在这个当中,视阈由窄逐渐变广,直到图像达到原始比例识别结束,目的在于得到详细的道路裂缝图像语义分割结果。第二大板块为密集卷积块,该部分为整个系统的核心计算模块。浅层卷积神经网络简单级联方式不同,深层卷积神经网络需要将网络上一层的输出特征图与经过卷积运算输出特征特的矢量相加,以此来提高模型拟合能力,增加运算的精度,层与层之间矢量计算公式如公式(5)所示。

公式(5)中,F为卷积运算层,x为卷积神经网络l层的输出,xl-1为l层上一层输出。在深层卷积网络当中,利用密集联级模式,增加前层信息的重复利用率,具体表现为模块下一层的输入数据需要将该前层的输出在通道维度上串联叠加的形式输入,即x1=F(［x0,x1,…,xl-1］)[5-6]。设卷积神经每一层输出的特征图数目即输出维度为。经过多次试验得出,将k数值设为16,模型参数能够达到最精简,提高整个网络的深层监督性能。最后一个版块为系统的瓶颈结构,与密集卷积块结构相仿,但是在数量上瓶颈结构更占优势,在道路裂缝特征图识别当中,设瓶颈结构中卷积模块为15,瓶颈结构的输出计算公式如公式(6)所示。

式(6)中Xbottleneck为瓶颈结构输出。根据以上内容,即可构建基于CNN 的道路裂缝检测模型[7-8]。但CNN 算法需要对图像进行预处理,算法的复杂度较高,对道路裂缝图像的检测时间较长,因此还需要对模型进一步优化。为简化基于CNN 的裂缝检测模型的复杂度,实现端到端的自动道路裂缝检测,在模型中融入端到端模型(endto-end learning,ETEL),构建出ETEL-CNN道路裂缝智能检测模型。首先在ETEL 中引入空节点,这些节点不需要与图片像素点完全对应。ETEL作为softmax层的目标函数,起到度量模型和数据之间的相似度的作用,ETEL结构的最大似然函数计算公式如公式(7)所示。

公式(7)中,p(z|x)表示输入x时输出z的概率,x为训练集,当输入端确定之后,ETEL 负责从输入序列中找出最大概率的输出序列,最后再结合卷积神经网络结构。

2 卷积神经网络裂缝检测性能分析

2.1 模型输出与实际值似然度分析

测试服务器CPU 为Intel E5-2667,GPU 为一张GTX TITAN X 显卡,语言平台选用Python语言开发平台。实验以道路裂缝的二维图像为参照,对比模型输出的裂缝数据与真实值之间的差别,端到端卷积神经网络用ETEL-CNN 表示。首先对裂缝的走向与长度进行对比,实验结果如图1所示。

图1 模型预测裂缝与真实数据数据对比

从图1(a)中可以看出,模型输出的道路裂缝 与实际图片中的裂缝之间的差距极小,两者之间的匹配程度都在90%以上,最大偏差为5%,平均偏差为1%,模型在预测裂缝整体走向、长度与分布的准确率达到最高99%。

2.2 自然道路CFD 数据集测试模型性能

试验引入自然环境下道路裂缝数据集(the Crack Forest dataset,CFD),该数据集包含21000张自然场景下道路裂缝图,色彩模式均为RGB 三色显示,清晰度为480p,其中10000张为模型的训练集,剩下的作为测试集。将构建的模型与CannyCrack Tree,Crack ITFFACrack Forest四种算法进行识别准确率,F1和召唤率对比。实验结果如图2所示。

图2 CFD数据测试结果

如图2所示,ETEL-CNN-5p模型拥有98.41%准确率、99.27%召回率与98.83的F1值,性能上远远超过FFAcannycrack IT 及Crack Tree四种算法,证明该模型具有良好的学习能力。通过实验数据的分析可以得知,研究构建的模型性能优于现阶段的优秀算法,在道路裂缝检测实验中,表现出的效果大幅领先其他算法。

2.3 沥青路面TITS数据集测试模型性能

TITS数据集由采集自沥青道路数据,其中包含16000张图片,数据集当中大部分数据未经标注,实验条件设为两个像素的模糊宽度,将研究构建的道路裂缝卷积神经网络检测模型与其它种算法进行性能比较,同样以准确率、召回率和F1 值作为实验对照指标,结果如图3所示。

从图3可以看出,ETEL-CNN 道路裂缝检测模型性能均优于其他算法,其中准确率,召回率和F1值远超GCM1M2算法。除此之外,经过扩增数据的训练,ETEL-CNN 在原本的基础上交并比提升了3.5%,准确率提升了2.42%,召回率提升4.08且F1值提高了0.68。上述的数据足以证明ETEL-CNN 模型的性能,相较其他算法,ETEL-CNN 模型为该阶段下道路裂缝检测效果最好的算法,同时该模型具备深度学习能力,在经过大量数据训练之后,模型的性能进一步提升。

图3 TITS数据集测试结果

3 结 论

研究将卷积神经网络与端到端ETEL 结构的有机结合,构建出ETEL-CNN 道路裂缝智能检测模型。该模型在单一裂缝检测中,对裂缝走向及长度的预测具有99%的准确率,对裂缝宽度的检测具有86%的准确率。在对24000张自然道路裂缝图像进行检测时,模型整体检测准确率为98.4%,对沥青路面进行裂缝检测时具有98.28%的准确率。同时与传统的检测方式如GC,M1,M2等相比,模型具有更高的召回率与F1值。综上所述,ETEL-CNN道路裂缝检测模型性能优异。实验中的图片清晰度是统一的,与实际检测不符,因此如何对图片进行智能预处理是接下来的研究方向。