基于卷积神经网络的无人机道路巡检系统设计

程睿喆

（南京外国语学校 江苏省南京市 210000）

传统的道路巡检和保养主要由人工来完成，需要投入大量的人力物力来保证道路的相对安全，这种方式存在着低效率、高成本且难以保证道路的决定安全[1]。固定式交通检测设备大量设置在道路的主干路上，也存在着一些缺陷：

（1）监控摄像头不能做到全覆盖且具有一定的探测盲区。

（2）监控系统采用多屏幕方式，工作人员进行道路故障判断时受限。

（3）不能灵活的通知有关部门对事故的快速应急处理。为了克服上述的缺点，本文设计了一种基于卷积神经网络的无人机道路巡检系统，对发生故障和需要保养的道路能快速响应，及时的通知有关部门，避免事故的发生。

1 系统的总体设计

在无人机道路巡检系统中，我们主要考虑了以下几个要求[3]：

（1）无人机系统能满足正常的工作；

（2）无人机系统能适应各种天气和气候变化等；

（3）无人机系统应充分考虑控制的安全性；

（4）视频流的传输应避免较长的延时。

无人机道路巡检系统主要由无人机系统设计、远程控制系统、PC端系统三大部分组成，系统的总体结构框图如图1所示。

图1：无人机道路巡检系统总体设计方案

系统的具体工作原理为：无人机将道路环境检测的结果，将处理后的视频流通过远程传输的方式，发送到PC端进行实时监控道路状况。远程控制系统以STM32作为主控芯片，主要包括在无人机端和遥控端两个部分，遥控端将控制指令通过2.4G通信发送到无人机端，此时无人机的做出相应的位姿变化，完成遥控端对无人机位姿的控制。无人机系统的图像采集模块芯片为树莓派，完成图像的采集并采用TCP通信实现远程视频的传输，将获取的视频流传输到PC端。PC端上使用OpenCV对图像进行处理[4]，利用深度学习模块对设计的神经网络进行数据训练，从而得到检测模型，最后在PC上接收处理过的数据并实时监测道路状况。上述工作原理可实现无人机道路巡检系统，下文将对其包括的三大模块进行说明介绍。

2 无人机系统设计

本次使用的是Raspberry Pi3(model B+)作为无人机的主控制板[7]，无人机的飞行控制算法和图像采集模块集成在树莓派中。远程控制系统通过2.4G无线通信模块连接，通过控制器实现对无人机飞行和图像采集的控制。无人机系统总体结构如图2所示。

图2：无人机系统总体结构

3 PC端系统设计

在PC端系统设计主要分为图像预处理、模型训练和视频监控三大部分，通过TCP通信协议进行通信，TCP通信是一种面向连接的通信，可完成客户端（树莓派）和服务端（PC）的信息传递[9]。下面主要对前两部分详细介绍。

3.1 图像预处理

本系统对地面裂缝检测的图像预处理流程如图3所示具体工作原理为：

图3：图像预处理流程图

（1）采用加权平均灰度化对获取的无人机影像进行灰度化处理；

（2）对灰度化处理后的影像进行直方图均衡化，使得影像具有高对比度和多元的灰度色调变化，为后续的滤波降噪奠定基础；

（3）对处理后的影像进行滤波降噪，消除孤立的噪声点，采用方法的是中值滤波降噪；

（4）使用迭代二值化处理将影像的灰度值设置合适的阈值，使得图像更简单，目标更突出，然后对图像进行分割，计算迭代的阈值，判断迭代的阈值是否收敛到某一值或者达到限定的迭代次数，如果是的话，将完成二值化处理和滤波，否则将初始二值化阈值；

（5）最终完成道路故障的识别与标记。

3.2 模型检测

3.2.1 卷积神经网络原理

使用卷积神经网络进行模型训练，首先使用卷积层实现特征的提取，原理如图4所示。

图4：卷积神经网络原理

如图5所示，卷积操作是模仿神经元的机制。不同的输入在权重的影响下会有不同的输出，根据损失函数的计算来不断的更新权重，直到获得合理的权重参数。

图5：神经元模型

初始传递的信号为x，中间通过权重w，再经过偏置b后连接在末端，最后输出信号变成wx+b。fun(·)表示激活函数，最终f(z)为输出的结果，如式（1）所示。

式中：n为输入特征数量。

3.2.2 卷积神经网络训练流程

通过相机采集到的缺陷和问题图像作为训练样本，这部分是检测道路安全的关键一步，

（1）训练标记数据：首先使用图像预处理中标记好的道路故障提取出来，通过卷积神经网络对标记框内的目标数据进行训练；

（2）提取特征数据：将道路故障的类型统计并归纳；

（3）误差反馈学习：对测试样本进行误差反馈学习，并进行测试；

（4）优化训练数据：根据实际应用场景增加图像的种类和数量，不断训练模型。

3.2.3 故障的基本分类

道路故障主要路面缺陷（例如裂缝、残缺等）和路面增加（例如长时间静止的车辆和路人），各自训练集数量为1000张。如表1所示。

表1：道路故障描述

3.2.4 实验测试

为实现故障的检测，测试数据集为100张，不同类型故障数据50张，均采集自新道路且与训练样本一致，实验结果如表2所示。

表2：实验测试结果

由表2可知，检测路面增加（例如长时间静止的车辆和路人）的准确率高达96%，但是地面缺陷的准确率相比较而言略低，可能造成的原因是：①硬件原因导致采集的图像清晰度比较低；②地面缺陷太小，无人机难以识别；③训练的数据集较少，特征学习误差大；但是满足了设计需求，还需进一步改进。

4 总结与展望

本文设计了基于卷积神经网络的无人机道路巡检系统，主要完成了以下工作：

（1）通过分析当前道路检测方法的发展现状，对现有的检测方式进行优缺点对比，最终采用以无人机为执行单元，深度学习为技术手段的方式进行研究。

（2）根据项目需要制定了合理的设计方案，从无人机系统设计、远程控制系统、PC端系统三大部分进行分析研究。

（3）着重介绍了卷积神经网络原理，并对道路情况进行特征提取与分类，最终完成相关实验验证。

本系统实现了道路巡检的相关功能，能识别并检测出道路的情况，进而提醒相关工作人员来维修道路或保养道路，在接下来的工作中，将对系统的硬件进行升级，增加卷积神经网络训练系统的训练集，同时进一步开发交通指挥功能，缓解城市交通压力。希望在未来的日子里，将科技融入生活中的点滴，共同打造美好的生活。