基于红外与可见光图像融合的无人机探测研究

黄颖杰　梅领亮　王勇　何鹏　练彬　王瑛

摘要：为了进一步提高识别无人机的效率，提出基于红外与可见光图像融合的无人机探测方法，并且对配准算法进行改进，搭配Canny边缘检测ORB特征检测的融合配准算法。首先，搭建双目摄像头、采集无人机图像;接着，对图像进行Laplace预处理、Canny边缘检测ORB特征检测配准、Harr小波变换融合。将得到的融合图像和融合前的可见光图像分别进行YOLOv3检测框架。实验表明，图像融合后的识别，mAP从92.45%提高到了93.39%。证明通过图像融合的方法，可以提高对无人机识别的准确率。

关键词：图像融合;无人机;目标识别;红外图像;可见光图像

中图分类号：TP18      文献标识码：A

文章编号：1009-3044（2022）07-0001-08

近年来，由于無人机影响逐渐变大，从中国民航局公布的2017年成都双流机场的无人机入侵的“黑飞”事件到2020年军用无人机摧毁了亚美尼亚一辆装甲车，需要对无人机的识别准确率提出了更严格的要求。大部分提高识别准确率的方法都是从算法方面进行提升，本文尝试在图像质量方面进行提升，增强无人机图像在YOLOv3中的识别效果。识别无人机的难度大的具体原因主要有以下三点：

1） 离干扰物距离近。无人机的飞行环境一般都有较多的房屋建筑和绿植等像素较为丰富的物体。干扰具体表现在树木和建筑物造成的像素的掺杂、遮挡。

2） 低速飞行或悬停。这些都给雷达探测带来了挑战，雷达探测的主要原理是利用多普勒效应，效应越明显，无人机显示越清晰。但是低速飞行的无人机，使得效应特别不明显。如果为了检测不动或慢飞的无人机，卸装多普勒元件，则会受到不动物体环境的干扰。

3） 尺寸小。这会让探测设备接收到的信息骤减。同时由于目标尺寸较小，对于原始可见光图像，轮廓清晰的优势变小，容易被背景物体像素影响，识别起来难度加大。

针对识别无人机的需求，文献[1]提出一种基于对范围内的目标进行自动探测的方法，区分有价值目标和无价值目标，提高探测的效果;文献[2]提出对雷达探测无人机的算法进行优化;文献[3]提出了对激光探测无人机的算法进行优化;文献[4]采用双边滤波结合去雾算法进行图像增强处理，提高了无人机的图像质量;文献[5]着重于处理目标的大小问题，在FasterR-CNN下优化其特征提取层。本文实验提高识别无人机准确率的方法为红外和可见光图像融合，得到信息熵更高的图像，原理和优势如下：

红外成像原理：物体发射出红外辐射的差值形成的红外图像，红外波长0.75μm～ 1000μm。优势为全天候适应，劣势为图像分辨率低，着重于轮廓信息，容易产生欠曝，曝光不足。如图 1所示。

可见光成像原理：利用光反射原理成像，可见光的波长在0.39μm～ 0.75μm。优点为目标细节更加清晰，缺点为受光线和天气等自然条件的影响，容易产生过曝，降低图片质量。如图 2所示。

本文实验依次对可见光图像和红外图像进行预处理、配准、融合，得到信息更充足的图像。可以观察到融合图像相对于可见光图像的背景像素干扰较少，无人机边缘更加清晰，图像中过曝和欠曝也较少，如图 3所示。

1 相关工作

1.1 硬件平台

本文实验中使用的双目摄像头是深圳市新成像电子科技有限公司的可见光红外USB摄像头模块，型号为HM2131，可见光摄像头和红外摄像头的像素为200万，最大分辨率为1920*1080，感光元件类型为CMOS，如图 4所示。

1.2 软件平台

基于VS2017+OpenCV3.4，实现对双目摄像头的调用，捕获左右摄像头的帧图像，并且显示左右摄像头获得的图像，以按下空格保存图像，如图 5所示。

1.3 数据集拍摄环境

由于本实验平台中的红外相机与可见光的双目摄像头位置关系保持在同一场景，无法跟随无人机运动轨迹调整摄像头角度，因此只能手动调整双目摄像头的方向实现手动跟随无人机。同时由于对无人机监管时的场景多是天空背景，背景较为简单。针对这两点要求，本文选择大厦背面、马路边、树林边等位置实现对无人机的拍摄，增强数据集的训练效果，拍摄场景图如图 6所示。按照训练集：测试集为5：1的比例，总共得到训练集2565张，待融合的测试集中，可见光图像和红外图像各498张。

1.4 数据集标注

在数据集训练和测试前，需要对数据集的图像目标进行框选分类，也是识别无人机的前期工作。图 7为实验数据集中训练集图像的标注结果图。图 8为待用于融合和测试的可见光图像的标注结果图。图 9是可见光和红外图像融合图像的标注结果图。从图中可以看出，对图像中不同位置和不同尺寸的目标进行了框选并归类为“drone”。为了保证实验的准确性，可见光数据集和融合数据集的唯一区别就是融合效果，这也是实验核心之一，不对融合图像进行二次预处理，并且保证标注文件保持一致，即在其他变量一定的情况下，融合图像带来的图像质量改变，为实验的唯一变量。本文就研究这唯一的变量对无人机的识别影响效果开展实验研究。

综上，由训练集得到相对应的2565份标注文件，由可见光得到相对应的498份标注文件，并且复制这498份标注文件当作融合图像的标注文件。

2 预处理

2.1 预处理算法选择

红外图像通过物体发射出红外辐射的差值形成像，具有全天候适应的优势，但由于红外图像的劣势，红外图像分辨率低、图像常常欠曝、边缘信息不够完善，会影响图像未能将笔者感兴趣的信息更清晰地呈现出来。另外，待配准和待融合的图像往往具有对比度不够或者图像不匹配等问题。综上两点原因，需要对数据集进行预处理，才能更准确地配准和融合。在预处理算法中，主要分为滤波、边缘增强、灰度形态学、算术运算等类型，由于实验中无人机属于小目标，所以对无人机的边缘轮廓信息极其重要，同时也有利于接下来的边缘提取，故选择边缘增强的Laplace算法。

2.2 Laplace算法

Laplace滤波首先对输入图片[I]采用非线性函数[ri]处理，获得[rI]，然后对[rI]进行拉普拉斯金字塔分解，获得[LrI]，最后把金字塔中系数[LlrIx，y]作为图像[LlOx，y]中的系数，重构后即可获得拉普拉斯滤波图像，[ri]如式（1）：

其中[fi=i-rii-g]为连续函数，[ri]的定义如式（2）：

其中[g=GlIx，y]为高斯金字塔在[l]层中[x，y]位置的系数。当[0≤α<1]时，图像表现出来的细节信息更多;当[α>1]时，图像表现出来的细节信息更少;当[0≤β<1]时，减少图像的取值范围;当[β>1]时，增加图像的取值范围。[σr]的作用是把细节信息和边缘信息清晰化，即亮度阈值。

把图像分解为两层金字塔，拉普拉斯金字塔分解：

公式如式（3）：

其中[L0O]为第0层拉普拉斯金字塔，[Gσp=12πσ2pGσp]为高斯核[σp]的标准化，[p=x，y]为金字塔相应层上的点，[Ip]为[p]点的像素值，[σp]用于构建金字塔，*为卷积操作。代入函数[ri]，并令[L0I=I-Gσp*I，g=Ip]可以得到如式（4）：

然后，上采样残差图像，并加到公式（4）两边，扩展卷积，得到滤波后的图像金字塔输出图像如式（5）：

式（5）和双边滤波公式相似，其中[Gσp]可以看作空间权重，函数[f]可以看作值域权重。

综上可得到Laplace预处理后的图像。

3 配准

3.1 配合算法选择

在本文实验中，双目摄像头和无人机虽然都位于同一场景内，但是拍摄无人机时，始终存在角度不同，造成两个摄像头的同帧图像不完全一致问题。在融合可见光和红外图像前，需要对红外图像和可见光图像进行配准工作，即将待配准图像（本文为红外图像）变换参数，利用平移、旋转及尺度缩放等相关图像处理，对齐可见光图像，才能使融合達到最佳效果。在图像配准算法中，可分为基于灰度信息、基于图像特征及基于变换域三种类型。由于实验中是不同色度图像进行融合，即不能采用基于灰度信息的配准方法。由于本次实验的数据中，大多数背景都为设定的大厦背面、马路边、树林边，该类场景的特征较为明显。针对这一特点，文献[6]采用的是Sobel边缘检测;文献[7]采用的是SURF算法边缘检测;文献[8]采用的是SIFT和ORB特征检测算法在地形三维重建中的配准算法;文献[9-10]采用基于Canny边缘SURF特征的红外与可见光图像配准算法;本文采用的是Canny边缘检测和ORB[11-13]特征检测的配准算法。由于红外的边缘提取不够明显，为了提取红外和可见光异源图像中稳定性较好的边缘轮廓，在ORB特征检测算法的基础上，得到红外图像的Canny边缘图，将第一次得到的Canny边缘图经过RANSAC[14]筛选，获得更清晰的配准信息。

3.2 Canny边缘检测和ORB特征检测

3.2.1 Canny边缘检测算法

检测算法的考量指标是每个检测算法优劣差别的参考参数。Canny边缘检测算法根据考量指标有取舍地运用了滤波方法和梯度计算方法，使Canny成为检测的质和量都表现不错的边缘检测算法。其步骤包括图像平滑、梯度计算、非极大值抑制、确定高低阈值和边缘检测，以下为该步骤的介绍：

图像处理，即采用高斯滤波算法处理图像信息的每一行和每一列，在此得到的函数等式为：[Gx=exp-x22σ22πσ]，其中等式左边为高斯函数，等式右边的[σ]为标准差。此外，还会得到一个平滑信息[I'x，y]。

梯度计算，目的是得到上述平滑信息[I'x，y]中具体图像像素点的[Mx，y]和[θx，y]，其中[M]代表的是该像素点的幅值信息，[θx，y]代表的是该像素点的方向信息。需要对上述像素点的关于[x]和[y]轴方向的计算，从而可以计算得到该像素点的梯度[dyx，y]。综合以上信息，使用两个2×2的行列式配合得到的平滑信息[I'x，y]对图像信息进行卷积，两个行列式具体如[H1、H2]所式（6）：

非极大值抑制：目的是确定[Mx，y]点是否为边缘点。而判定条件为该点是否为局部最大值点，如果是局部最大值点则为边缘点，若不是则把[Mx，y=0]。是否为局部最大点可以在3×3的图像大小中对比前文得到的该点的[I'x，y]的[Mx，y]。

舍弃部分值：利用手动设置的参数，调整高阈值[Vh]和低阈值[VI]，目的是删选更合要求的边缘点和像素点，使得二者达到预设的平衡。

边缘检测：在满足前一步的条件下，得到在[VI]和[Vh之间]的像素点，并且可以得到其相对应的边缘点，通过这部分边缘点得到边缘检测，获得满足前一步条件下的边缘，即优质边缘。即得到信息边缘图。

3.2.2 ORB特征匹配算法

由上述得到的信息边缘图，再进行ORB（Oriented FAST and Rotated BRIEF）特征匹配算法。主流特征匹配算法的两步是检测特征点及其匹配。在该算法中，使用的是oFAST（Oriented FAST）算法，即由FAST算法升级优化得到。FAST是目前被证实最快的特征点提取算法。也就是说，使用FAST算法得到特征点后，为了使旋转后的特征点不变，定义特征点方向，生成特征向量。然后由该特征向量和汉明距离[15]得到关于特征向量间的重复程度。

第一步，Oriented FAST特征点检测。角点即目标图像在某一范围内，像素相差明显的点，Oriented FAST是由FAST算法升级优化得到的。由文献[16]可得：特征带的概念为任一像素点的灰度值与其邻域中的绝大部分像素点的灰度值相差大于提前设定的值时，就设定该点为特征点。当某像素点[p]的与其邻域中16个像素点的灰度值相差大于提前设定的值时，则符合以下函数，如式（10）：

需要补充的是，像素点[p]的灰度值为[Ip]，像素点[p]邻域中某一点的灰度值为[Ix]，提前设定的相差值则为[t]，式（11）表示的是所有符合条件的像素点[x]的[fdetIx，Ip]的总和。在该步骤中，需要设定一个值[T]，由前文计算出来的[N]比该[T]值大时，则断定所对应的点[p]为特征点。影响角点进行匹配的因素为角点的有效个数，而决定这个数字的因素为前文设置的[t]与[T]。

Oriented FAST与FAST最大的区别是，Oriented FAST在FAST提取出特征点后，定义了一个特征点方向，让一个原本不具备方向信息的特征点，优化成旋转变化后都不会变形的特征点。在该算法中，存在一个由像素点和质心决定的主方向。

第二步，Rotated BRIEF特征点。该算法是借由BRIEF算法的方法确定的特征点。即在限定的条件下，在特征点附近对比其与其他点的灰度值，由一定条件生成的对比像素点对，对比的结果可以得到一条能表示BRIEF描述子特征向量的条件函数。当该点灰度值小于被对比点时，则输出1;当该点灰度值大于或等于被对比点时，则输出0，条件函数如式（12）：

需要补充的是，该点的灰度值为[px]，被对比点的灰度值为[py]，由上可得，特征描述子的公式如式（13）：

在这一步可以得到，Rotated BRIEF代入了Oriented FAST定义的一个特征点方向后，再由像素对比对可以得到一串涉及角度的信息。

第三步，对特征点进行配准。最后结果则得到配准后的图像。根据汉明距离得到的配准方法可以有两个类型，第一个类型是把汉明距离减去比前者小的汉明距离，得到的结果再取绝对值，该值越小则越有配准价值;另一种类型是直接把汉明距离最小所对应的两个点选为对点。但是，这两个方法都需要面对一个舍取范围的问题，以得到更优化的配准。取舍的范围限定得太低，会减少干扰信息的影响，但同时会舍去一些优质配准点，当取舍范围限定得太高，可以得到大部分的配准点，但是也要面临着干扰信息的影响，所以范围的限定，对配准结果的影响较大。

4 融合

4.1 融合算法選择

在本文实验中，图像融合是将红外摄像头和可见光摄像头采集到的目标图像，经过前文所述的操作后，再进一步图像处理，将红外和可见光图像进行某种方式的信息整合，结合了红外图像信息，得到的图像质量会比之前的可见光图像更高。图像融合算法中，可分为像素级融合、特征级融合、决策级融合。像素级融合，顾名思义就是利用像素信息进行融合，该融合从最原本的信息着手处理，能够得到最原本的信息。特征性融合更多是利用图像内的物体形状特征进行匹配融合，常用于物体的边角、纹理信息明显的图像。决策级融合则是综合了像素级融合和特征级融合的特点，根据具体情况取其最优综合方案。在本文的实验中，无人机类型的小目标识别对细节的要求较高，故选择像素级融合的小波变换。

4.2 Harr小波变换：信号分解与重构

对图像信号的分解和图像信息的重构，Harr小波变换的实现过程如下[17]：

首先，在某一变化条件下，获取信号[ft]的值，另外采集信号[ank=fk2n]，并且要求变化时间范围大于或等于1/N。得到式（14）：

将[ft]函数用另一种方式表达出来。

接着，将信号进行拆分。把等式左边的[fnx]分布拆分为式（15）：

接着，加工得到的图像信号。用式（16）表示：

其中[blk]为需要调参的参数，具体参数由具体情况而取最优值。[b1k]为最优解。

最后，对图像信号进行重新组合。设方程式为式（17）：

将上述等式代入该条件：

已知[a0]，与[b1l=0，1，2，…，n-1]是前面的分解与重构得到的修改参数。

5 识别

5.1 算法的选择

本文采用的识别算法是YOLOv3[18]，是one-stage结构，输入图片，输出bounding box和分类标签，由一个网络完成。Faster-RCNN对小目标检测的效果很差、检测速度较慢，属于two-stage结构，输入图片，生成建议区域（Region Proposal），然后送入分类器分类。两个任务由不同的网络完成，因此，two-stage结构的特征层经过多次卷积核才得到，这时的特征层就比较高了，抽象的层次越高，细节保留就越少。SSD对小目标的信息保留能力较差，由于目标跟踪对实时性的要求比较高，而无人机又属于小目标，需要更高的信息，因此本文选择了耗时最小的YOLOv3算法作为无人机识别算法。

5.2 YOLOv3

经过主干特征提取网络Darknet-53后，如图 10所示，持续下采样，高和宽不断被压缩，通道数不断扩张，此时得到一堆特征层，可以表示输入的图片特征，为了适应不同尺度的检测，网络对不同尺度的特征图进行融合，得到三种不同尺度的特征图，对应预测尺寸不同的目标。

首先，计算[IoUIntersectionoverUnion]，如式（18）所示：

其中，Pred为经过特征提取网络和回归预测后得到的预测框，GT为Labelimg中标注的真实框，IoU即两个框的相似比例。当IoU>0.5时，即为：TP（TruePositive），当IoU<=0.5时，即为：FP（False Positive），当没有检测到GT的数量时，即为：FN（False Negative），即可得到查准率：Precision，公式如式（19），召回率Recall，公式如式（20）所示：

对应不同的检测结果框，会得到不同的置信度（IoU），取不同的置信度，可以获得不同的Precision和不同的Recall。当取得置信度够密集时，就可以获得非常多的Precision和Recall。此时Precision和Recall可以在图片上X轴为Recall和Y轴为Precision的坐标图上画出一条线，这条线下部分的面积就是该类的AP值。mAP就是所有的类的AP值求平均。

6 实验

6.1 数据集

在搭建的硬件平台和软件平台的基础上，对无人机进行拍摄。训练集方面，如图 11所示，总共获得2565张，背景多为建筑和树木的干扰信息。测试集方面，如图 12和图13所示，总共得到498张可见光图像，498张红外图像。

6.2 预处理结果

由于对后续的Canny边缘提取中，红外图像的成像特殊性，红外目标物体热辐射通常会出现边缘信息模糊的现象，使得其对下一步边缘提取和匹配效果造成影响。为了更好地利用边缘信息进行配准，提前对红外图像进行Laplace预处理。图 14为原始可见光图像，图 15为拉普拉斯滤波处理后获得的增强图像，可以发现，可见光图像的细节明显增强，可用于提升图像融合中的细节信息。

6.3 配准

分别把红外图像和可见光图像通过Canny边缘检测得到的红外图像边缘图（如图 16所示）、可见光图像边缘图（如图 17所示），即在ORB特征检测算法的基础上，得到红外图像的Canny边缘图，获得清晰的配准信息，得到配准信息后完成可见光和红外图像的配准，如图 18所示。

6.4 融合

将可见光和红外图像融合后，得到融合图像图 19，由表 1可看出，能达到可将光和红外图像的中和，融合后的图像比可见光的信息熵更高，图像信息更多。

6.5 识别

在训练无人机数据集时，首先使用Labelimg对训练集进行标注，得到2565张训练集。同样的方式对可见光图像进行标注，得到498张可见光训练集。由表 2可得，测试得到mAP为92.45%，以同样的标注文件和498张融合图像传入网络，测试得到mAP为93.39%，比原来提高了0.94%，证明融合图像对识别有着正向作用。

7 结束语

本文整个流程图如图 20所示，由双目摄像头和可见光摄像头拍摄所得的图像，制作数据集，经过Laplace预处理，再由Canny边缘检测ORB特征检测融合配准算法进行配准，最后经过Harr小波融合得到融合图像，并且对融合前后的图像进行无人机识别，得到不同的mAP值，提高了0.94%，证明图像融合对无人机识别存在着积极的作用。在无人机识别方面，与以往文献相比，首次使用红外和可见光融合的角度提高识别率。在图像配准方面，与以往的文献相比，首次将Canny和ORB算法融合进行配准。与此同时，Canny阈值和ORB阈值的阈值选取方面，可以进一步加入自适应算法，提高手动选择的准确率和时间。

参考文献：

[1] 王海罗.基于视觉感知的无人机目标识别与跟踪技术研究[D].北京：北京理工大学，2015.

[2] 张宏伟，许道明，马俊涛，等.Radon变换的雷达低慢小目标检测方法[J].现代防御技术，2018，46（3）：105-111.

[3] 李菠.基于激光探测技术的低空慢速小目标航迹测量与定位研究[D].太原：中北大学，2017.

[4] 傅小明.复杂天气下飞行目标物识别跟踪技术的研究[D].成都：电子科技大学，2020.

[5] 曹靖豪，张俊举，黄维，等.基于多尺度特征融合的无人机识别与检测[J].空天防御，2021，4（1）：60-64，70.

[6] 李洁，袁知博，秦嘉悦.基于Sobel算子边缘检测的太阳电池缺陷特征提取方法[J].太阳能学报，2021，42（1）：63-68.

[7] 罗楠，孙权森，耿蕾蕾，等.一种扩展SURF描述符及其在遥感图像配准中的应用[J].测绘学报，2013，42（3）：383-388.

[8] 周坤，谷晨鹏，张东，等.SIFT和ORB特征检测算法在地形三维重建中的研究与应用[J].测绘与空间地理信息，2021，44（3）：44-48.

[9] 汪鹏，金立左.基于Canny边缘SURF特征的红外与可见光图像配准算法[J].工业控制计算机，2020，33（4）：64-65.

[10] 王俊影.可见光、热成像双光谱融合体温筛查系统的研究[D].广州：广东工业大学，2020.

[11] 曾世聪，郭太良，林志贤.基于ORB和角点方向夹角约束的快速图像配准方法[J].电视技术，2015，39（9）：75-79.

[12] 刘威，赵文杰，李德军，等.一种基于ORB检测的特征点匹配算法[J].激光与红外，2015，45（11）：1380-1384.

[13] 张云生，邹峥嵘.基于改进ORB算法的遥感图像自动配准方法[J].国土资源遥感，2013，25（3）：20-24.

[14] CHUM O，MATAS J，KITTLER J. Locally optimized RANSA-C[C]//Proceedings of the 2013 Joint Pattern Recognition Symposium. Berlin： Springer， 2003：236-243.

[15] Hamady M，Walker J J，Harris J K，et al.Error-correcting barcoded primers for pyrosequencing hundreds of samples in multiplex[J].Nature Methods，2008，5 （3）：235-237.

[16] Rosten E，Drummond T.Machine learning for high-speed corner detection[C]//ECCV'06：Proceedings of the 9th European conference on Computer Vision - Volume Part I.2006：430-443.

[17] 陳科百.基于小波变换的滚动轴承故障诊断[J].内燃机与配件，2020（2）：37-39.

[18] Redmon J，Farhadi A.YOLOv3：an incremental improvement[EB].arXiv：1804.02767v1，2018.

[19] Ren S Q，He K M，Girshick R，et al.Faster R-CNN：towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[20] 樊璐，张轶.一种新的行人多目标跟踪算法[J].计算机应用与软件，2021，38（4）：190-196，214.

【通联编辑：唐一东】

收稿日期：2021-11-15

基金项目：2020年东莞市科技装备动员专项资金（KZ2020-02）;2019年广东省科技创新战略专项资金（2019B090904007）;广东省科技计划项目资金（2020B010190001）

作者简介：黄颖杰（1997—），男，广东梅州人，硕士，研究方向为计算机视觉;梅领亮（1973—），男，浙江杭州人，教授，硕士，研究方向为计算机视觉;王勇（1968—），男，湖南长沙人，教授，博士，计算机视觉;何鹏（1987—），男，河南郑州人，博士，研究方向为飞秒、皮秒、纳秒激光;练彬（1984—），男，广东梅州人，硕士，研究方向为军民融合;王瑛（1970—），女，湖南长沙人，教授，博士，研究方向为计算机视觉。