基于NSCT和IFCNN的红外与可见光图像融合算法

徐 逸,曹雪虹,张嘉超,汤博宇,孙宏伟

(南京工程学院人工智能产业技术研究院, 江苏 南京 211167)

在多传感器图像融合中,红外和可见光图像融合是一个非常关键的问题[1-2].红外传感器受外界环境影响较小且可以反映目标的温度信息特点,但存在边缘细节模糊和分辨率较低的问题;可见光传感器可以弥补红外传感器存在的不足,但其受环境影响较大.因此,将红外图像与可见光图像进行图像融合非常必要,这样既能弥补单一图像存在的不足,又能使融合后的图像更加符合人类对视觉的感知.

当前,红外和可见光图像融合算法主要有像素级融合、特征级融合和决策级融合三个层次.文献[3]将小波变换(DWT)进行图像融合,DWT能有效解决传统方法的不足,但采集的图像方向信息有限,导致图像局部出现振铃效应;文献[4-5]采用非下采样轮廓波变换(NSCT)进行图像融合,可以有效克服DWT算法的不足,但其运算速度慢且耗时长;文献[6]将多分辨分析工具与图像分割相结合,能够较好地保留红外目标信息,但无法保留其主要的特征信息以及在可见光图像中的重要细节.

针对红外和可见光图像融合过程中的图像清晰度低和纹理细节信息损失等问题,本文提出一种基于NSCT和改进的模糊细胞神经网络(IFCNN)相结合的红外与可见光图像融合算法.首先对红外和可见光图像进行预处理,调节其对比度,从而有效提高信息提取率;然后利用小波变换获得低频子带和高频子带图像,并在此基础上对不同子带分别采用不同规则融合;最后采用小波逆变换得到融合图像.试验表明,本文提出的算法可以有效提高融合后图像的清晰度、减少噪声的干扰以及保护纹理细节信息.

1 相关理论介绍

1.1 NSCT

NSCT是一种多尺度、多方向、平移不变的图像分解算法,它利用非下采样塔形滤波器组和非下采样方向滤波器组有效地将多尺度和多方向分解相结合,可以较好地保存影像的边缘及轮廓信息[7-8].首先通过非下采样塔形滤波器组将原始图像分为低频子图像和高频子图像,再利用非下采样方向滤波器组进行方向分解,得到不同尺度、不同方向的子带图像.NSCT在分解和重建时不进行下采样,能有效避免吉布斯效应,从而保证分解后的图像大小与原始图像大小一致.图1为NSCT的结构框图.

图1 NSCT结构框架图

1.2 IFCNN框架

IFCNN卷积神经网络是一个端到端的学习网络,该网络由特征提取层、特征融合层和图像重构层三个部分组成.特征提取层由两个卷积层组成,第一个卷积层采用resnet101的第一个卷积层,使用其在imagenet上的预训练参数,因为imagenet是分类任务,而本文是图像融合,所以第二个卷积层是为了对第一层进一步调整;特征融合层采用elmentwise的融合,如elementwise-maximum、elementwise-sum and elementwise-mean,对于红外与可见光融合采用elementwise-maximum比较合适;图像重构层采用两层卷积.

图2 IFCNN原理框架图

2 融合算法

低频部分包含图像的大量能量信息,是融合的关键.通常经典的融合算法都是直接对低频部分采用取大法、加权平均法进行处理[9-10],会导致信息缺失,融合效果一般.本文将低频部分采用小波变换,再次分解得到低频和高频子带,再针对低频和高频特征采用不同的融合策略.

2.1 低频子带融合规则

低频分量是融合的核心,它占用图像的大部分能量,低频子带系数是对原始图像的一种近似.为了最大限度地保留图像的能量信息,在低频部分采用局域能量加权[11-12]方法进行融合,该方法的主要步骤为:

1) 红外与可见光图像的邻域能量计算:

(1)

2) 将获得的相应邻域能量矩阵分成几个互不重叠的子区,区域特征值计算式为:

(2)

3) 计算红外和可见光第i个子块的融合权重:

wVI,i=EVI,i/(EVI,i+EIR,i)

(3)

wIR,i=EIR,i/(EVI,i+EIR,i)

(4)

4) 求出低频系数:

CF,i(x,y)=wVI,i(x,y)CVI(x,y)+wIR,iCIR(x,y)

(5)

2.2 高频子带融合规则

通过IFCNN对高频子带图像HA和HB进行特征提取[13-14],经过L2正则化处理、卷积操作后,通过最大选择策略得到的最大权重作为HA和HB的权重系数,最终获得高频子带融合图像F.高频融合的具体步骤为:

1) 采用IFCNN进行特征提取,其中conv 1、conv 2、conv 3和 conv 4作为特征提取层,提取层公式为:

(6)

2) 利用L2正则化方法对两个向量之间的差异进行求解,从而获得局部最优解,第j个高频图像第i个特征层经L2正则化处理得到的结果可表示为:

(7)

(8)

4) 由步骤1)—3)可以求出一个四维向量,通过最大选择策略得到最终的权重,四维向量表达式为:

(9)

(10)

2.3 新融合流程

基于NSCT和IFCNN的红外和可见光图像融合流程(见图3)为:

图3 红外和可见光融合的流程图

1) 对红外和可见光图像进行预处理,提高红外图像的对比度;

2) 利用NSCT对预处理的红外和可见光图像进行分解得到低频和高频子带,低频子带包含原图像的大量细节信息,利用小波变换对其进行再次分解得到相应的低频子带和高频子带,低频子带采用局域能量加权方法、高频子带采用IFCNN方法进行融合,对处理后的低频和高频部分进行小波逆变换得到NSCT所需的低频子带;

3) 对NSCT分解后的高频子带采用IFCNN方法进行处理;

4) 对处理过的低频和高频部分采用NSCT逆变换实现图像的最终融合.

3 试验结果与分析

为验证NSCT和IFCNN融合算法的有效性,选取三组在相同场景并经过严格配准的红外和可见光图像进行测试,测试图像均来自标准图像数据集.测试平台为:Intel(R) Core(TM) i7-7800X@3.5 GHz,编程环境为Matlab R2020.本文对基于DWT、IFCNN方法与本文方法进行比较.试验结果如图4所示.

可见光

红外

DWT

IFCNN

本文算法

可见光

红外

DWT

IFCNN

本文算法

可见光

红外

DWT

IFCNN

本文算法

本文采用信息熵(IE)、平均梯度(AG)、标准差(SD)三种指标对三组图片进行客观评价,指标的数值越大越好.如表1所示,本文算法的指标比其他算法都好.试验结果表明本文算法有较多的融合信息,且具有较好的边缘轮廓信息.

表1 融合图数据对比

4 结语

本文根据红外和可见光图像各自具有的优势,设计了一种图像融合方法.先利用NSCT变换将图像分解为高频和低频部分,高频部分采用IFCNN融合的方法,低频中包含丰富的图像信息,对低频部分再次采用小波变换;对再次分解后的高频部分采用IFCNN融合方法进行融合,低频部分采用局域能量加权方法进行融合,采用小波逆变换得到NSCT所需的低频部分;在此基础上将高频分量和低频分量通过NSCT逆变换得到最终的融合图像.本文融合方法不仅具有良好的视觉效果,而且客观指标也优于其他方法.