多聚焦图像焦深扩展分解融合算法仿真

刘丽丽,赵 玉

(1. 长治学院计算机系,山西 长治 046011;2. 石家庄铁道大学土木工程学院,河北 石家庄 050043)

1 引言

随着科学技术的不断发展,图像信息获取手段已经从单一的可见光传感器[1]转换成高光谱甚至超光谱传感器。图像融合就是将不同传感器获取的图像实施空间配准,通过一定融合算法将各个图像有机结合,产生新图像的技术。近年来图像融合技术被广泛应用于遥感监测、医疗诊断等高端领域[2]。但是传统的图像融合技术无法满足当前人们对图像融合效果的需求,因此,提出更加高效的图像融合技术,成为目前亟待解决的问题。

文献[3]提出了一种基于非下采样Shearlet变换耦合导向法则的多聚焦图像融合算法。该方法首先利用变换算法获取多焦距图像的不同图像系数;再提取图像标准差以及空间频率特征,测量图像关联性,制定融合规则;最后结合建立的融合法则实现多焦距图像的融合。文献[4]提出了一种基于超像素级卷积神经网络的多聚焦图像融合算法。该方法首先对焦距图像实施多尺度分割,并将分割出的超像素输入卷积神经网络中分类,依据分类结果建立初始决策图像;再通过获取的决策图确定不确定区域,结合空间频率对聚焦图像实施再次分类,获取阶段决策图;最后利用形态学方法对决策图进行处理,完成图像的融合。文献[5]提出了一种无监督深度学习模型的多聚焦图像融合算法。该方法首先依据提取的无标记数据集结合注意力机制建立网络模型,获取图像的深层特征;再依据聚焦检测方法对图像深层特征展开测量,依据测量结果决策图;最后依据决策图实现聚焦图像的融合。

上述方法由于未能在聚焦图像融合前,对源聚焦图像中的退化图像实施修复处理,导致上述图像融合方法在融合图像时,融合性能低、融合效果差。为解决上述多聚焦图像融合过程中存在的问题,提出基于焦深扩展的多聚焦图像融合算法。

2 聚焦图像获取及预处理方法

2.1 聚焦图像获取

依据波前编码技术[6],在光学系统的光瞳位置加入相位板,设定光学系统的相位因子为δ,计算相位板的当前位置,过程如下式所示

α(p,q)=δ(pi,qi)

(1)

式中,p、q表示相位变量,二者之间互相独立,α(p,q)表示相位板位置,i表示相位板数量。基于上述计算结果,建立光学系统的焦深扩展函数,对光学系统[7]实施优化处理,过程如下式所示

(2)

式中,k(p)表示焦深扩展函数,exp(pi)表示指数函数,j为常数。

基于光学系统优化结果建立光学传递函数,建立过程如下式所示

(3)

式中,G(l,ξ)表示光学传递函数,ξ表示焦深扩展系数,l表示系统空间频率。

依据上述获取的传递函数,获取聚焦图像,过程如下式所示

(4)

式中,Ta表示聚焦图像,a表示图像数量。

由于图像获取时,对光学系统焦深实施了扩展,由此避免了图像分辨率降低的概率,但是焦深扩展会降低图像成像质量,因此,在多聚焦图像融合前,需要对聚焦图像中退化图像实施图像复原处理[8]。

2.2 图像复原

由于光学系统中,成像机制相同,因此,设定图像的卷积计算符号为⊗,以此获取聚焦图像的退化图像,过程如下式所示

h(m,n)=S(m,n)⊗f(m,n)+β(m,n)

(5)

式中,h(m,n)表示退化图像,β(m,n)表示噪声分布系数,f(m,n)表示目标聚焦图像,S(m,n)表示光学系统点扩散函数,(m,n)表示图像像素。

基于上述滤波流程可知,精确的点扩散函数以及噪声分布系数是影响图像复原的关键。因此,对光学系统的焦深扩展函数实施傅立叶变换[9],获取点扩散函数解析表达形式,过程如下式所示

(6)

式中,S(x)表示点扩散函数,Dk表示变换系数,δ表示相位因子。

获取退化图像后,依据点扩散函数以及Wiener滤波对退化图像实施复原。滤波过程的具体表述形式如下式所示

(7)

式中,φ表示聚焦图像的对比度调节系数,φ表示正则化系数,λ为常数,Bn表示图像矩阵,L表示拉格朗日算子,κ表示迭代次数,Z(x,y)表示图像退化函数,A(x,y)表示图像在频域中的最小均方误差,G(x,y)表示退化图像的傅立叶变换。

最后通过聚焦图像的复原结果,获取完整的聚焦图像。

3 一种多聚焦图像融合算法设计

3.1 图像超分辨率增强

双三次插值是典型的超分辨率方法[10],由于该方法能够有效平滑图像边缘,获取高清晰度像素,多被用于多聚焦图像融合中。利用双三次插值的超分辨率方法可以在重建图像像素点关系后,获取像素密集点,从而得到聚焦图像的高分辨率图像。设定聚焦图像的行像素位置为e,列像素位置为ι,图像像素值为Pij,以此建立图像的邻域矩阵,过程如下式所示

(8)

式中,J表示建立的图像邻域矩阵,he,ι表示像素点位置。

设定聚焦图像的超分辨因子为ςi,νj,结合邻域矩阵建立超分辨率矩阵,获取图像高分辨率块,过程如下式所示

(9)

式中,u表示超分辨率系数,ϖ(x,y)表示图像的高分辨率块,z(u*(·))表示最小整数,k表示平移位置,x、y表示像素的行、列位置信息。

3.2 图像融合流程的实现

获取超分辨率块图像后,设定图像的任意信号为R(t),以此获取图像分解[11]时的小波函数,过程如下式所示

(10)

式中,Q(a,b)表示小波函数,a表示伸缩因子,b表示平移因子,μa,b(t)表示平移伸缩结果,t表示信号当前状态。

基于上述分解结果,对聚焦源图像实施低通、高通滤波处理[12],获取图像各个方向的细节系数,结果如下式所示:

(11)

式中,c表示低通滤波,g表示高通滤波,C、Cj+1分别表示图像分解后第j级以及j+1级的低频系数,CGj+1表示图像分解的水平细节系数,GCj+1表示垂直细节系数,GGj+1表示信号的对角系数。

图像各项滤波系数提取完成后,将滤波系数直接在变换域实施融合处理,获取图像的变换系数,并开展小波逆变换[13]获取聚焦图像的融合图像,过程如下式所示

(12)

式中,c(x)、c(y)表示低通滤波器,g(x)、g(y)表示高通滤波器,q表示融合图像的垂直位置,p表示水平位置,L(j)表示聚焦图像融合后的细节信息,L(j-1)表示低频细小分量,G(j-1)表示图像的高频水平向量,V(j-1)表示高频垂直向量,D(j-1)表示对角向量。

根据上述处理结果,给出多聚焦图像的融合流程如下:

1)基于焦深扩展优化光学系统,获取聚焦图像,并使用滤波算法对退化聚焦图像展开计算,复原聚焦图像,获取完整的聚焦源图像。

2)对多聚焦源实施分解处理,建立邻域矩阵确定图像块具体行、列位置。

3)通过式(9)对图像块计算,通过计算结果获取源聚焦图像的高分辨率图像。

4)对高分辨率图像实施滤波处理,获取图像各个方向的细节系数。

5)对系数展开PCA分析,针对分析结果建立m维的独立向量,对数据实施降维处理,结果如下式所示

wi=σT(τi-ζ)

(13)

式中,ζ表示数据样本平均数,σT表示交换矩阵,τi表示系数独立向量,wi表示降维结果。

6)基于系数降维结果,构建协方差矩阵Xjz,获取图像的特征向量值Txl=|οi-Xjz|,其中,特征系数为οi,特征向量为Txl。

7)对特征值展开升序排列,并根据排列结果对图像细节系数更新处理。

8)最后将图像细节系数更新结果代入式(12)中,完成多聚焦图像的最终融合[14-16]。

4 实验

为了验证上述聚焦图像融合方法的整体有效性,需要对此方法测试。

4.1 实验数据与对比方法设置

实验所用图像均来自The MNIST Database数据库(http:∥yann.lecun.com/exdb/mnist/),为了保证实验结果的可信度,从主观与客观两个角度出发,测试不同方法的图像融合效果,并采用MATLAB软件对实验结果进行处理。实验中,分别采用基于焦深扩展的多聚焦图像融合算法研究(所提方法)、基于非下采样Shearlet变换耦合导向法则的多聚焦图像融合算法(文献[3]方法)、基于超像素级卷积神经网络的多聚焦图像融合算法(文献[4]方法)测试。

4.2 评价指标

为了测试所提方法、文献[3]方法以及文献[4]方法的图像融合性能,选取图像质量指标以及平均梯度作为客观评价指标,测试上述三种方法的融合性能。

图像质量指标指的是融合图像与源聚焦图像之间的偏差性。设定图像融合后的质量指标为Ψ,融合图像为υ(p,q),源图像为ω(p,q),指标计算流程如下式所示

(14)

式中,υ′表示融合图像均值,ευ表示标准差,ω′表示源图像均值,∂υω表示图像之间的协方差。

图像的平均梯度指的是图像融合后的细节表达能力,获取过程如下式所示

(15)

式中,Δp、Δq表示图像的一阶差分,M×N表示融合图像尺寸,Φ表示平均梯度值。

基于上述计算结果可知,聚焦图像完成融合后,图像质量指标值以及平均梯度测试结果越高,融合图像的融合质量就越高。

4.3 实验结果及分析

1)客观评价结果

依据上述测试指标检测所提方法、文献[3]方法以及文献[4]方法的图像融合性能,测试结果如图1、图2所示。

图1 不同融合方法的图像质量检测结果

图2 不同融合方法的图像平均梯度测试结果

分析图1和图2可知,所提方法检测出的图像质量以及图像平均梯度均高于文献[3]方法和文献[4]方法的测试结果。这主要是因为所提方法在图像融合前对聚焦图像中的退化图像实施了修复,所以所提方法在聚焦图像融合时,融合性能更好。

2)主观评价结果

基于上述测试结果,继续测试所提方法、文献[3]方法以及文献[4]方法的聚焦图像融合效果,图3为源聚焦图像,三种方法的融合测试结果如图4所示。

图3 源聚焦图像

图4 不同方法的聚焦图像融合效果测试结果

由图4可知,所提方法能够有效融合两张聚焦图像,融合后的图像边缘清晰,大量细节被保留,不存在模糊问题,而其它两种方法融合后,图像对比度、清晰度均受到了不同程度的影响,融合效果明显低于所提方法。

综上所述,使用所提方法开展聚焦图像融合时,该方法的融合性能和融合效果更好。

5 结束语

随着图像信息技术的广泛应用,图像的融合方法就变得尤为重要。针对传统图像融合方法存在的问题,提出基于焦深扩展的多聚焦图像融合算法研究。该方法通过对退化聚焦图像的修复,获取完整聚焦图像;使用图像分解方法获取图像各个细节系数;最后结合小波逆变换方法,实现多聚焦图像的融合。该方法由于在图像分解时,还存在些许问题,今后会针对该项缺陷继续优化该图像融合方法。