基于高斯拉普拉斯算子的多聚焦图像融合

毛义坪 马茂源

(重庆师范大学计算机与信息科学学院 重庆 401331)

0 引 言

近年来，图像融合成为了图像处理的一个特别重要的子领域，同时也是研究者们的热点课题[1]。图像融合是将同一场景的两幅或者多幅附带不同信息图像融合成一幅图像的过程。融合后的图像比原始单个图像包含更多的信息，及融合后的图像具有每个原始图像的能量。由于视觉成像的相机景深是有限的，所以不能完美地使相机成像里的每个部分都聚焦。因此只要相机聚焦了某个点，相应的其他部分就不能聚焦。不在聚焦范围内的部分给人的感觉就是模糊不清的。多聚焦图像融合技术就是研究这样的实际的问题，目的是使图像的每个部分清楚。在此技术上，同一场景的每个原始图像聚焦点不同。同时，多聚焦图像融合技术也是图像融合技术的一个子块，大多数多聚焦图像融合算法简单修改或不改也可以用到其他的图像融合上。比如，红外与可见光图像融合、多模态医学图像融合等。反之亦然。从某角度讲，研究多聚焦融合是图像处理中比较热门的问题。

几十年来，研究者们提出了很多图像融合的可行方法，简单地可以分为两类，即变换域法和空域法[2]。最早提出图像融合的变换域法是基于多尺度分解(multi-scale transform，MST)的算法。其中最早基于拉普拉斯金字塔变换[3]的方法已经提出三十多年的历史。其他经典的基于多尺度变换方法也相继提了出来，如：基于离散小波的方法(discrete wavelet transform，DWT)[4]、基于双树复小波方法[5]。在高维情况下，小波分析不能充分利用数据本身的几何特性，不能用最优的或最稀疏的函数去表示信号，不具有平移不变性。因此，二十世纪后学者们提出了多尺度几何分析(multi-scale geometric analysis，MGA)，目的是发展最新最优的高维信号表示法。该方法也应用到了图像融合领域。2007年，Nencini等[6]提出基于曲波图像融合方法；2009年，Zhang等[7]提出了基于无下采样轮廓波方法。通常上述基于多尺度分析方法一般有三个步骤：变换图像、融合系数、反变换重组图像[8]。一般被变换后的图像分为高频系数和低频系数，低频是对原始图像的近似，高频是图像的细节。除了分解方法以外，系数融合也对融合质量好坏有比较大的影响。在大多数的基于多尺度分解的方法中，系数的融合规则是高频取绝对值最大，低频取均值。

近几年来，学者提出了一种新的基于变换域的方法[9-11]，并且迅速成为了图像融合领域热门方法。与多尺度分析方法不同的是，此方法利用比较先进的信号表示理论把原始图像变换成单一尺度特征空间，如独立成分分析理论、稀疏表示理论(sparse representation，SR)。为了保证融合图像结果的平移不变性，此类方法通常会用到滑动窗口技术。最重要的问题是探索最有效的特征域来表示图像的高频信息。基于稀疏表示理论[10]的图像融合技术就是把图像块映射到稀疏领域，用稀疏系数的L0范数来表示图像块的重要信息。自从2010年基于稀疏表示的方法提出，很多研究者对其十分感兴趣，纷纷提出一些新的或改进的算法。有些是改进求稀疏解的算法，如正交匹配追踪[12]，有些是改进字典的方法，如，Yin[13]提出基于多尺度学习字典的方法。组成一个好的字典是融合质量的关键。为了提高字典的有效性，Kim[14]提出了基于局部块字典的方法。由于局部块字典是直接提取于源图像，难免有些冗余和相应的效应。为了降低字典的冗余度提高相应的紧凑性。2016年，Kim等[15]提出了基于联合块聚类的学习字典，其原理是先对原始图像块聚类(水平边缘、垂直边缘、平坦边缘)分别组成一个子字典，然后对子字典组成的母字典用PCA分析法进行分析，最终得到一个紧凑的字典。此方法比以前的字典效率明显提高。更多基于稀疏表示的方法可以参考文献[16]。

空域法图像融合方法是基于图像空域来处理的，不用对图像进行某种转换或映射到其他空间的形式。最简单的空域法就是均值法，把原始图像对应像素点相加除以原始融合图像的数目。当然这样的方法会丢失很多细节。早期空域法是把图像分块，然后比较原始图像对应位置的聚焦程度，聚焦值大的块作为融合图像的相应块。以此类推，比较所有原始块。聚焦程度一般采用空间频率、拉普拉斯算子和、方差等表示[17]。此类方法对融合结果有较大的影响，比如遇到复杂图像，不能良好地区分到底哪块是聚焦图像块，而且很容易引入块效应。由于手动分块会产生上述问题，Aslantas等[18]提出了采用差分进化算法自适应分块算法，弥补了手动分块算法的不足。相应的还有基于形态学的四叉树结构聚焦检测法[19]，它能灵活地选择原始图像块，比原始手工分块的融合效果提高了不少。其他类型的空域法是基于图像的分割[20]。分割方法与基于分块法的道理类似，只是融合结果对分割精度的依赖性比较高，即要求尽量清楚分割聚焦区与非聚焦区域。2015年，Liu等[21]提出了基于DSIFT(Dense scale invariant features transform)的多聚焦图像融合，其融合方法是用DSIFT对原图做活跃程度度量，结合滑动窗口技术和一定策略形成决策图，最后通过加权融合得到融合图像。该算法克服了块效应和一些传统算法的缺点，得到了很好的融合效果。

上述基于多尺度分析方法中，由于低频按平均值来融合，所以结果图像对比度很容易降低，相应的低频信息就丢失了。基于稀疏表示的方法中，字典一般情况表达能力不足，相应的融合图像的纹理易丢失，且此方法时间复杂度较高，不能用到实时项目中。早期空域法是通过分块或基于图像分割，可能引起块效应果区域模糊。为了克服这些问题，本文提出基于高斯拉普拉斯算子(LOG)的多聚焦融合算法。首先利用高斯拉普拉斯算子度量原始图像的活跃度；为了不引入块效应，采用滑动窗口技术得到决策图；最后通过决策图对原始图像加权的方式得到融合图像。实验结果验证了其有效性。

1 高斯拉普拉斯算子理论

在图像处理中，高斯拉普拉斯算子主要作为边缘检测之一，对噪声与离散点的图像有一定的鲁棒性。如果图像聚焦，图像中的边缘即那些灰度发生跳变的区域就会更亮，所以把高斯拉普拉斯算子应用在度量图像活跃程度中。

高斯卷积函数定义为：

(1)

原图像f(x,y)与高斯卷积可以定义为：

Δ|Gσ(x,y)*f(x,y)|=|ΔGσ(x,y)|*f(x,y)=

LOG*f(x,y)

(2)

LOG可以通过先对高斯函数进行偏导操作，然后进行卷积求解，公式表示为：

(3)

(4)

因此LOG核函数定义为：

(5)

为了编程方便，高斯拉普拉斯模板如图1所示。

图1 高斯拉普拉斯模板

2 算法描述

2.1 聚焦程度度量

由于高斯拉普拉斯算子在图像中的边缘即那些灰度发生跳变的区域十分敏感，于是将其应用到多聚焦图像融合中，用于度量图像活跃程度。块内绝对值越大，证明图像越活跃。

这里以融合两幅图像为例，多幅图像可以以此类推。(1) 首先对原始图像O1进行高斯拉普拉斯算子变换，得到高斯拉普拉斯算子变换矩阵O11。(2) 取O11矩阵的绝对值，得到|O11|。(3) 最后|O11|为聚焦度量图A1。同理，对原始图像O2操作得到其图像的聚焦度量图A2。然后通过一定策略比较聚焦度量图得到决策图。

2.2 决策图形成

文献[21]提出了借助滑动窗口技术比较度量图法。单独像素点的比较容易受奇异点的影响，为了进一步提高图像区域的聚焦度量，采用分块与滑动窗口配合法。比较聚焦度量图A1、A2相同坐标的块，块内所有值之和大的，相应的得分图区域+1，最终通过得分图来形成决策图。具体形成过程如下：

图2 聚焦得分示意图

(3) 根据聚焦得分图M1、M2，可以把原始图像对应像素分为聚焦、散焦、不确定。对于原始图O1像，分类规则为：

(6)

对于原始图像O2，分类规则为：

(7)

对于上述分类规则，O1(x,y)、O2(x,y)、M1(x,y)、M2(x,y)表示为对应的像素点。为了严谨，只有同时满足M1得分和M2不得分的情况下O1(x,y)才聚焦，O2(x,y)同理，否则为不确定。

然后对聚焦像素赋值1，对不聚焦或者不确定的赋值为0，由于图像复杂且不确定，赋值后的聚焦图会出现一些小洞，然后用MATLAB自带函数(bwareaopen)修复小洞。

于是按照上面的分类标准得到融合决策图：

(8)

2.3 图像融合

通过上面的决策图规则得到决策图，决策图只含三个值1、0、0.5。最后得到融合图像策略如下：

F(x,y)=D(x,y)O1(x,y)+(1-D(x,y))O2(x,y)

(9)

3 实 验

3.1 实验参数设置

实验比较了近三年提出的基于结合多尺度分析、稀疏表示法(MST_SR)[22]和卷积稀疏表示法(Convolutional Sparse Representation，CSR)[23]。在文献[22]中，多尺度分解用的拉普拉斯金字塔，字典大小256，用的是正交匹配追踪算法求稀疏系数。具体参数见文献[24]。仿真计算机参数为Inter(R)Core(TM)i5-3210M CPU@2.5 GHz,内存4 GB，软件为MATLAB 2014a。

3.2 评价指标

(1) 峰值信噪比(Peak signal-to-noise ratio，PSNR)。

PSNR是信号可能的最大功率与影响信号表示精度破坏性噪音功率之间的比值。PSNR的值越大证明信号保持度越好。其表达式为：

(10)

式中：MAX是信号的最大可能功率，MSE表示均方误差，即各数据的误差平方的平均数。

(2) 互信息量(Mutual Information，MI)。

MI[25]的定义是输入和输出后的信息互相包含的总和量，数值越大证明输入输出的交互信息越多，融合效果越好。其定义公式为：

(11)

式中：PX(x)表示信息X的边缘概率密度，PY(y)表示信息Y的边缘概率密度，PXY(xy)表示两个信息量X、Y的联合概率密度，MIXY(xy)即为X、Y两信息的互信息量。

(3) 梯度相关指标QAB/F。

QAB/F[26]是一个常用的图像融合评价指标，原理是基于梯度信息的，一般用于检测原始图像到处理后图像之间梯度信息保留的程度。定义是：

(12)

3.3 实验结果分析

实验选取了几对不确定聚焦图像进行测试，如图3所示[27]。

(c) clock (d) pepsi图3 原始多聚焦图像

图3(a)中，左图是近景对焦，右图是远景对焦，左图书架看起来模糊，时钟看起来清晰，右图恰好相反。图3(b)中，左图近景聚焦，图像里人物就没有聚焦，看起来十分模糊。图3(c)、(d)与(a)、(b)差不多，都是部分清晰，即图像部分对焦其他区域散焦。

融合后的图像如图4-图7所示。融合图像从视觉上看，在图像边缘处，LOG算法优于其他算法，原因是在正确判断图像聚焦区域下，LOG算法融合结果就是源图像本身，这样就不会出现失真或边缘模糊。然而多尺度算法因采样方式或融合策略(比如，高频取最大绝对值，低频取平均值)可能会丢失较多信息。稀疏表示因字典表达能力不足，使边缘或纹理出现模糊现象。LPFOG算法也可能出现判断聚焦区域失败而导致平均化失真。

图4 “clock”三方法融合结果

图5 “lab”三方法融合结果

图6 “clocks”三方法融合结果

图7 “pepsi”三方法融合结果

“clock”图像融合指标结果如表1所示，可以看出，对于第一个指标PSNR，MST_SR算法融合结果略优于LOG算法。但从其他指标可以看出，LOG算法都优于其他算法。尤其是MI指标，明显优于其他算法。表2“lab”融合指标结果与表1有些类似，在PSNR指标中，都是MST_SR融合算法略高一些，其他指标均是提出的LOG表现最好。

表1 “clock”图像融合指标

表2 “lab”图像融合指标

表3中列出的是“clocks”图像融合结果。从结果上看，提出的LOG算法都优于对比算法。相对来说，基于卷积的稀疏表示法在PSNR指标中效果次于其他算法。“pepsi”原始图像融合结果如表4所示。其融合指标结果也是全部优于比较算法。MST_SR算法与提出的LPF算法在QAB/F指标上比较接近，但提出算法还是略高MST_SR算法。

表3 “clocks”图像融合指标

表4 “pepsi”图像融合指标

由于图像的不确定性与复杂性，在PSNR指标中，基于多尺度与稀疏表示算法指标在前两对测试图像上稍微高于提出的LPF算法，但总体看，提出的基于LOG算法优于MST-SR和CSR算法。

4 结 语

根据高斯拉普拉斯算子，对图像进行掩膜卷积计算。将计算结果绝对值作为聚焦度量图，然后用滑动窗口对聚焦度量图打分，进行一定的策略得到决策图，最后对决策图乘以相应的权重，得到融合图像。本算法通过判断是否为聚焦区域来划分，如果判断是聚焦区域，就把此区域划为最终融合结果。这样得到的融合区域是原始图像，即没有对原始图像采样或某种近似表达，质量是非常好的。所以不论从主观还是客观评价指标上看，基于高斯拉普拉斯算子算法效果优于传统的算法。本算法主要核心是判断图像聚焦区域，类似于划分聚焦于散焦的分界线。如果可以准确划分聚焦区域，融合质量自然理想，如何又快又好划分聚焦区域是要继续研究探讨的问题。