一种改进金字塔的多曝光HDR 图像生成方法

周燕琴，吕绪洋，朱雄泳

（广东第二师范学院计算机科学系，广州510303）

0 引言

随着时代的发展，人们对图像质量和视觉体验有着极致的追求和期待，进而要求呈现几乎接近于真实情景的图像。这就意味着图像需要更宽的动态范围，与人眼可视到的动态范围接近，从而引入HDR（Low Dynamic Rang）图像。HDR 图像最大特点是能够提供具临场感受的观影效果，能够正确地表示真实世界场景。

到目前为止，国内外对HDR 图像的研究已有20余年的历史，HDR 成像技术已成为计算机图形图像学科领域的研究热点问题之一。由于基于硬件设计搭建的HDR 成像系统[1-2]需花费高额成本，因此，越来越多的研究学者主要采用软件合成的方法来采集HDR图像。

普通数字图像传感器拍摄真实场景无法得到HDR 图像，同时单帧图像包含的真实场景信息量不够完整。但是，可以通过控制曝光技术对同一场景多次拍摄得到一组曝光程度不同的LDR 图像序列能较好地记录真实场景信息。从而可以通过提取不同曝光图像光线变化信息，并将这些信息融合在一起，便可最大程度的记录场景真实信息。

从多曝光LDR 图像序列中恢复出真实场景的HDR 图像的算法目前大致可以分为两类：第一类基于逆相机响应曲线色调映射的方法。Debevec 等人[3]提出了一种的通过曝光时间缩放辐照度来获得逆相机响应曲线的方法，这种方法需要求得辐射度图。Mitsunaga等人[4]采用多项式表示逆相机曲线的鲁棒方法，响应函数使用高阶多项式建模并且通过最大似然法计算多项式系数。这类方法存在操作难和算法复杂度高的缺点。

另一类则是目前比较流行的多曝光融合方法，利用同一场景不同曝光度的LDR 图像按照一定规则直接融合生成HDR 图像，较第一类方法融合技术复杂度低，效率更高一筹。Burt 和Adelson[5]首次提出金字塔模型，并应用于图像融合算法，取得比较好的效果。之后很多学者在这基础上进行了改进。Merterns 等人[6]提出基于拉普拉斯金字塔模型多曝光融合生成HDR 图像方法，选取图像对比度、饱和度和曝光度为可靠因子的加权融合生成HDR 图像，但是对细节边缘处理上出现细节模糊甚至边缘丢失的情况。随后，Wu 等人[7]提出基于最优块融合的HDR 图像生成方法，首先，对多曝光图像进行分块融合处理，然后利用三个信息测度因子（光照梯度因子、饱和度因子、适度曝光因子）进行选最优快，最后按照一定的融合规则融合像素块生成HDR 图像。融合结果发现最优块之间存在不连续现象，需要后续进一步消除不连续边界。因此，分块融合方法无形当中增加了算法的复杂度和运行时间。Zhang 等人[8]提出基于梯度方法实现图像的融合，该算法可消除图像“鬼影”，但是只对一某些特定的图像有效果。Shen 等人[9]提出基于随机游的多曝光融合算法，将图像局部对比度和颜色恒常性做概率计算，通过全局最优解得到目标图像。

因此，本文提出一种基于显著特征因子的改进金字塔技术的多曝光LDR 图像序列融合生成HDR 图像。金字塔融合算法是一种基于多尺度、多分辨率的融合的方法，针对不同分解层的不同频带上的特征和细节，采用不同的融合算子以达到突显特征的目的，实现不同图像特征和细节的无缝连接，被广泛应用到多曝光图像融合。本文改进金字塔融合算法思路，首先提取多曝光LDR 图像显著特征因子生成权重图；然后对待融合图像进行金字塔分解；最后金字塔融合得到图像细节增强的HDR 图像。

1 改进金字塔融合算法

为了解决直接融合生成图像出现拼接痕迹和边界不连续问题，本文构建了一种新的与人类视觉特性一致的金字塔模型。首先，将拍摄的一组多曝光LDR 图像序列去噪处理；其次提取特征因子对比度、色彩饱和度和曝光亮度并且赋予不同的权重值。为了减少由对比度通引起的局部光晕和泛灰的问题，提出自适应调整图像局部对比度。这样图像局部对比明显能起到增强图像对比度作用；再次将经过高斯金字塔分解的去噪图像序列矩阵与分解的加权图像序列矩阵进行叠加再相乘融合运算以达到增强图像细节和色彩信息的目的；最终对新一组子图层序列作拉普拉斯金字塔重构及逆变换得到增强的HDR 图像。

1.1 特征因子提取

为了合理评价待融合图像，做出以下几个方面考虑：第一，图像色彩是衡量一张图像质量的重要指标，色彩饱满能让你的画面更有内涵和吸引力。第二，人类视觉特性人眼观察到的细节信息的多少与亮度有直接关系，过曝光和欠曝光图像序列，同一块区域因受到的曝光程度不一样明暗差异比较大，太亮和太暗区域含的图像信息量很少，传递的边缘细节也是微乎其微。第三，当局部对比度过大会引起图像光晕，而局部对比度过小又会导致泛灰。同时还存在图像色彩偏移、不均衡等问题。

所以，综合来看本文最终引入了三个可靠特征因子分别是调整最优对比度、色彩饱和度和曝光度来提升图像色彩质量。计算多曝光LDR 图像每个像素点的三个质量度量值，并将生成的度量值图作为权重图。其中，设置自适应加权参数的原则是偏暗区域或偏亮区域赋予较小的权值，富含图像边缘和细节信息赋予较高的权值。

（1）对比度

因人类视觉系统对局部光线的变化较敏感，当局部对比度过大会引起图像产生光晕，而局部对比度过小又会导致泛灰现象。所以，这就需要合理调节对比度范围，使得局部对比度更明朗、图像质量更清晰。首先，需要将源图像fn转化为灰度图像gn，对灰度图像进行线性拉伸；然后对灰度图gn进行高斯滤波去除噪声得到平滑的图像，由式（1）来完成.

最后进行图像对比度拉伸是通过式（2）实现图像自适应调整最佳局部对比度动态范围拉伸。

（2）色彩饱和度

色彩饱和度反映了彩色图像在颜色层面的表现力。所以，本文引入RGB 通道数据计算像素点的色彩质量度量值。分别计算出输入源图像序列fn的颜色通过R、G、B 通道数据fnR、fnG、fnB，并记录下来，求出三类通道数据的平均值fnavg。

再计算通道数据的标准Sn作为图像色彩饱和度特征因子权值，如下式（4）所示。

（3）曝光亮度

多曝光LDR 图像序列中存在不同程度的曝光区域，其中包括过曝光、适度曝光和欠曝光。考虑到过曝光区域和欠曝光区域含的信息量较少，而适度曝光区域信息量比较丰富，所以利用高斯数学模型如式（5）、（6）为图像R、G、B 三个通道的每一个像素点分配权重。

为了防止过亮和过暗像素点对融合产生干扰，最后由式（7）完成归一化处理。

其中，CnR表示像素点在R 通道分配权值；同理通过式（6）计算得到另外两个通道权值CnG、CnB，Cn表示图像曝光亮度特征因子权值；高斯方程的标准差δ=0.25。为了避免受到某种顽固像素点的影响，本文通过设置判断阈值t 进行筛查，当0

本文从不同角度选取特征因子，将对比度权值、色彩饱和度权值、曝光亮度权值相乘得到，如式（8）所示。

其中N=3，同时为了避免出现分母为零的情况，特取一个很小的非零值ε=10-10。

1.2 融合权重

首先建立高斯金字塔，高斯金字塔模型搭建原则是从金字塔的第Gl层向第Gl+1层以面积递减的方式逐层生成，卷积核遍历图像运算一次生成新图像面积减少。在文献[10]中使用5*5 卷积核对每个像素需要计算24 次加法、25 次乘法和25 次位移操作，每个像素一次卷积运算量大约需经过74 次计算。本文在保证融合质量的前提下，提出改进卷积核来降低运算复杂度，提高运算速度。因此，本文设计一个3*3 卷积核w(m,n)对G0进行卷积运算，如式（10）所示：

其每一个像素点的运算量为8 次加法、9 次乘法和9 次位移，相当于一个像素一次遍历运算量减少了48次计算，这意味着在很大程度降低了运算量。

然后，每遍历结束一次便删除所有的偶数列和偶数行对图像进行向上采样，依次得到新图像层。其构建公式如式（11）所示：

最后分解成由下至上分辨率逐层递减的高斯金字塔图像层G0,G1,G2,…,GN。本文先对多曝光LDR 图像序列进行去噪预处理，之后分别对去噪图像序列和去噪图像的加权参数图像序列一一高斯金字塔分解，并将分解后对应子图层进行叠加运算，得到的三组新高斯金字塔子层分别相乘，最后得到一组由组成的新子图层作拉普拉斯金字塔重构运算，这样做的目的是增强图像细节和边缘信息。

实际上拉普拉斯重建过程就是高斯金字塔分解过程的反向操作过程。首先对高斯金字塔顶层图像每个维度扩大为一倍，对新增的行和列以0 填充；然后重建过程中使用的是如式（12）。

改进后的拉普拉斯金字塔公式（13）如下所示：

得到一组由LP0,LP1,LP2,…,LPN构成的拉普拉斯金字塔分解边缘特征图。以上是金字塔分解过程，接下来最关键的一步HDR 图像生成目标函数公式如下：

改进金字塔融合算法首先根据去噪后的LDR 图像序列显著特征生成权重图；然后分别对去燥图像和权重图像进行高斯分解，将分解后对应子层融合得到高斯分解图像；最后对高斯金字塔图像做拉普拉斯逆变换得到融合后的HDR 图像，图1 为改进金字塔融合算法流程示意图。

图1 改进算法流程图

2 仿真分析

本文仿真实验在MALAB 平台进行，平台配置是Intel Core i5-8400 CPU，16GB 内存。本文选取的测试图片来源于文献[11-12]提供的多曝光LDR 序列图像，共取三十组多曝光LDR（有过曝光、适中曝光、欠曝光）图像序列作为测试图像。本文分别从主观和客观两方面进行评价。为突显本文算法的实验效果，与目前一些主流的算法相比较生成效果图，人眼直接观察判断算法优劣。由于文章篇幅有限，因此从实验结果中随机抽取三组予以展示，图像大小分别为390×280、640×520、1024×600。由于无法直接展示HDR 效果图，本文所有对比实验是基于一种亮度可控与细节保持的高动态范围图像色调映射方法[11]。

第一组中对比实验：Wu 等人[12]提出多曝光图像进行分块的图像融合方法，从不同的曝光图像中选取信息最大的信息块，对选取的最大信息块利用一定的融合函数进行融合，其实验结果如图2 所示。总体上，基于分块的融合算法生成的HDR 图像有较好的高动态特征，但是仔细看可发现像素块间存在着严重的边缘效应和块效应，有明显的不自然连接，图中用红色边框标明，且呈现一定的光晕感，图中用绿色边款标明。分析产生主要原因有两部分，一是图像分块之后的后续融合处理不够准确，二是无法自适应光照变化。

图2 两种不同算法生成HDR图像

从两种算法的实验细节效果对比图可以看出，本文算法在细节处理效果明显优于基于分块融合算法。如图3 两种算法细节对比图。

图3 两种算法细节对比图

第二组中对比实验：Han 等人[13]提出基于梯度金字塔融合生成HDR 图像方法，利用梯度可提供图像方向信息和边缘信息进行多曝光LDR 图像融合。实验结果如图4 所示。基于梯度生成的HDR 图像存在一定程度的泛灰（如椅子周围）、光晕（窗台和窗帘）现象，图中用红色边框标明。分析细节丢失最主要的原因是多像素融合过程中产生梯度反转所导致。然而，本文算法生成HDR 图像中原本过亮区域明显变较暗、过暗区域变较亮，图像色彩更均匀，边缘信息也得到增强，其更接近于真实场景动态范围特性。

图4 两种不同算法生成HDR图像

第三组中对比实验：Xia 等人[14]提出基于YUV 空间的HDR 图像生成算法，其实验结果如图5 所示，基于YUV 空间的HDR 图像颜色变现力较弱，色彩存在偏离，色彩表现力不够真实，图中用绿色边框标明。图像区域细节信息较模糊如图中玩具熊领结部位，甚至大面积的细节并未呈现出来如原本的真实物体在图像上一片漆黑，图中用红色边框标明。

图5 两种不同算法生成HDR图像

如图6 两种算法细节放大效果对比图，左列基于YUV 空间放大细节，右列本文算法细节图。本文提出算法生成的HDR 图像能很好的避免颜色偏离，图像色彩表现更接近现实场景，且符合人眼视觉特性，图像细节信息保留的更多。

图6 两种算法细节对比图

为了更客观评价算法的优越性，本文采用DRIM（Dynamic Range Independent Image Quality Metric）[15]评估软件来进行HDR 图像质量的评价，该软件会生成一帧由红色、绿色、蓝色及灰色像素四种颜色组成的图像。其中红色部分代表对比度反转，绿色部分代表对比度丢失，蓝色部分代表对比度增强，灰色部分代表对比度无变化。如图7 为DRIM 软件生成图像色彩分布的统计图。第一实验组是用10 组LDR 数据分别依次输入文献[12]基于分块融合算法和本文算法，再对输出结果进行比较。第二实验组和第三实验组和第一实验组做法相同，只是输入了不同的10 组LDR 数据和对比的算法变化上的不同。表1 为不同分辨率图像仿真运行时间。

图7 DRIM软件生成图像色彩分布的统计图

表1 各算法对不同大小图像生成HDR 图像运行时间

通过实验，比较数据可以看出，本文提出算法生成融合图像对比度反转和对比度丢失率比较小，而对比度增强面积较大。从表中数据，可以发现基于分块融合算法耗时最长，分块步骤比较繁琐，算法有一定的计算复杂度，导致执行时间较长。相比较其他两种算法，本文算法鲁棒性强，很大程度上减少了计算量，提高了算法运算速度。

3 结语

本文提出一种新的生成HDR 图像算法，首先提取多曝光LDR 图像序列的显著特征，选取图像对比度、彩色饱和度、曝光亮度三个测度因子作为显著特征生成加权图，然后分别对源图像和生成的加权图进行高斯金字塔分解，对应子图层相乘得到一组新子图层，最后对新子图层作拉普拉斯逆变换生成HDR 图像。本文通过改进金字塔技术解决了图像细节模糊的问题，将对比度动态范围拉伸解决了图像对比度反转，色彩饱和更符合人眼的直观视觉等特点，为了提高算法的运算速率设计一个简单高效卷积核进行卷积运算，大大降低了运算的复杂度。应用改进金字塔融合技术最大限度获得场景完整信息。