基于光照估计的夜间图像去雾

方 帅,赵育坤,李心科,刘永进,揭斐然

(1.合肥工业大学计算机与信息学院,安徽合肥 230009;2.光电控制技术重点实验室,河南洛阳471023)



基于光照估计的夜间图像去雾

方 帅1,2,赵育坤1,李心科1,刘永进2,揭斐然2

(1.合肥工业大学计算机与信息学院,安徽合肥 230009;2.光电控制技术重点实验室,河南洛阳471023)

相对白天雾天图像,夜晚雾天图像具有整体亮度低、光照不均匀、偏色等特点,因此去雾难度大。本文从夜间雾天成像规律出发,提出了基于光照估计的夜间图像去雾算法。针对光照不均匀问题,通过估计光照图来去除不均匀光照的影响;针对目前白天去雾算法假设不适用于夜晚图像问题,提出基于信息熵的传输图粗估计的方法;针对颜色失真问题,通过统计光源区域的颜色属性来进行颜色校正。实验结果表明,本文算法能够有效的去除不均匀光照影响,提高图像对比度,改善图像视觉效果。

光照估计;去雾;颜色恒常性

1 引言

在雾、霾等天气条件下拍摄的户外图像,由于受到大气悬浮粒子的吸收和散射作用会产生对比度下降、颜色失真等退化现象。这些退化严重影响着户外视觉系统的发挥,如监控系统、目标识别、遥感监测等.

目前雾天图像复原研究取得了显著的成果,根据图像数量,可以分为基于多幅图像的去雾算法[1～5]和基于单幅图像的去雾算法[6～10].多幅图像的去雾算法主要包括基于不同天气条件的图像去雾[1,2]和基于偏振的图像去雾[3～5],该类方法由于图像获取困难而难以得到实际应用.典型的单幅图像去雾算法包括:Tan[6]基于局部对比度最大化和领域像素具有相同退化的假设进行去雾;Fattal[7]使用独立成分分析(ICA)的方法,考虑介质传输(medium transmission)与物体表面阴影(surface shading)具有局部区域统计不相关性来进行去雾;He[8]通过统计无雾图片发现暗原色先验的规律,提出基于暗原色先验的去雾方法.单幅雾天图像复原是一个不适定性问题,通过添加先验假设,帮助问题求解,但是当假设不成立时方法失效.另外,以上算法都是针对白天场景的去雾算法,认为大气光是均匀的,这对于夜晚图像并不成立.夜晚图像受光源影响,离光源近的区域光照充足,反之,光照不足,因此,夜晚图像光照不均匀.另外,有色光源还会导致图像的颜色失真问题.而且夜晚图像通常伴随着整体亮度低、对比度低、噪声大等特点,因此夜间图像去雾难度更大.

近年来,有一些研究者开始关注夜间图像去雾,并提出了一些有效的算法.Pei[11]先通过统计校正对原图进行颜色转换,然后利用一种改进的暗原色先验进行去雾.Zhang[12]先使用Retinex算法[13]估计并增强入射光强度,然后通过估计入射光的颜色属性来进行颜色校正,最后利用暗原色先验进行去雾.这些方法都取得了不错的效果,但是它们都是通过暗原色先验进行去雾.对于夜晚图像而言,光源区域不存在近似黑体,而其它区域的暗原色可能是由于光照不足引起的,因此,暗原色先验在夜间图像上是不成立的.

针对当前算法的不足,本文从夜间雾天图像的成像规律着手提出了基于光照估计的夜间图像去雾算法.针对光照不均匀问题,通过估计光照图来去除不均匀光照的影响;针对目前各类假设不适用于夜晚图像问题,提出基于信息熵的传输图粗估计的方法;针对颜色失真问题,通过统计光源区域的颜色属性来进行颜色校正.实验结果表明,本文算法取得了较好的去雾结果.

2 光学模型

文献[4～8]提出的雾天成像模型,被广泛应用于计算机视觉领域,描述如下:

(1)

(2)

(3)

3 去雾算法

3.1 算法框架

图1给出了本文算法的流程图,主要包含以下三个步骤:步骤1:分割光源区域,估计传输图;步骤2:估计光照图,并通过光照图对原图进行光照补偿;步骤3:对光照补偿的结果进行去雾和颜色校正.

3.2 光源区域检测

夜晚图像中的光源区域与其它区域相比,其亮度信息格外突出,因此本文从亮度信息着手分割光源区域.Ostu提出的最大类间方差法[14]基于分割出的目标与背景之间的方差应最大的思想确定分割阈值,适用于直方图是双峰分布的图像.由于夜晚图像光源区域在图像中所占的比例较小,因此,其直方图是单峰或近似单峰分布.为此,本文利用改进的Ostu算法,即多层阈值法实现适用于夜晚图像的光源分割.

假设由k个阈值组成的阈值集T={t1,t2,…,tk}将原图分割成k+1类:C0={0,1,…,t1},…,Cn={tn+1,tn+2,…,tn+1},…,Ck={tk+1,tk+2,…,L-1},其中L指原图I的灰度级,灰度图的灰度级为256.vbc和vwc分别表示类间方差和类内方差,其表达式为:

(4)

(5)

其中,μT表示原图I的像素均值,μn、σn和wn分别表示类Cn的像素均值、标准差和累积概率.定义一个可分因子S实现光源的自动分割.

(6)

其中,vT表示原图I的总方差.S的取值范围为0≤S≤1,且S越接近1,其分割结果越理想.在实际求解的过程中通过类内方差最小化来实现可分因子最大化,即找出类内方差最大的类,利用Ostu算法进行阈值划分,直到满足可分因子S大于0.9.

3.3 估计光照图

在夜晚场景中,环境光照主要来自人造光源,如路灯、车灯、建筑物里的灯光等,并呈现从光源处向四周扩散并衰减的趋势.根据Bouygues的指数衰减规律,Li可以表示为:

(7)

其中,P0表示光源处的亮度值,D表示光源区域,ri表示i坐标处的目标与光源的距离.用dl和di分别表示相机与光源l的距离、相机与i处目标的距离.ri、dl和di之间的几何关系如图2所示,θ表示相机关于光源和目标之间的夹角.根据余弦定理,可有如下描述:

(8)

对于广泛应用的标准相机来说视场角为30度左右,也就是在极端的情况下,目标和光源分别在视场的两端,角度θ才会接近30度(cos30°=0.866),而大部分情况角度θ远小于30度(当θ<25°时,cosθ>0.9),如果是长焦镜头,视场角会更小.基于以上分析,也为了便于后面的计算,这里采用小角度近似,即取cosθ=1,将目标与光源的距离近似表示为下式:

r=|dl-d|

(9)

将式(9)代入式(7):

(10)

观察公式(10),可以看出光照图Li与传输图ti=e-βdi是相关的.因此,可以通过估计传输图来计算光照图.通过公式(11)可以分别估计各个光源对夜间图像的影响,第l个光源的光照图Lli(i∉Dl)的表达式为:

(11)

其中,Pl0表示第l个光源的亮度,ti和tli分别表示目标和光源的t值.Pl0通过在原图上统计第l个光源区域获得,根据3.4节,ti和tli能够被估计.因此,能够获得每个光源的光照图Lli,而总的光照图Li通过将每个光源的光照图按一定的权重叠加起来获得:

(12)

其中,wl表示第l个光照图的权重,通过该光源区域Dl在总光源区域D所占的像素比例确定.

3.4 修正光照图

通过上一节求得的光照图,除了估计误差外,还存在以下两个问题:(1)可能存在相机未拍摄到的光源也会对场景的光照产生影响,而由于这些光源不在图像中,所以无法通过光源检测估计其影响.(2)场景中存在遮挡现象,即光源发出的光无法到达被遮挡的区域.如图3(b)所示,绿色边框区域由于受到未拍摄到的光源的影响应较亮,红色边框区域由于被遮挡应较暗,而通过上一节求得的光照图(图3(c))在绿色边框区域较暗,红色边框区域较亮.

(13)

(14)

3.5 估计传输图

传输图的估计对雾天图像复原是至关重要的,但是由于夜晚雾天图像的特殊性,目前优秀的白天雾天图像复原算法提出的假设并不能直接应用.为此,本文在分析夜晚雾天成像特点的基础上,提出一种新的传输图估计策略.

文献[10]提出雾天图像对比度低,去雾后图像尽量保证对比度的提高;另外,对比度的增强,可能导致复原的部分像素值超出[0 255],从而发生颜色剪裁,导致信息的损失.对于对比度增强约束,文献[10]提出用方差或最大最小值差比表示图像对比度,但是它们对噪声非常敏感,夜晚图像含有大量的噪声,这会导致对传输图估计不准确,并且复原伴随着噪声放大,严重影响复原结果;对于信息量保持约束,文献[10]针对白天雾天图像,大气光A是个固定值,因此,传输图t值决定输入像素的合理范围,而夜晚雾天图像而言,大气光是局部变化的,因此文献[10]的信息损失表达并不适用于本文.由于受文献[10]启发,本文也从图像对比度增强和信息量保持两个方面考虑,构造合理的目标函数.

为了便于后面描述,根据公式(1)写出去雾图像的表达:

(15)

(16)

(17)

(18)

实际求解过程是按固定的窗口大小将原图划分成很多个不重叠的子区域,通过假设每个局部区域的深度是一致的,则每个局部区域的传输率也是一致的.将每个子区域的t值从0.1逐步增加到1,通过公式(17)统计每个t值对应的信息熵指标,通过最大化每个局部区域的信息熵可以估计局部区域的传输图.

3.6 颜色校正

夜间图像由于受到有色光源的影响,会产生颜色偏差,因此本文算法最后对复原结果进行颜色校正.由于光源已经包含在图像中,并且根据3.2节,光源区域可以估计得到,只要从复原图像中统计光源区域即可得到光照色度,从而进行颜色校正.但光源区域往往由于光线强度范围超过相机传感器的捕获范围,而产生过曝光现象,导致光源区域的真实像素值丢失,从而无法用以统计光照色度.

文献[16]基于图像局部平滑假设,认为局部领域内的像素点各颜色通道之间的比率和像素值应近似相等,利用临近像素点来近似估计过曝光像素点的真实像素值.因此,本文利用文献[16]提出的过曝光恢复算法恢复光源区域的真实像素值.从图4的光源区域,可以观察到,在原图(图4(a))和去雾图像(图4(b))中过曝光的光源区域得到了校正(图4(c)),校正后光源区域的颜色能够正确反映光源的色度.光源的真实像素值恢复后,通过统计光源区域得到光照色度:

(19)

计算出光照色度后,采用常用的对角变换[17]将未知光源下的复原图像校正到标准光源下.图4(d)是颜色校正的结果.

4 实验结果

4.1 本文算法结果

为了验证本文算法的有效性,从图片分享网站Flickr和文献[12]中分别收集了一幅夜间雾天图像,图5给出了这两幅图像的实验结果,实验中光源检测阈值取0.9,窗口大小取10*10,修正光照图的阈值取th=0.4,μ0=0.5.从修正后的传输图(图5(d))和修正后的光照图(图5(f))可以看出,相对粗糙的传输图(图5(c))和粗糙的光照图(图5(e)),校正了一些错误,在变化趋势上更加正确,去雾结果(图5(g))和颜色校正结果(图5(h))也取得了很好的视觉效果.

4.2 主观评价分析

为了进一步说明本文算法的有效性,从图片分享网站Flickr上收集了五张代表性的图片进行测试,分别为:“Bridge”、“Street” 、“Bus”、“Pavilion”和“Alley”对应于图6中的场景1至场景5,其中“Bus”和“Pavilion”分别是文献[11]和文献[12]中的原图.

本文实验结果与He、Pei、Zhang的对比结果如图6所示.从图中可以看出,He的结果整体亮度比较低、颜色失真,这是由于均匀光照条件下(白天)的去雾算法并不能直接适用于夜间图像去雾.Pei的实验结果在整体亮度和对比度上有所提高,细节得以显现,但该方法是以一幅目标图为标准进行颜色转换的,目标图的选取会对最终的复原结果造成影响.相比于前两种方法,Zhang和本文的实验结果在整体亮度、对比度和细节方面有很大的提高,同时进行了颜色校正改善了图像的视觉效果.而本文实验结果与Zhang的实验结果相比,保留了更多的细节信息.因此,本文算法能够有效的处理夜间雾天图像.

4.3 客观评价分析

由于本文没有真实图像,因此采用无参考的自然图像质量评价算法(NIQE)[18]来定量的评价最终结果的好坏.NIQE算法是通过采集所有对图像质量敏感的特征,并把这些特征拟合成一个多元高斯(MVG)模型.这些特征是通过自然场景统计(NSS)模型即归一化的局部亮度系数得到,在文献[19]中作者详细分析了选取的36个特征.作者指出自然图像归一化后的亮度系数近似的满足类高斯分布,而发生失真(不针对任何特定的失真类型)的图像不满足这种分布.因此,对于给定的一幅测试图像的质量可以简单的表示为测试图像的MVG模型和自然图像MVG模型之间的距离.自然图像的MVG模型通过统计图像库中大量的自然图像得到.因此求取测试图像质量的公式可表示为:

(20)

其中v1,v2和Σ1,Σ2分别表示自然图像和退化图像MVG模型中的均值向量和协方差矩阵.

表1给出了NIQE算法的评价结果,表中的值代表测试图像和自然图像的MVG模型间的距离,故值越小表示测试图像越接近自然图像,即值越小图像质量越高.结果表明本文算法的实验结果通常具有更高的视觉质量.

表1 复原结果图的视觉质量对比

5 结论

本文针对当前夜间图像去雾算法的不足,从夜间雾天图像的成像规律着手提出了基于光照估计的夜间图像去雾算法.本文算法和现有的夜间图像去雾算法主要的不同点是本文通过估计光照图来去除不均匀光照的影响,并且本文避免使用暗原色先验,提出了适用于夜间雾天图像的传输图估计方法.在实验分析部分给出了本文算法的主观和客观评价结果,从两个方面说明了本文算法的处理结果具有更好的视觉质量.

本文算法也有一定的局限性.主要体现在本文的模型和当前所有的基于模型的方法一样都是假设散射介质是均匀的,这在某些特殊情况下并不成立.同时本文采用的颜色校正方法是基于单色光源的颜色恒常性计算方法,即认为场景中的各个光源色调是一致的,在某些复杂夜晚场景是不满足.这些局限性都是我们未来工作的重点.

[1]Narasimhan S G,Nayar S K.Chromatic framework for vision in bad weather[A].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].Hilton Head:IEEE Computer Society Press,2000.598-605.

[2]Narasimhan S G,Nayar S K.Contrast restoration of weather degraded images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(6):713-724.

[3]Schechner Y Y,Narasimhan S G,Nayar S K.Instant dehazing of image using polarization[A].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].Kauai:IEEE Computer Society Press,2001.325-332.

[4]Shwartz S,Namer E,Schechner Y Y.Blind haze separation[A].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].New York:IEEE Computer Society Press,2006.1984-1991.

[5]Fang S,Xia X,Huo X,et al.Image dehazing using polarization effects of objects and airlight[J].Optics Express,2014,22(16):19523-19537.

[6]Tan R T.Visibility in bad weather from a single image[A].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C].Anchorage:IEEE Computer Society Press,2008.1-8.

[7]Fattal R.Single image dehazing[A].Proceedings of the International Conference on Computer Graphics and Interactive Techniques[C].Los Angeles:ACM Transactions on Graphics,2008.1-9.

[8]He K,Sun J,Tang X.Single image haze removal using dark Channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353.

[9]Fang S,Zhan J,Cao Y,et al.Improved single image dehazing using segmentation[A].Proceedings of the IEEE International Conference on Image Processing[C].Hong Kong:IEEE Computer Society Press,2010.3589-3592.

[10]Kim J H,Jang W D,Sim J Y,et al.Optimized contrast enhancement for real-time image and video dehazing[J].Journal of Visual Communication and Image Representation,2013,24(3):410-425.

[11]Pei S C,Lee T Y.Nighttime haze removal using color transfer pre-processing and dark channel prior[A].Proceedings of the IEEE International Conference on Image Processing[C].Orlando:IEEE Computer Society Press,2012.957-960.

[12]Zhang J,Cao Y,Wang Z.Nighttime haze removal based on a new imaging model[A].Proceedings of the IEEE International Conference on Image Processing[C].Paris:IEEE Computer Society Press,2014.4557-4561.

[13]Elad M.Retinex by Two Bilateral Filters[M].Hofgeismar,Germany:Springer Berlin Heidelberg,2005.217-229.

[14]Otsu N.A threshold selection method from gray-level histograms[J].Automatica,1975,11(285-296):23-27.

[15]He K M,Sun J,Tang X O.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409.

[16]Masood S Z,Zhu J,Tappen M F.Automatic correction of saturated regions in photographs using cross-channel correlation[J].Computer Graphics Forum,2009,28(7):1861-1869.

[17]Gijsenij A,Gevers T,Van De Weijer J.Improving color constancy by photometric edge weighting[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(5):918-929.

[18]Mittal A,Soundararajan R,Bovik A C.Making a completely blind image quality analyzer[J].IEEE on Signal Processing Letters,2013,22(3):209-212.

[19]Mittal A,Moorthy A K,Bovik A C.No-Reference image quality assessment in the spatial domain[J].IEEE Transactions on Image Processing,2012,21(12):4695-4708.

方 帅 女,1978年1月出生于安徽寿县.博士,教授,合肥工业大学硕士生导师,主要研究方向为计算机视觉、图像复原等.

E-mail:fangshuai@163.com

赵育坤(通讯作者) 男,1990年10月出生于安徽合肥.合肥工业大学硕士研究生,主要研究方向为计算机视觉、图像复原等.

E-mail:zyk-hfut@163.com

Nighttime Haze Removal Based on Illumination Estimation

FANG Shuai1,2,ZHAO Yu-kun1,LI Xin-ke1,LIU Yong-jin2,JIE Fei-ran2

(1.SchoolofComputerandInformation,HefeiUniversityofTechnology,Hefei,Anhui230009,China; 2.ScienceandTechnologyonElectro-OpticalControlLaboratory,Luoyang,Henan471023,China)

Nighttime haze removal is more difficult,since nighttime hazy images contain degradation more serious than daytime’s due to illumination,resulting in lower brightness,lower contrast,uneven illumination,and chromatic aberration,etc.Depending on imaging law of nighttime hazy image,a novel dehazing algorithm based on illumination estimation is presented.Firstly,the uneven illumination is removed by estimate the illumination map.Secondly,an entropy-based scheme for nighttime images is proposed to obtain transmission map.Finally,the color of illumination is estimated by statistics of source regions.The experimental results show that the proposed algorithm can effectively remove the uneven illumination effect,increase the image contrast and improve the image visual effect.

illumination estimation;dehazing;color constancy

2015-06-29;

2015-10-08;责任编辑：马兰英

国家自然科学基金(No.61175033，No.60705015);安徽省自然科学基金(No.1508085SMF222);光电控制技术重点实验室和航空科学基金联合资助项目(No.201451P4)

TP391.4

A

0372-2112 (2016)11-2569-07

��学报URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.11.002