气象卫星夜间微光云图和红外云图的融合技术研究

刘凯,寇正

(解放军理工大学 气象学院，江苏 南京211101)

气象卫星云图可分为可见光云图和红外云图，前者只能在昼间得到，图像中灰度取决于地表或云顶的反射率；后者在昼间、夜间均可获得，图像灰度取决于地表或云顶的温度(即亮温)。可见光云图和红外云图是两种具有互补性的图像，单独使用其中一种都有不足之处。夜间和晨昏时段只有红外信息没有可见光信息，使得大雾等灾害性天气的监测比白天难度要大。这种情形随着美国国防气象卫星（DMSP）的业务线扫描系统（OLS）的出现而得到改善，OLS传感器可用于获取夜间1/4月光和白天可见光云图，以及昼夜红外云图。为了提高夜间云、雾的检测和识别能力，考虑将微光云图和红外云图进行融合。美国海军研究室（NRL）曾开发了一种假彩色融合方法，能够在融合后的图像上比较容易地从色调上分辨出云和雾。假彩色融合法只是对微光云图和红外云图融合进行了初步的研究。近年来，图像融合技术特别是像素级图像融合方法得到了迅速的发展，本文将多分辨率融合方法和多尺度几何分析融合方法运用到两种云图的融合中，并用客观评价指标对融合结果进行质量评价，对微光云图和红外云图的融合进行了进一步的研究和分析。

1 图像融合方法

目前主流的图像融合方法包括多分辨率分析融合方法和多尺度几何分析融合方法。

1.1 金字塔变换融合法

金字塔变换融合法是最早出现的多分辨率分析图像融合方法。1983年，BURT P J和 ADELSON E H[1]提出了拉普拉斯金字塔变换；1985年，BURT P J和ADELSON E H[2]将拉普拉斯金字塔变换运用到图像融合中，获得了较好的融合结果；1989年TOET A[3]提出了低通比率金字塔变换融合方法；1992年BURT P J[4]提出了基于梯度金字塔的图像融合算法。金字塔变换是一种冗余的图像多分辨率分析方法，分解各层数据彼此相关。而且，除了梯度金字塔变换以外，其他的金字塔变换无方向性。

1.2 小波变换融合法

小波（Wavelet）变换融合法是另一类多分辨率分析图像融合方法。1995年，LI H等[5]和CHIPMAN L J等[6]首先分别将小波变换引入到图像融合领域中。小波变换同金字塔变换的不同在于，小波变换具有方向性，而且可以是非冗余的。

1.3 多尺度几何分析融合法

上个世纪末， 以 RIDGELET[7]、CURVELET[8,9]、BANDLET[10]、CONTOURLET[11,12]、非 下 采 样 CONTOURLET[13]为代表的多尺度几何分析 (MGA)工具作为一种新的高维函数的最优表示方法相继应运而生。从2005年开始，CHOI等、屈小波等、贾建等[14-16]相继将MGA引入到图像融合中。多尺度几何分析融合法的基本思路同金字塔变换融合法和小波变换融合法相似，但其算法的计算复杂度较高。

2 图像融合质量评价

本文采用平均互信息和Xydeas-Petrovic指标来评价融合图像的质量。

2.1 平均互信息

源图像A(或B)和融合图像F之间的互信息(Mutual Information)定义如下：

平均互信息[17,18]的定义为：

平均互信息越大，说明融合图像从源图像中提取的信息越多，融合的效果也越好。

2.2 Xydeas-Petrovic 指标[19,20]

QAB/F(m,n)的定义为：

QAB/F(m,n)的值域范围为[0,1]，值越大表示融合图像保留了越多的源图像边缘信息，融合的效果越好。

3 融合实验结果及分析

进行融合实验的两组源图像分别截取自美国国防气象卫星 (DMSP)2008年1月6日～7日的卫星云图，该卫星云图可从Internet上下载。微光云图其成像被分成64个灰度级,红外云图其成像被分成256个灰度级。融合前把微光云图的灰度级也拉伸到256个灰度级，大小均为 256×256。

分别用对比度金字塔(CON算法)、拉普拉斯金字塔(LAP算法)、离散小波变换(DWT算法)、非下采样 Contourlet变换(NSCT 算法)、Bandlet变换(Bandlet算法)五 种方法对两组实验云图进行融合，以上算法均采用低频子带系数取平均，高频子带系数模值取大的融合规则，分解级数均为4级。采用MI和QAB/F(m,n)指标分别对五种方法的融合图像进行客观评价。

图1中,(a)、(b)为第一组微光和红外源图像，(c)～(g)分别为应用五种算法后的融合结果。第二组微光和红外源图像和融合结果图略。表1、表2分别给出了两组融合实验的指标比较数据。

由图 1(c)～(g)可以看到，五种融合算法都取得了良好的视觉效果。如表1所示，从MI指标看，NSCT算法最高，说明NSCT算法使融合图像从源图像中提取的信息最多；LAP算法次之，Bandlet算法最低。从指标QAB/F看，Bandlet算法最高，说明融合图像中保留了源图像中的边缘信息最多；NSCT算法次之，而CON算法最低。综合两种指标，对第一组源图像，NSCT算法和LAP算法的性能较其他三种算法好。对第二组源图像，如表2所示，从MI指标看，LAP算法最高，NSCT算法次之，Bandlet算法最低。从指标QAB/F看，也是LAP算法最高,NSCT算法次之，Bandlet算法最低。综合两种指标，对第二组源图像，LAP算法和NSCT算法的性能较之其他三种算法融合效果好。综合以上两组图像融合实验的结果，从MI和QAB/F看，LAP融合算法和NSCT融合算法的性能要优于其他三种算法，由于NSCT算法的计算复杂度较高，耗时较LAP算法多，而且图像越大耗时越多，因此NSCT融合算法目前并不适合于实时处理，相对来说，LAP算法速度较快，适合于实时处理。

表1 微光云图1、红外云图1的各种融合算法的性能比较

表2 微光云图2、红外云图2的各种融合算法的性能比较

本文将多分辨率分析融合方法和多尺度几何分析融合方法运用到DMSP气象卫星夜间微光云图和红外云图的融合中，从 MI和QAB/F指标看，拉普拉斯金字塔融合算法和非下采样Contourlet融合算法的融合效果较其他方法优越。由于融合图像的视觉效果比任一幅源图像要好，因此，在融合图像基础上便于进行云类的识别和目标的检测等进一步的工作，这也是后续要开展的研究工作。

[1]BURT P J,ADELSON E H.The laplacian pyramid as a compact image code[J].IEEE Transactions on Communications,1983,31(4):532-540.

[2]BURT P J,ADELSON E H.Merging images through pattern decomposition[C].Proceedings of SPIE on Application of Digital Image ProcessingⅧ,1985,575(3):173-181.

[3]TOET A.Image fusion by a ratio of low-pass pyramid[J].Patten Recognition Letters,1989,9(4):245-253.

[4]BURT P J.A gradient pyramid basis for pattern selective image fusion[J].Processings of the Society for Information Display Conference.San Jose:SID Press,1992:467-470.

[5]LI H,MANJUNATH B S,MITRA S K.Multisensor image fusion using the wavelet transform[J].Graphical Models and Image Processing,1995,27(3):235-244.

[6]CHIPMAN L J,ORR T M.Wavelets and images fusion[C].Proceedings of IEEE International Conference on Image Processing,Washington D.C.,1995:248-251.

[7]RIDGELETS E J C.Ridgelets:theory and applications[D].Ph.D.Thesis,Stanford University,USA,1998.

[8]CANDÈS E J,DONOHO D L.Curvelets—a surprisingly effective nonadaptive representation for objects with edges.COHEN A,C.Rabut,L L SCHUMAKER(Eds.).Curves and surface fitting[M].Saint-Malo 1999,Vanderbilt University Press,Nashville,TN,1999.

[9]STARCK J L,CANDÈS E J,DONOHO D L.The curvelet transform for image denoising[J].IEEE Transactions on Image Processing,2002,11(6):670-684.

[10]CANDÈS E J,DEMANET L,DONOHO D L,et al.Fast discrete curvelet transforms[J].Multiscale Modeling&Simulation,2005,5(3):861-899.

[11]DO M N,VETTERLI M.Contourlets.G.V.Welland(Eds.),beyond wavelets[M].Academic Press,New York,2003.

[12]DO M N,VETTERLI M.The contourlet transform:an efficient directional multi-resolution image representation[J].IEEE Transactions on Image Processing,2005,14(12):2091-2106.

[13]CUNHA A L D,ZHOU J,DO M N.The nonsubsampled contourlet transform:Theory,design,and applications[J].IEEE Transactions on Image Processing,2006,15(10):3089-3101.

[14]CHOI M,KIM R Y,NAM M R,et al.Fusion of multispectral and panchromatic satellite images using the curvelet transform[J].IEEE Geoscience and Reomte Sensing Letters,2005,2(2):136-140.

[15]QU Xiao Bo,YAN Jing Wen,XIE Guo Fu,et al.A novel image fusion algorithm based on bandelet transform[J].Chinese Optics Letters,2007,5(10):569-572.

[16]贾建,焦李成,孙强.基于非下采样Contourlet变换的多传感器图像融合[J].电子学报,2007,35(10):1934-1938.

[17]QU G,ZHANG D,YAN P.Medical image fusion by wavelet transform modulus maxima[J].Opt.Express,2001,9(4):184-190.

[18]QU G,ZHANG D,YAN P.Information measure for performance of image fusion[J].Electronics Letters,2002,38(7):313-315.

[19]XYDEAS C S,PETROVIC V.Objective image fusion performance measure[J].Electronics Letters,2000,36(4):308-309.