一种国产高分卫星遥感影像变分融合方法

尹 峰， 孟祥超， 梁 鹏

(1.湖北省国土资源研究院，武汉 430071； 2. 武汉大学资源与环境科学学院，武汉 430079)

0 引言

近年来，国产高分卫星得到了快速发展，然而，相比于QuickBird和IKONOS等国外卫星影像，部分国产高分卫星(如高分一号(GF-1)、高分二号(GF-2)和吉林一号等)各波段影像相对较模糊。因此，有针对性地发展国产高分卫星遥感影像全色/多光谱波段的融合方法，以提高影像数据的整体质量十分必要。

全色/多光谱影像融合方法起源于20世纪80年代[1-2]。1986年SPOT-1卫星同时提供全色和多光谱影像以来，融合方法得到了近30 a的快速发展。一般而言，融合方法可归为3类[3-4]： 成分替换类融合方法、多分辨率分析融合方法和基于模型的融合方法。其中，成分替换类方法是最简单的也是最流行的融合方法，该类方法已被广泛应用到了ENVI和ERDAS等专业遥感软件中。该类方法首先基于光谱变换得到亮度分量，然后通过全色影像替换亮度分量的方式对多光谱影像进行空间信息增强，经典方法有主成分分析融合方法[5]、Gram-Schimidt(GS)融合方法[6]、Intensity-Hue-Saturation (IHS) 融合方法[5]等。多分辨率分析融合方法基于小波变换或拉普拉斯金字塔等工具提取全色影像的高空间结构信息，并采用一定的注入模型将提取的空间结构信息注入到多光谱影像中得到高空间分辨率融合影像[7]，如多孔小波融合方法[8]、拉普拉斯金字塔融合方法[9]和Contourlet 小波融合方法[10]等。针对成分替换类融合方法和多分辨率分析融合方法，Tu 等[11]进一步将其扩展到同一个融合框架，很大程度上促进了全色/多光谱融合方法的发展。

尽管已提出了大量成分替换类融合方法和多分辨率分析融合方法，然而这些方法都是根据某种假设进行简单正向求解得到融合影像，缺少强有力的数学理论基础和严密的逻辑关系，因此基于模型的影像融合方法[12-15]的开发得到了广泛关注。该类方法将融合影像的求解过程看成病态逆问题，基于影像观测模型建立能量函数，通过优化求解得到融合影像。其中，基于变分的融合方法[16-17]最具代表性，其建立的能量函数总体可分为3项： 光谱保真项、空间增强项和先验项，三者之中光谱保真项和空间增强项最为关键。然而现有方法中这2项对影像数据特点考虑不足，主要表现为光谱保真项仅简单考虑融合影像各波段与多光谱观测影像对应波段之间一对一的空间降质关系，对影像波段间光谱关系考虑不足； 空间增强项则未顾及国产卫星全色影像存在的模糊降质问题。

因此，针对上述问题，本文提出一种基于变分的国产高分卫星全色/多光谱融合方法。该方法充分考虑国产高分卫星影像特点，基于光谱梯度的三维光谱高保真项和顾及全色影像模糊降质的改进空间增强项，对国产高分卫星遥感影像在有效提升多光谱影像空间分辨率的同时，最大程度地保持其光谱信息。

1 理论与方法

充分考虑融合影像与全色、多光谱影像之间的关系，以及国产高分卫星影像特点，提出一种基于变分的全色/多光谱高保真融合方法。假设融合影像为X=[X1,X2，...，XB]T，其中B为波段数，原始多光谱影像为Y=[Y1,Y2，...，YB]T，全色影像为Z，则融合模型表示为

E(X)=fspectral(Y,X)+fspatial(Z,X)+fprior(X) ,

(1)

式中：fspectral(Y,X)为光谱保真项，建立融合影像X与多光谱影像Y之间的关系；fspatial(Z,X)为空间增强项，建立融合影像X与全色影像Z之间的关系；fprior(X)为先验项。

1.1 改进的三维光谱高保真项

传统光谱保真项基于多光谱影像模型[1, 15, 18]，建立融合影像各波段与多光谱影像相应波段之间一对一的空间降质关系，表示为

(2)

式中：A表示模糊降采样过程；b表示波段序号。然而，该保真项对多光谱影像波段与波段之间的光谱关系考虑不足，故提出基于光谱梯度的三维光谱高保真项，即

(3)

1.2 改进的空间增强项

传统空间增强项假设理想高空间分辨率融合影像和全色影像具有相似的空间结构信息，然而，通过比较国产卫星(如GF-1，GF-2和吉林一号等)全色影像与国外卫星(QuickBird和IKONOS等)全色影像发现，国产高分卫星全色影像相对较模糊。基于梯度结构信息，提出顾及全色影像模糊降质的改进空间增强项，合理建立理想高空间分辨率融合影像与全色影像之间的关系，即

fspatial(Z,Xb)=‖Z-,

(4)

fspatial(Z,Xb)=‖Z-f(,

(5)

式中f(·)表示矩匹配函数[19]。

1.3 融合模型与优化求解

基于改进的三维光谱高保真项和顾及全色影像模糊降质的空间增强项，并结合经典拉普拉斯先验建立融合目标函数，即

(6)

式中λ1和λ2为正则化参数。

针对目标函数，通过梯度下降法求解得到融合影像。

对式(6)求导，即

(7)

式中：ΔH和ΔV分别为水平方向和垂直方向上的拉普拉斯运算； (·)std为标准差运算。

通过连续的迭代逼近运算得到融合影像，迭代公式为

(8)

式中：n为迭代次数；tb,n为第b波段的迭代步长，通过对目标函数进行二阶泰勒级数展开得到。迭代终止条件为

(9)

式中d为预设迭代终止阈值，本文设置为10-7。

2 实验与分析

选用GF-1和GF-2国产卫星影像进行融合实验。其中，GF-1影像数据获取地点为捷克某地，获取时间为2013年4月28日，全色影像空间分辨率为2 m，多光谱影像空间分辨率为8 m。GF-2影像数据获取地点为伊朗某地，获取时间为2014年9月4日，全色影像空间分辨率为0.81 m，多光谱影像空间分辨率为3.24 m。为了进行全面验证，所选用实验数据包含了植被、水体、建筑物和农田等多种地表覆盖类型，并基于模拟实验和真实实验，从定性和定量2方面分别对融合方法进行评价分析，其中定量评价采用全色/多光谱融合中4个最常用的评价指标，包括相关系数 (correlation coefficient，CC)[15]、峰值信噪比(peak signal-to-noise ratio，PSNR)[20]、相对全局误差 (relative dimensionless global error in synthesis，ERGAS)[21]和光谱角(spectral angle mapper，SAM)[15]。此外，提出方法与典型的GS融合方法、局部自适应成份替换融合方法(partial replacement adaptive component substitution，PRACS)[22]和ATWT-M3融合方法[8]进行比较分析。为了进一步验证改进的三维光谱高保真项在融合影像光谱保持上的优势，实验结果与基于传统光谱保真项的融合结果也进行了对比。本文提出方法中模型参数根据大量实验测试以人工经验设定，除特别说明外，参数设置为：λ1=10，λ2=0.001，空间增强项模糊核大小根据全色与多光谱空间分辨率比率设定为(2r+1)×(2r+1)，其中空间分辨率比率r=4，方差为0.5。

2.1 模拟实验

根据Wald等[23]提出的获取参考影像的方法，首先，按全色和多光谱影像空间分辨率比率对原始影像数据进行空间降质； 然后，原始多光谱影像作为参考影像对融合结果进行评价。模拟实验采用GF-1和GF-2卫星影像数据，实验结果分别如图1和图2所示。从定性评价方面，GF-1实验结果中GS方法具有较好的空间结构信息，但存在较大的光谱畸变； PRACS和ATWT-M3的融合结果光谱保持较好，但空间结构信息较模糊。相比于其他方法，本文方法在2种光谱保真项模式下均能取得较好的融合效果，在色彩上更加接近参考影像，同时空间结构更加清晰。与GF-1融合结果相比，GF-2模拟实验结果视觉上GS方法融合效果在光谱上有所改善； 其他方法展现出与GF-1类似的实验结果。进一步开展定量评价研究，定量评价结果如表1和表2所示。

(a) 多光谱影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

(e) ATWT-M3方法 (f) 基于传统光谱保真项融合方法 (g) 本文方法 (h) 参考影像

图1GF-1模拟实验结果

Fig.1FusionresultsoftheGF-1simulatedexperiment

(a) 多光谱影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

(e) ATWT-M3方法 (f) 基于传统光谱保真项融合方法 (g) 本文方法 (h) 参考影像

图2 GF-2模拟实验结果Fig.2 Fusion results of the GF-2 simulated experiment表1 GF-1模拟实验定量评价Tab.1 Quantitative evaluation of the fusion results in the GF-1 simulated experiment

表2 GF-2模拟实验定量评价Tab.2 Quantitative evaluation of the fusion results in the GF-2 simulated experiment

从表1和表2可以发现，相比于其他方法，本文方法定量评价结果最好，其中最优定量评价结果以加粗表示，次之以斜体表示。相比于传统光谱保真项，本文方法基于三维光谱保真项在光谱保持上也更有优势。其中，在CC，PSNR，ERGAS和SAM这4个定量评价指标中，SAM优势较为明显，这是因为改进的三维光谱保真项可更好地保持波段间光谱关系，具有更佳的光谱保持能力。

2.2 真实实验

基于原始GF-1和GF-2影像数据进行真实实验。由于在该实验中没有参考影像，根据Wald准则[23]，将融合影像重采样到与原始多光谱影像相同的空间分辨率进行定量评价。实验结果分别如图3和图4所示，表3和表4分别为定量评价结果。通过与模拟实验结果对比发现，真实实验在定性和定量上总体展示了类似的结果。但是，GF-2真实实验中，GS融合结果在目视上具有较好的空间结构信息，这是因为在该实验数据中，多光谱影像白色建筑物在重采样过程中存在较为明显的膨胀现象，导致多光谱影像与全色影像存在一定的地物不匹配现象，GS方法通过全部成分替换的方式更有利于空间信息的增强，而这也造成了其融合影像的光谱信息存在一定的损失，可从表3和表4定量评价指标上明显看出。在进行实验对比的各种方法中，本文提出的改进高保真融合方法在光谱保持和空间信息增强方面总体表现最好，相比于传统光谱保真项，在所有定量评价指标上均有所提升，其中以SAM提升最为明显，分别提升了19%和40%，具有明显的优势。

(a) 多光谱影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

(e) ATWT-M3方法 (f) 基于传统光谱保真项融合方法 (g)本文方法

图3GF-1真实实验结果

Fig.3FusionresultsoftheGF-1realexperiment

(a) 多光谱影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

(e) ATWT-M3方法 (f) 基于传统光谱保真项融合方法 (g) 本文方法

图4 GF-2真实实验结果Fig.4 Fusion results of the GF-2 real experiment表3 GF-1真实实验定量评价Tab.3 Quantitative evaluation of the fusion results in the GF-1 real experiment

表4 GF-2真实实验定量评价Tab.4 Quantitative evaluation of the fusion results in the GF-2 real experiment

3 结论

本文针对现有全色/多光谱融合方法对国产高分卫星遥感影像数据特点考虑不足的缺点，提出了一种针对国产高分卫星全色/多光谱遥感影像的高保真变分融合方法。

1)在模型构建中，充分考虑融合影像波段间关系保持，发展了基于光谱梯度的三维光谱高保真模型，并考虑国产卫星全色影像模糊降质的问题，进一步发展了顾及全色降质的空间增强模型。

2)实验结果表明，本文方法相比于对照实验的其他方法，具有良好的光谱信息保持和空间信息增强能力，针对国产卫星影像可得到最优的融合结果。

3)不足之处在于现有方法求解效率相对较低，后期研究将引入并行计算等加速策略，进一步提升模型求解效率。

参考文献(References)：

[1] Shen H F,Meng X C,Zhang L P.An integrated framework for the spatio-temporal-spectral fusion of remote sensing images[J].IEEE Transactions on Geoscience and Remote Sensing,2016,54(12):7135-7148.

[2] 张良培,沈焕锋.遥感数据融合的进展与前瞻[J].遥感学报,2016,20(5):1050-1061.

Zhang L P,Shen H F.Progress and future of remote sensing data fusion[J].Journal of Remote Sensing,2016,20(5):1050-1061.

[3] Aiazzi B,Alparone L,Baronti S,et al.Twenty-five years of pansharpening:A critical review and new developments[M]//Chen C H.Signal and Image Processing for Remote Sensing.2nd edition.Boca Raton,FL: CRC Press,2012:533-548.

[4] Vivone G,Alparone L,Chanussot J,et al.A critical comparison among pansharpening algorithms[J].IEEE Transactions on Geoscience and Remote Sensing,2014,53(5):2565-2586.

[5] Chavez Jr P S,Sides S C,Anderson J A.Comparison of three different methods to merge multiresolution and multispectral data: Landsat TM and SPOT panchromatic[J].Photogrammetric Engineering and Remote Sensing,1991,57(3):295-303.

[6] Laben C A,Brower B V.Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening:United States,6011875[P].2000-01-04.

[7] Meng X C,Li J,Shen H F,et al.Pansharpening with a guided filter based on three-layer decomposition[J].Sensors,2016,16(7):1068.

[8] Ranchin T,Wald L.Fusion of high spatial and spectral resolution images:The ARSIS concept and its implementation[J].Photogrammetric Engineering and Remote Sensing,2000,66(1):49-61.

[9] Alparone L,Aiazzi B.MTF-tailored multiscale fusion of high-resolution MS and Pan imagery[J].Photogrammetric Engineering and Remote Sensing,2006,72(5):591-596.

[10] 李文静,温文鹏,王清和.基于Contourlet变换的遥感图像融合方法研究[J].国土资源遥感,2015,27(2):44-50.doi:10.6046/gtzyyg.2015.02.07.

Li W J,Wen W P,Wang Q H.A study of remote sensing image fusion method based on Contourlet transform[J].Remote Sensing for Land and Resources,2015,27(2):44-50.doi:10.6046/gtzyyg.2015.02.07.

[11] Tu T M,Su S C,Shyu H C,et al.A new look at IHS-like image fusion methods[J].Information Fusion,2001,2(3):177-186.

[12] Meng X C,Shen H F,Li H F,et al.Improving the spatial resolution of hyperspectral image using panchromatic and multispectral images:An integrated method[C]//Proceedings of the 7th Workshop on Hyperspectral Image and Signal Processing:Evolution in Remote Sensing (WHISPERS).Tokyo,Japan:IEEE,2015:1-4.

[13] 孟祥超,沈焕锋,张洪艳,等.基于梯度一致性约束的多光谱/全色影像最大后验融合方法[J].光谱学与光谱分析,2014,34(5):1332-1337.

Meng X C,Shen H F,Zhang H Y,et al.Maximum a posteriori fusion method based on gradient consistency constraint for multispectral/panchromatic remote sensing images[J].Spectroscopy and Spectral Analysis,2014,34(5):1332-1337.

[14] Meng X C,Shen H F,Zhang L P,et al.A unified framework for spatio-temporal-spectral fusion of remote sensing images[C]//Proceedings of IEEE International Geoscience and Remote Sensing Symposium (IGARSS).Milan,Italy:IEEE,2015:2584-2587.

[15] Zhang L P,Shen H F,Gong W,et al.Adjustable model-based fusion method for multispectral and panchromatic images[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B (Cybernetics),2012,42(6):1693-1704.

[16] Ballester C,Caselles V,Igual L,et al.A variational model for P+XS image fusion[J].International Journal of Computer Vision,2006,69(1):43-58.

[17] Palsson F,Sveinsson J R,Ulfarsson M O.A new pansharpening algorithm based on total variation[J].IEEE Geoscience and Remote Sensing Letters,2014,11(1):318-322.

[18] Shen H F,Zhang L P,Huang B,et al.A MAP approach for joint motion estimation,segmentation, and super resolution[J].IEEE Transactions on Image Processing,2007,16(2):479-490.

[19] Li H F,Zhang L P,Shen H F,et al.A variational gradient-based fusion method for visible and SWIR imagery[J].Photogrammetric Engineering and Remote Sensing,2012,78(9):947-958.

[20] Wang Z,Bovik A C.Mean squared error:Love it or leave it? A new look at signal fidelity measures[J].IEEE Signal Processing Magazine,2009,26(1):98-117.

[21] Wald L.Quality of high resolution synthesised images: Is there a simple criterion?[C]//Proceedings of the 3rd Conference “Fusion of Earth Data:Merging Point Measurements,Raster Maps and Remotely Sensed Images”. Sophia Antipolis,France:SEE/URISCA,2000:99-103.

[22] Choi J,Yu K,Kim Y.A new adaptive component-substitution-based satellite image fusion by using partial replacement[J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(1):295-309.

[23] Wald L,Ranchin T,Mangolini M.Fusion of satellite images of different spatial resolutions:Assessing the quality of resulting images[J].Photogrammetric Engineering And Remote Sensing,1997,63(6):691-699.