基于改进的IHS、PCA和小波变换的遥感图像融合算法*

王 瀛 余岚旭 王春喜 左 方 王泽浩

（1.河南大学智能网络系统研究所 开封 475001）（2.河南大学河南省现代网络技术实验教学示范中心 开封 475001）（3.河南大学河南省高等学校学科创新引智基地-河南大学软件工程智能信息处理创新引智基地 开封 475001）（4.河南大学研究生院 开封 475001）（5.河南大学河南省智能网络理论与关键技术国际联合实验室 开封 475001）

1 引言

现在越来越多不同功能的传感器不断涌现，使得人们获取不同地区遥感数据信息变得更丰富［1］。人们获取大量的地面观测数据，比如高光谱图像，多光谱图像，全色图像等，从这些多样化的遥感数据获得更丰富的信息［2］。在如此大的数据中，遥感图像融合成为快速高效地从海量数据中得到符合实际需求的有效手段。图像融合就是根据一定的空间转换、图像分解或者模型优化等方法，将两幅或者多幅图像的优点结合到一起，组合形成一幅新图像。

常用的遥感图像融合的算法有基于IHS（Intensity Hue Saturation）变换的融合方法［3］、基于主成分分析（Principal Component Analysis）变换的融合方法［4］、Brovey变化融合方法［5］以及Gram-Schmidt光谱锐化方法［6］、基于小波变换的融合算法［7］等。其中基于深度学习的融合方法近年来发展迅速，该类融合方法与传统的融合方法不同，其采用某种学习机制学习得到融合影像与原有图像的关系。PCA和IHS融合算法均是对图像矩阵进行操作，将其转换成不同的分量，通过对其中的一些分量进行转换，实现图像信息的融合。PCA变换的融合方法在多光谱图像波段数较多时有着较大的处理优势，在其处理过程中得到的第一主成分分量是包含了多光谱图像各个波段中大量的有效信息，与PAN图像中的细节信息存有差异。但IHS融合方法可处理的多光谱图像具有波段限制，其波段数不能超过3个［8］。小波变换具有多分辨率的特性，可以对图像进行分解处理，得到高频细节分量、低频细节分量，由于它们各自代表的信息不同，使用不同的融合规则分别进行信息处理，可以更大效率地使用图像间的互补、冗余信息，对图像中的细小目标进行强化。所以，为了在光谱波段较多时提高融合图像的效果，本文充分结合三种融合算法的优点，提出一种基于IHS、PCA和小波变换结合的融合算法。下面对以上改进内容进行详细叙述。

2 遥感图像融合方法

2.1 IHS融合方法

IHS变换的融合方法主要是将获取的原属于RGB空间的多光谱图像，变换到IHS颜色空间表示，拥有I、H、S三个相对独立分量［9］。然后把全色图像与强度分量I进行成分替换，进行IHS-RGB转换得到融合图像。下面是RGB-IHS变换公式：

其中，V1和V2是中间变量。从IHS空间变换到RGB空间的逆变换如下所示：

由于全色图像与变换得到的强度分量图之间的灰度值存在差异，两者的相关性较低，这样会使得到的融合图像与原始图像的光谱差异信息差距较大，违背了融合目的。为了解决光谱失真问题，伍娟、卢凌等［10］提出将全色图像与强度分量图进行直方图匹配，使得两者具有更高的相关性，取得更好的融合效果。但是传统的IHS变换融合方法只能处理三个波段的多光谱图像，现在遥感数据所含波段已包括四个波段（R、G、B、NIR）甚至更多，为了解决此问题，Tu［11］等提出了快速的IHS（Fast Intensity Hue Saturation）融合方法，该方法在拥有快速有效计算能力的同时，还将IHS融合算法能处理的波段数从三个提升到了任意波段。

2.2 PCA融合方法

主成分分析就是把多维数据进行简化处理，将其用几个综合信息较丰富的成分来表示，它们中携带了原数据中大量的信息，并且各自相对独立，操作起来对别的成分影响较小，避免出现冗余信息［12］，其中第一主成分（PC1）拥有数据或者图像的主要信息，主成分分析有着简化数据结构的作用。PCA变换的融合方法主要思想是对多光谱图像进行成分变换，得到几个主成分，其中第一主成分与全色图像进行成分替换，利用逆变换得到融合图像。其变换过程的数学描述如下所示。

1）计算协方差矩阵C。多光谱图像的波段数为，按照向量的表示形式如下所示：

不同波段间的方差如下所示：

则协方差矩阵为C：

2）求解C的特征值和特征向量，其对应的特征向量根据式（10）求解得到：

3）主成分矩阵分解：

得到主成分矩阵Y：

其中，PC为主成分分量，PC1为第一主成分。PCA融合方法相较于传统的IHS融合方法，它可以融合多个波段的多光谱图像［13］。

2.3 小波变换融合方法

基于小波变换的图像融合方法是多分辨率分析融合的重要方法之一［14］。1987年，Mallat将小波理论与多分辨率分析结合，提出了小波多分辨分析的概念，随着众多学者的应用研究已成功地将其应用到了图像融合领域［15］。该方法的主要思路是，首先从空间分辨率较高的全色图像中获取细节信息，然后将其加入到多光谱图像，得到信息丰富的融合图像，减少光谱失真。小波变换作为新的数学工具，从根本上克服了傅里叶变换在时域内不具有局部性的缺陷，小波变换在空间域和频率域上都具有良好的局部性特质，它能够将信号分解成空间与时间相互独立的同时，更好地保存原信号所包含的信息，实现信号无冗余分解，聚焦分析对象的任意细节。

3 本文算法

3.1 算法过程

本文提出的遥感图像融合改进算法过程如图1所示。

图1 图像融合过程

本文对融合时所需的图像都已经过严格的图像配准与采样，多光谱图像与全色图像大小保持一致，小波分解层数为3。

Step1：对低分辨率的多光谱图像进行PCA变换得到主成分PC1、PC2、PC3，将得到的降维后的多光谱图像进行IHS变换得到I、H、S分量。

Step2：为了提高替换分量的相关性，将全色图像与Step1中得到的强度分量I进行均衡化处理；计算全色图像的灰度级为rk的概率估计值p(rk)：

同理对全色图像进行均衡化处理得到sz(rk)。

Step3：为了获得I和全色图像最佳的灰度变换关系，需要尽可能地使选取的sz(zk)和sr(rk)与原多光谱强度分量的灰度级zk、全色图像的灰度级rk保持相等。根据zk与rk之间的对应关系，调整图像的灰度级，从而获得匹配度较高的强度分量Inew。

Step4：将得到的强度分量Inew与全色图像进行直方图匹配，得到匹配后的newPAN。

Step5：对高频、低频细节分量使用不同的融合规则，根据图像间的匹配度不同，低频分量使用最大值融合策略或平均融合策略，高频分量采用绝对值策略进行融合；然后进行逆小波变换，得到融合后的亮度分量。

Step6：对生成的强度分量和Step1中得到的H、S分量进行IHS逆变换得到融合图像。

3.2 融合规则

在融合时融合规则的选择对融合图像的质量有着一定的主导作用，下面对本文小波融合中所用的不同融合规则进行说明。

1）低频融合规则

假设C(X)为图像X进行小波分解的低频系数矩阵，p=(m，n)代表系数矩阵的空间位置，区域Q表示p的邻域空间，C(X，p)表示低频系数矩阵中下标为(m，n)的元素值，μ(X，p)表示p的邻域空间Q中元素的均值。假定G(X，p)是X中p位置的区域方差，那么G(X，p)可根据下面的等式进行计算：

其中，w(q)表示权重，q与p的距离越近，其w(q)的值越大。

假设G(A，p)和G(B，p)表示A和B的低频系数矩阵相对与p的区域方差，所以A和B相对于p的方差匹配度Mp如下表示：

其中，Mp的值的变化范围在0～1之间，它的值越小说明两幅图像低频系数矩阵之间的相关性越低。

假设T为匹配度阈值，T的取值范围一般在0.5≤T≤1，在本文的实验中选取T=0.6。

当Mp＜T时，说明图像间的匹配度较低，使用最大值融合策略：

当Mp≥T时，使用平均融合策略：

其中，Wmin=0.5Wmax=1-Wmin。

2）高频融合规则

由于高频细节分量主要涵盖的是图像的细节纹理，一般来说全色图像的高频细节分量信息量更丰富，为了更好地保持图像的细节纹理，针对高频分量的融合采用绝对值策略进行融合，即：

4 实验结果分析

为了验证所提算法的性能，本采用三组实验数据进行验证，融合数据都已经过严格的图像配准与采样，并将其与IHS、PCA、Brovey、HPF图像融合算法进行对比。图2、图3、图4分别是两组实验数据的融合结果。

图2 不同算法在测试图一中的融合结果

图2、图3、图4的（c）、（d）、（e）、（d）、（f）分别为IHS、PCA、Brovey、HPF和与本文算法的融合结果图。在对两组图的直观观察中，对于图像中的一些目标特征信息，如河流、居民区、建筑、树木等的细节特征和光谱信息都有了更清晰的表达，相较于原始的多光谱图像有了很明显的改善，可以看出这几个融合算法对图像的分辨率都有了一定的提高。从上面的融合结果图中可以很直观地看到IHS融合算法存在较严重的光谱扭曲问题，其中图2、3中的PCA融合结果图也存在着一定程度的光谱信息丢失。从图2（e）可以看出Brovey融合结果的光谱信息的保持较好，对于图像里的一些细节特征也比较突出，但是图像的视觉观感也就是清晰度稍有欠缺。三组HPF算法结果图中可以看出图像中细节相较于其他算法已经有了明显的提高，其中也存在着一定的不足，在图2、3、4中可以看出融合结果的图像存在一定的光谱信息扭曲。图（g）是本文算法融合结果，可以很直观地感受到，它的细节信息表现得更加突出，起到了一定得增强效果，而且在这两组融合结果中，光谱信保持得最为完整。人的主观观感也较佳，融合质量更高。

图4 不同算法在测试图三中的融合结果

本实验测试图一的客观评价［16］如表1所示，测试图二的客观评价如表2所示，图4的客观评价如表3所示。从表中可以看出本文得到的融合图像的各项评价指标表现较好。IHS算法和PCA算法的相关性系数、光谱相对熵比较小，反映到图像中的树木等光谱失真严重。本文算法在这些指标中性能较优于其他IHS、PCA、Brovey算法，在光谱信息的保持和空间细节信息方面都体现出来不错的效果，这些性能指标上明显优于其他算法，在保持了源图像空间细节的同时对光谱信息最大化保留，在多方面都是最优的。

表1 不同算法在测试图一中的融合结果

表2 不同算法在测试图二中的融合结果

表3 不同算法在测试图三中的融合结果

5 结语

文章介绍了关于IHS融合算法的相关改进算法：首先对IHS算法中出现光谱扭曲现象，提出了基于直方图优化的改进思想，得到最优强度分量，有效地提高了强度分量与全色图像的相关性，减少光谱扭曲。最后在此基础上，利用PCA变换可以对多波段图像处理的优势与小波变换根据不同融合规则对图像信息进行融合的特点，结合PCA算法对图像进行融合处理。在对比实验中，结果表明文章所提算法可以更好地保持图像中光谱信息。