深度学习技术在遥感影像分类与识别中的应用研究综述

时间：2024-05-04

陈舒畅杨万里李新立

（1.长春汽车工业高等专科学校信息技术学院吉林省长春市 130013）

（2.一汽解放汽车有限公司制造物流部吉林省长春市 130013）

（3.吉林大学仪器科学与电气工程学院吉林省长春市 130061）

遥感影像技术由于在地理测绘、环境监测、地物识别、农业气象等领域都有着重大的意义，可以应用于农学、气象、环保等多个应用领域，所以一直以来都是图像分类与识别领域的研究热点问题[1]。遥感影像分类与识别是指利用影像中的光谱、纹理以及形态等不同特征对其中的内容加以识别，并赋予真实的标志。深度学习优秀的特征学习能力，不但和人类认知信息的过程非常接近，同时还具备了较强的信息迁移能力[2]。所以，近些年很多学者逐渐开始关注基于深度学习的、并且适合运用于遥感影像应用领域的分析方法。本文首先介绍了三种经典的深度学习算法，然后介绍了遥感影像分类与识别的基本方法，接着论述了基于深度学习的遥感影像分类和识别的研究现状，最后对未来深度学习技术在遥感应用领域中的发展方向进行了总结。

1 深度学习模型

1.1 深度置信网络

DBN算法归属于神经网络范畴，非监督学习场景和监督学习场景都适用。DBN算法的最终目的是生成一个最佳的网络结构，这个过程是通过训练各神经元间的权重来完成的。DBN能够实现特征识别、数据分类以及数据生成等工作，且拓展性极强，应用非常广泛，可应用于手写数字识别、语音识别和图片处理等相关领域[3]。如图1所示。

图1：深度置信神经网络(DBN-DNN)结构

DBN网络结构由多层神经元所构成，神经元包括显性神经元和隐性神经元两种模式，其中显性神经元主要用于数据信息的接收，而隐性神经元的主要用于特征的提取。以三层隐藏层构成的DBN-DNN系统为例，整个网络结构由三个受限玻尔兹曼机(RBM)单元堆砌而成，受限玻尔兹曼机（RBM）也是一种神经网络的结构，但其具有一定的随机性[4]，其中RBM包含表层隐层和基层显层。当构造DNN网络结构时，前一组RBM的隐层输出层将作为下一组RBM的显层输入层，然后顺序堆叠，最终构成一个DBN模型。

1.2 自编码网络

深度学习是人工智能的重要技术，其中学习的方式包括两种：一种是监督学习，另一种是非监督学习。监督学习是较为常用的方式，但其需要进行大规模地标注样本，而且通常由人工来完成，但在许多时候却很难进行精确的标注，这时就体现了非监督学习的重要性。自编码网络属于非监督学习算法，通过自编码网络可以对输入信息进行重新构建，从而实现比原始数据更加丰富的特征，因此应用自编码网络去实现新特征生成有利于训练出更好的模型。

自编码网络由两部分组成：编码器与解码器，工作过程中，自编码网络将输入复制到输出,然后通过解码器返回特征并映射回数据空间[5]。SAE网络结构如图2所示：一个自编码网络至少需要一个编码函数，一个解码函数，以及一个损失函数。

图2：自编码网络结构

1.3 卷积神经网络

相比于普通神经网络，卷积神经网络多出了卷积层和子采样层，是深度学习的代表算法。卷积神经网络的隐含层包含卷积层、池化层和全连接层3种结构，其中卷积核是一个权值，以图像处理过程为例，卷积核依次与输入图像的不同区域块做卷积操作，从而得到输出，这可以看作是一个特征提取的过程；其中池化层也叫作子采样层，一般有平均子采样(mean pooling)和最大值子采样(max pooling)，池化层的作用主要是降维。卷积和子采样最大的作用就是简化了模型复杂度,同时也减少了模型的参数。如图3所示。

图3：CNN结构示意图

2 遥感影像分类与识别方法

遥感影像分类与识别是利用计算机解析遥感影像中各种地物的光谱信息和空间信息，并通过特征筛选，把图象中的像元根据一定规则分为不同的种类，进而进行真实场景的信息标记。常见的分类方法有监督分类法和非监督分类法。

2.1 监督分类

监督分类需要事先知道特征以及标签，经过训练的模型会记录遥感影像的地物特征，根据这些地物特征进行分类预测从而实现图像的具体分类。常见的监督分类方法有支持向量机(SVM)和神经网络分类法等。

2.2 非监督分类

非监督分类只需要事先知道特征即可，不需要标签信息，它以聚类为基本思路并根据关联规则构建划分依据。其中一种典型的算法是K-Means算法，K-Means算法实现过程分为4步：第一步需要确定K个初始的簇中心；第二步需要把离中心最近的K个样本都归在某类中；第三步重新计算类的簇中心；第四步：重复1-3步的过程直到收敛，也就是簇中心不再改变。另一种典型的非监督学习算法是ISODATA 算法，ISODATA 算法增加了类别合并与分裂机制，算法结构更复杂[6-7]。

3 基于深度学习的遥感影像分类与识别研究进展综述

3.1 深度置信网络应用在遥感影像分类与识别中的研究进展

吕启等人于2014年将DBN模型应用在SAR影像中用于城市地图制作，通过改变DBN模型的网络层数和隐含层数来优化网络结构，并进行对比实验表明DBN的分类效果更加突出[8]。高蓉在2015年将DBN进行了稀疏极值化，其中的关键就是将SAR影像数据的极化信息作为特征提取[9]。刘大伟等人于2016年针对高分辨率遥感影像的分类问题，提出了基于光谱纹理特征的方法，同时使用DBN模型进行训练，并通过对比实验验证该模型的效果，最终通过实验表明该方法适合较为复杂样本的图像分类问题[10]。徐丽坤等2017年通过调整DBN的网络层数、隐含层层数和参数，设计DBN结构并应用于遥感影像分类问题中，通过大量对比试验证明分类效果较好[11]。Zhong等人在2017年经过规范预训练和微调阶段参数的方法提出了一种新的DBN模型，也可以有效地解决遥感影像分类问题[12]。赵自雨于2018年在分析了深度置信网络的基础上，研究了多光谱信息分类方法，并经过试验表明可以通过加入信息熵的方法确定最佳隐含层层数从而提高分类精度[13]。姜宗辰等人在2019年通过构建DBN模型，将DBN技术运用到赤潮灾害遥感检测中，并运用渤海地区机载高光谱遥感数据进行赤潮分类，以实现获取高光谱影像中赤潮水体范围的目的。并与典型的SVM分类法和ISODATA分类法进行对比试验,表明DBN模型可以在拥有更高的分析准确度[14]。黄鸿等人于2021年提出了一种深度流形重构置信网络，该网络利用DBN获取数据，然后进行近邻匹配来构造类内图与类间图，压缩类内近邻匹配点与相应的重构点，从而提升地物分类精度[15]。

3.2 自编码网络应用在遥感影像分类与识别中的研究进展

林洲汉在2014年给出了AE-SVM和SAE-LR分类器的两种分类方法。SAE可以获得更多的特性从而为SVM分类识别做好准备[16]。王知音等于2015年提出基于堆栈稀疏自编码的结构模型，通过该模型可以提高水体影像的提取精度[17]。戴晓爱等于2016年将堆栈稀疏自编码器用于高光谱遥感影像，并寻找最合适的隐藏层数量，从而提高分类的精度[18]。谭钢等人于2017年针对高光谱遥感影像的分类问题，通过添加空间特征构建SAE模型来优化,并应用Softmax分类器,使用数据集加以验证，证实了添加空间特征的SAE方法效果更好[19]。徐佳等人在2018年通过构造深度极限学习机对原有训练集进行特征分割，然后利用SAE进行子特征转换,再将数据传入D-ELM，并不断经过试验确认隐含层数从而得出优化模型[20]。张国东等2019年提出通过栈式自编码网络充分利用影像中的光谱信息来提高高光谱的分类精度[21]。郭交等人2021年通过选取不同的分类模型构建融合网络，充分考虑了CNN分类的优势，通过试验验证该方法通过一次监督训练便可以实现高光谱影像的直接分类，大大简化了传统数据处理的流程[22]。

3.3 卷积神经网络应用在遥感影像分类与识别中的研究进展

陈文康于2016年在CaffeNet学习框架下，对农村建筑和非建筑物影像进行了训练与测试，识别率达95%[23]。赵漫丹等人于2017年通过建立5层神经网络分析逐个像素的光谱信息，然后在输入端提供全光谱数据集并对引入代价函数，从而完成光谱信息的特征提取与分类，分类准确率达到90.16%[24]。罗建华于2017年将所有像素点空间邻域结构信息作为CNN模型的输入，对激活函数ReLu进行设计，通过试验证明mini-batch随机梯度下降法能够提升CNN分类准确度，分类精度达97.57%[25]。杜敬于2017年使用DCNN技术建立了水域辨识模型，通过使用MSER算法，对无人机高分辨率遥感影像进行分析，通过锁定待辨识目标区域，导入DCNN水体辨识模型，辨识精度高达95.36%[26]。朱袁杰等人于2020年针对南京建邺区的城市绿地用地类别繁杂、具有明显地域差异性等特征，基于特定情景语义构建CNN模型训练影像，从而实现各类绿地的自动分类，通过试验证明分类准确率可达87.74%[27]。王嘉楠等2021年提出一种基于视觉转换器和图卷积网络双分支结构的光学遥感影像分类方法。该方法首先将影像进行分块处理，再利用位置编码和视觉转换器对影像进行特征编码；同时对遥感影像进行超像素分割，将每个超像素对应的卷积神经网络特征进行池化处理并作为图结构中的结点，利用图卷积网络对场景内部图结构进行建模；最终融合两个分支产生的特征形成最终特征并用于分类。并通过对比实验验证了所提方法在遥感场景分类中的有效性[28]。徐姗姗等人2022年选用深度卷积神经网络模型检测高分辨率遥感影像中的植被区域，首先对不同的优化器进行分析，并通过设置不同卷积核大小进行对比试验；然后对网络层数进行研究；最后针对训练样本用构造的深度卷积神经网络进行植被区域检测[29]。