基于多尺度空洞卷积自编码神经网络的森林烟火监测∗

冯嘉良 朱定局 廖丽华

（1.华南师范大学计算机学院 广州 510631）（2.华南师范大学教育信息技术学院 广州 510631）

1 引言

森林火灾是一种危害性较强的自然灾害，1950年以来中国年均发生森林火灾13067起，受害林地面积653019公顷，因灾伤亡580人。森林火灾给人类生存发展造成重大影响，因此对森林火灾进行监测是十分重要的。火灾监测分为火焰监测与烟监测。在森林火灾的监测中，烟总是比火焰更早被观测到，而且在整个火灾过程中，烟都是其图像信号中一个重要特征。在实际事例中，森林火灾的早期只观察到烟，此时如果能采取扑救措施便能极大减少伤亡损失，而观察到远距离的森林明火，其火势已经发展到一定阶段，扑救难度相对较大。

森林火灾监测经历过红外监测、ZigBee无线传感技术监测［1］等阶段。近年深度学习方法在文本分类［2］、人脸识别［3］等领域中都有较好表现，其通过多个隐藏层自动提取特征，具有更强的特征表达能力。深度学习方法也应用在森林火灾监测中，文献［4］将卷积网络模型应用在森林火灾识别，取得比人工提取特征更好的效果。文献［5］使用深度方法自动提取动态纹理的特征，并成功在森林火灾动态场景的分类中实现。在深度学习中使用自编码器能提取更优的特征表达，文献［6］用稀疏自编码器训练样本数据，找出同图复制图像的规律，通过降维权值矩阵得到检测图像的特征。文献［7］提出卷积稀疏自编码网络，降低反卷积操作复杂度。目前对于森林火灾的识别多使用传统算法。因为森林图像距离远范围大，其提取特征的范围同样更大，普通卷积自编码网络也难以提取有效更大范围特征。而且在火灾中取得良好效果的模型大多是只针对火焰特征的研究，对于实际森林火灾中烟雾和森林雾气等相似图像的识别仍有提升空间。如何在森林火灾监控中提升起火烟雾图像的识别准确率从而及时扑救对森林防火十分重要。针对上述问题，本文提出改进的MSDCAE多尺度空洞卷积自编码器方法对模型进行无监督学习，提升大范围特征表达能力。另外为了增大相似分类之间的距离和加强同类样本聚合度，设计ISWL损失函数，进而提出一种基于深度学习的森林火灾烟火监测方法。该方法通过关注森林火灾烟火图像大范围特征重构数据，训练出更优的初始权值，减少烟雾、雾气等相似图像的错误识别，在实验中取得比普通深度网络更好的效果。

2 相关工作

在森林火灾监测研究中，Vicente等［8］用提取像素的持久动态特点改进图像分割技术，提出一种监测森林火灾的图像识别方法。另外，Feng等［9］基于FY-1D/MVISR数据提出快速检测方法并应用在森林火灾监测。在森林火灾烟的监测中，Stathero⁃poulos等［10］提出了一种基于计算机视觉和模式识别技术的火焰烟雾检测方法，研究在森林火灾事件监测到的烟雾成分的复杂性。Ko等［11］探测早期火灾的时空特征，从而对其产生的烟雾进行分析。文献［12］将森林火灾烟雾预测与监测数据相结合来研究烟雾与空气质量的关系。

深度网络有利于提取森林火灾图像的特征。文献［13］将卷积神经网络应用在森林火灾图像识别上，将底层特征结合成更抽象特征，并结合实验证明其在森林火灾监测任务中的有效性。自编码器使神经网络有更好的初始权值参数。文献［14］基于原始像素和局部描述验证了自编码器的降维、表达能力，并提出基于自编码器的转换策略。在图像处理领域卷积自编码器应用更广泛。文献［15］提出一种基于自编码网络的重构车牌数字方法，并证明其具有优秀识别性能。文献［16］提出了一种混合卷积自编码极限学习机结构，使用极限学习机进行分类，获得更好的快速泛化能力。在针对森林火灾的图像识别中，文献［17］提出一种基于稀疏自编码深度神经网络的森林火灾图像分类方法，更有效地区分火焰与红旗、红叶等类似物体。

损失函数是评价模型的指标之一，文献［18］提出一种启发式线性回归损失函数选取方法，与常用的平方损失函数相比性能更健壮。文献［19］构造组样本似然损失函数，并结合排序学习方法和最优初始序列选择策略，证明了其能够有效提高排序准确率。文献［20］提出了将稀疏自编码和Softmax回归组合成一个新的特征提取模型，利用多分类器返回值可以反映输入信息相似程度的特点提高分类效果。

3 本文算法

针对现实中森林火灾起火过程中依次出现有烟、有烟与火、有明火等情况，本文在有监督学习中，设计了如图1所示的卷积神经网络框架（以输入尺寸32×32为例）。

图1 本文有监督学习的网络模型

3.1 多尺度空洞卷积自编码器

无监督学习阶段，普通的自编码器对数据进行线性或非线性的特征提取。在卷积自编码神经网络中，使用卷积运算提取并重构数据。通过重构数据与原始数据的对比，更新自编码器卷积核权值参数并逐步减少误差。卷积自编码计算公式如下所示：

其中，Kw，h为卷积核对应位置的卷积矩阵，Iw，h为被卷积的输入数据，W和H分别为不同方向进行卷积的次数。为了在解码后得到的重构图像和原始图像有相同的尺寸，需要在自编码后进行图像填充，每个维度填充的大小为2K-2，其中K为卷积核大小。填充后的特征图尺寸为为了得到更优的重构图像并与原始图像比较从而进行无监督学习，解码器的参数需要根据编码器调整，下式为解码器每个通道的重构公式：

普通自编码器经过训练能有效重构数据，但是在输入数据受到干扰时难以保持不变性。特别在面对森林火灾远程图像的监测中，雾气、风尘等因素会导致图像局部模糊。传统的卷积自编码网络只关注图像局部特征而忽略更大范围特征，这对于大范围的森林火灾监测来说是不足够的。针对卷积自编码器的不足，本文提出一种多尺度空洞卷积自编码器（Multi-Scale Dilated Convolution Auto En⁃coder，MSDCAE），对卷积核对应的感受野分割并进行空洞扩张，通过不同程度的扩张卷积核，使其更具备提取更大范围图像特征的能力。

图2 本文提出的MSDCAE模型

图2（a）所示是MSDCAE模型，使用堆栈式逐层训练的方法。在每一层网络进行扩充空洞卷积核尺度并提取更大范围特征后（图2（b）），再结合相应的空洞卷积解码器重构图像，并根据损失函数进行参数更新。在无监督学习阶段，MSDCAE自编码器在编码阶段采用空洞卷积，设置每个卷积核的dilation参数分别为1、2、3进行运算，得到3种不同感受野尺寸的特征图，充分考虑了局部以及更大范围特征。然后，本文提出一种对不同参数的空洞卷积得到的特征进行连接的策略。空洞卷积核的输出权值根据模型关注目标特征的尺度特性不同来进行调整，基于多尺度空洞卷积的编码器输出计算如下：

其中，n为空洞卷积的尺度种类数，Ki为第i种尺度的空洞卷积，Ai为不同尺度的空洞卷积核的输本文MSDCAE模型考虑更大范围特征，所以随着dilation参数的增大，其输出权值也会随之调整，使其对于更大范围的特征表达更为充分。在得到空洞卷积的连接输出后，经过激活函数计算输出编码器的特征表达。在解码阶段，MS⁃DCAE根据编码卷积核来调整解码器的空洞卷积核参数，分别得到重构特征，结合激活函数运算得到解码器的重构结果。整个MSDCAE自编码器通过损失函数对比重构结果和原始数据，进行参数更新。

3.2 基于类间距离的损失函数设计

在图像识别领域，Softmaxwithloss损失函数多应用在卷积神经网络多分类中。Sotfmaxwithloss损失函数如下所示：

在L中，1{y(i)=j}是示性函数，损失函数先经过softmax运算再计算多项逻辑损失。

由于火灾前期起烟图像与森林充满雾气的图像有一定相似性，单纯用Softwithloss作为整个模型的损失函数难以保证相似分类的识别性能。另外，图像在大雾、沙尘等环境下同类图像样本的聚合程度较低。针对上述不足，在Softmaxwithloss基础上进行改进，设计了一种新的损失函数（Improved Softmaxwithloss，ISWL）。ISWL损失函数在考虑全部类别样本的基础上，将相似类别样本之间的距离增大，并适当提升同一类别样本特征的聚合度。

Softwithloss损失函数较少考虑烟雾、雾气等相似类别样本均值之间的距离，现将其作为关注因素，提出L1公式：

其中X(p)为第 p类样本的算术平均值，L1公式计算每一类样本与其它每类样本之间的均值距离，在反向传播的过程中，L1公式求导为

除了增大相似类别样本之间的距离外，还考虑到森林烟火图像在不同因素情况下导致同类样本过于分散，所以结合L2公式控制提取到的同类样本特征的聚合程度：

在本文神经网络模型训练时，L1，L2结合Softmaxwithloss共同组成一个新的Improved Soft⁃maxwithloss损失函数。总的损失函数表达式为

ISWL损失函数由三部分组成，第一部分是原Softmaxwithloss函数；第二部分是考虑不同类别之间均值距离的子项，由参数α根据相似分类的混淆程度调整；第三部分则是考虑同类样本的聚合度，同样受参数α影响。

4 实验结果与分析

4.1 数据与预处理

目前，图像识别中使用较多的数据库有MNIST，CIFAR等。但由于这些数据库中并没有足够的满足本文研究森林火灾烟火识别的多类型图像样本，所以为了更好地训练出能识别现实森林火灾烟火过程的模型，本文选取火灾前期起烟森林图像、火灾中烟火共存的森林图像、大范围明火森林图像以及森林雾气图像作为具代表性的数据类别，通过数据挖掘技术每类分别抓取1100张不同图像作为数据集，其中每类220张作为测试集。训练集与测试集每张图片均不重复。部分数据集图片如图3所示。

图3 部分数据集图片

在本文实验中，从训练集按照10%的比例随机选取验证集，在有监督学习的训练中进行验证。为了降低数据分配对实验结果的影响，每组实验都采用十折交叉验证法计算平均值。

4.2 实验结果与分析

4.2.1 验证MSDCAE自编码器的有效性

实验设置随机初始化参数的卷积网络、基于卷积自编码器的卷积网络和基于MSDCAE自编码器的卷积网络进行对比。表1后三个三元组为采用MSDCAE自编码预训练模型下，不同尺度的空洞卷积输出权值 (A1，A2，A3)的具体取值，Ai为对应dila⁃tion参数值i的权值。

从表1可以看出在无监督学习阶段，使用自编码器预训练的神经网络具有更高的精确度，而MS⁃DCAE自编码器将不同尺度空洞卷积特征的连接后，在（0.2，0.3，0.5）权值组中取得较好效果，而在（0.33，0.33，0.33）的均值化权值组中，模型表现还不如基于普通卷积自编码器的网络，说明在烟火监测图像中，充分关注更大范围特征会得到更好的预训练参数，也体现森林火灾监控图像范围大、距离远的特点。

表1 不同模型的准确率对比

4.2.2 验证ISWL损失函数的适用性

神经网络模型的优化依赖于网络参数的更新，而损失函数的梯度直接影响参数更新。本文在有监督的神经网络训练阶段中分别采用MSE、Soft⁃maxwithloss和ISWL作为模型的损失函数进行训练。表2为ISWL损失函数不同的α取值下，各损失函数的准确率对比。

表2 不同损失函数的准确率对比

从表2可以看出，采用ISWL损失函数对比MSE和Softmaxwithloss准确率有明显提高。在α=0.2的ISWL中取得最高的准确率，这主要是考虑了森林火灾烟火图像中相似分类的距离。在火灾烟火图像中，起火产生的烟雾和森林雾气是相似分类，如果不考虑类间均值距离，训练的模型会有造成误判的可能，而ISWL的提出使模型准确率得到提高。

图4 损失函数效果对比

从图4（a）可以看到ISWL损失函数比Softmax⁃withloss损失函数有更低的损失，而且相对更快达到收敛状态，证明了改进ISWL损失函数的有效性。图 4（b）、图4（c）为 Softmaxwithloss和ISWL损失函数训练网络所提取特征经PCA降维后的聚合程度对比。

可以看出，Softmaxwithloss较少考虑相似分类的均值距离，其分类的特征聚簇判别性不强。网络经ISWL损失函数训练后相似分类的距离明显增大，各类样本也向类别中心靠拢。

4.2.3 基于MSDCAE自编码器的神经网络优化

本文在基于MSDCAE自编码器无监督预训练卷积核的基础上，结合ISWL损失函数进行有监督标签的训练学习。为了更好地得到满足森林火灾烟火监测的神经网络模型，对激活函数选择、学习率大小、学习率衰减策略和输入数据尺寸等因素作实验对比。结合实验结果分析这些因素对网络性能的影响，训练出适用于森林火灾烟火监测的模型。

在神经网络中卷积核提取特征一般是线性特征，而通过激活函数非线性计算后特征有更好的表达。选取Sigmoid、Tanh、RELU和PRELU激活函数作为对比，实验结果如表3所示。

表3 不同激活函数的准确率对比

从表3中可以看出，Sigmoid和Tanh函数在本文网络中相比表现较差。而RELU和PRELU函数能解决梯度弥散的问题，能有效地反向调整更新参数使网络的总体损失收敛，从而在训练后能达到相对较高准确率。而PRELU相比RELU，在负半轴加入参数修正，有更好的效果。

在神经网络反向传递梯度更新权值的过程中，权值会根据学习率设置进行更新。较大的学习率能提升训练速度，但过大的学习率会使权值在最优点附近震荡。本文网络通过设置为0.01、0.003、0.001和0.0003等不同的学习率来进行对比，实验结果如表4所示。

表4 不同学习率大小的准确率对比

从表4可见，较大学习率能够快速收敛，而较小学习率则相对缓慢。而随着迭代次数增加，不同学习率变化都逐渐稳定，0.01学习率经过迭代能得到最小的损失值以及最大准确率。在本文模型中，选择0.01作为最优学习率损失函数会有更好的收敛效果。

在训练中，随着时间变化而适当调整学习率衰减策略能有效提升训练效率。学习率衰减策略有FIXED、STEP、INV和POLY等。现选取上述衰减策略进行对比实验。

表5 不同衰减策略的准确率对比

从表5可以看出，不同的衰减策略经过训练所达到的精确率较接近。在FIXED学习策略下，学习率大小相对固定所以得到更好准确率。从结果可知，FIX衰减策略的效果更好。

除了模型自身参数之外，输入图像的尺寸往往也影响着模型的学习性能。因此本文设计了几组不同尺寸的图像，并输入到神经网络当中进行训练学习，实验结果如下所示。

表6 不同图像尺寸的准确率对比

从表6可以看出，准确率随着图像尺寸的缩放而变化。尺寸越大，准确率越大，但相应的运算参数也急剧增加，网络训练时间也明显增长。总的来说，对于不同的图像尺寸其准确率相差不大，在时间允许的范围内可以使用分辨率较高的图像。

5 结语

本文结合MSDCAE多尺度空洞卷积自编码器以及基于森林烟火图像相似分类改进的ISWL损失函数，提出一种新的基于卷积网络的森林火灾烟火监测方法；该方法在无监督学习阶段，针对森林火灾范围大距离远的特点，在自编码器中使用空洞卷积进行大范围特征提取，提升在干扰下的不变性，并根据不同烟火图像有效特征尺寸的变化性，量化考虑局部及更大范围特征，提出一种连接多尺度特征的提取策略；另外针对森林火灾烟雾及雾气等相似分类，提出关注类间均值距离及类内聚拢程度的ISWL改进损失函数及其更新推导。实验结果验证了MSDCAE自编码器在无监督学习中能提取更优的特征表达，以及ISWL损失函数对于相似图像分类的优越性。最后结合网络参数对比实验优化网络性能，证明其有效性。接下来，结合烟火图像中的其它天气特征数据，在本文研究的基础上，分析整个森林火灾过程的发展趋势。