基于改进图像多特征的危化品火灾检测算法

张建东，刘学君，沙 芸，晏 涌，常梦洁

（北京石油化工学院 信息工程学院，北京102617）

随着我国社会经济的快速发展，化工产业的地位越来越重要，而在化工行业中安全生产是最重要的行业准则[1]。但是我国国内近几年发生了几起重大的危化品安全事故，例如“张家口11·28 重大爆炸事故[2]”、“天津港8·12 火灾爆炸事故[3]”等，这些惨痛的教训深刻地揭露了当前我国化工产业尤其是危化品行业在安全生产监管体系水平的严重不足，主要体现在安全生产和监测的技术专业性水平低下，行业内的法律法规不健全，缺乏可靠的危化品安全生产管理体系， 安全生产监测的人力资源[4]形势刻不容缓。

在各行各业中，火灾所引发的安全事故是最频繁同时也是最严重的事故类型之一，而且相比普通类型的火灾事故，化工尤其是危化品火灾，其危害后果更加严重，因为危化品堆垛火灾发生就会伴随着危险化学品的泄漏和火灾蔓延甚至爆炸的风险，一旦爆炸就会产生严重的破坏性后果，会造成重大的人员财产损失[5]。

为了实现对危化品堆垛的火灾检测，采用图像处理可以作为有效的方案之一。提取危化品堆垛火灾的火焰信息，可以结合图像边缘检测来达到目的[6-8]。

在信息化时代下，视频监控技术成为了安防行业不可或缺的部分[9]，为了得到危化品堆垛的实时火灾信息，可以利用实时视频流监控截图再结合图像处理来达到目的。本文采用改进型边缘提取算法提取图像中的火焰边缘关键信息， 检测火灾位置，及时发现及时预警。

在本文场景中，仿真实验具体内容如下：

（1）仿真场景：实验室模拟的危化品堆垛火灾；

（2）图像处理开发硬件设备：x64 架构处理器amd a10 5757m，8 g 内存；

（3）图像处理软件环境：win10 操作系统，visual studio 2013 开发环境，opencv3 库；

（4）时间：2020.10；

（5）地点：北京石油化工学院，北京。

1 危化品堆垛火灾场景的模拟

由于危化品堆垛的火灾场景目前没有权威的公开数据集[10]，且为了尽可能地还原危化品堆垛的火灾场景，本文参考了火灾检测实验领域内使用较多的公开视频流数据，见参考网址：https：//mivia.unisa.it/datasets/video-analysis-datasets/fire-detection-dataset/，视频流截图效果如图1和图2所示。

图1 燃烧场景1 视频流截图Fig.1 Video stream screenshot of combustion scenario 1

图2 燃烧场景2 视频流截图Fig.2 Video stream screenshot of combustion scenario 2

利用模拟的危化品堆垛和火焰模拟发生器，仿照真实场景制作了危化品堆垛的模拟火灾场景，如图3所示。

图3 模拟危化品堆垛火灾场景视频流截图Fig.3 Screenshot of video stream of simulated hazardous chemicals stacking fire scene

从视觉上来说具备较高的仿真度，所以本文的所有算法效果都是基于这个模拟的危化品堆垛火灾场景得出的结果。

随机选取3 张现场视频流截图1～3，如图4、图5和图6所示， 同时以这3 张截图的算法处理效果作为本文的参考和评价指标。

图4 模拟危化品堆垛火灾场景 截图1Fig.4 Screenshot 1 of simulated hazardous chemicals stacking fire scenario

图5 模拟危化品堆垛火灾场景 截图2Fig.5 Screenshot 2 of simulated hazardous chemicals stacking fire scenario

图6 模拟危化品堆垛火灾场景 截图3Fig.6 Screenshot 3 of simulated hazardous chemicals stacking fire scenario

2 相关边缘检测算法的火灾检测效果

2.1 传统Canny 算法的效果

边缘检测算法中应用广泛的算法是Canny 算法[11]，首先利用Canny 算法对本场景下进行火灾的边缘信息检测， 其中， 截图1～3 对应的传统Canny火灾边缘检测效果如图7、图8和图9所示。

图7 传统Canny 火焰检测效果图 截图1Fig.7 Traditional Canny flame detection effect picture screenshot 1

图8 传统Canny 火焰检测效果图 截图2Fig.8 Traditional Canny flame detection effect picture screenshot 2

图9 传统Canny 火焰检测效果图 截图3Fig.9 Traditional Canny flame detection effect picture screenshot 3

根据以上效果图可以发现，Canny 算法虽然能对火灾信息进行边缘检测，但是同时也存在大量的非火焰因素的边缘信息，这就造成了大量的干扰信息。

2.2 改进型Canny 算法的效果

由于传统Canny 算法的火灾边缘检测效果存在大量的干扰信息，所以参考文献[12]采用局部去杂全局去噪的改进型Canny 算法，将其复现应用于截图1～3 中，观察其火焰边缘检测效果，如图10、图11和图12所示。

图10 改进型Canny 火焰检测效果图 截图1Fig.10 Improved Canny flame detection effect picture screenshot 1

图11 改进型Canny 火焰检测效果图 截图2Fig.11 Improved Canny flame detection effect picture screenshot 2

图12 改进型Canny 火焰检测效果图 截图3Fig.12 Improved Canny flame detection effect picture screenshot 3

2.3 相关Canny 算法的不足之处

可以发现，相比传统的Canny 算法[11]，针对本场景，去噪去杂改进型Canny 算法[12]虽然能在一定程度上减轻全局噪点和前景火焰区域局部的细小纹理的去除， 但是依然存在较多的非火焰因素干扰，大部分的干扰因素都不能有效去除，两者算法的火焰边缘检测效果都不能作为提取火灾火焰边缘信息的可靠支撑数据。

3 颜色特征算法的火灾检测

由于相关的Canny 边缘检测算法对于火灾检测的抗干扰性欠佳，所以利用火灾检测的另一个常规方法，像素多特征检测算法，涉及到对像素的颜色空间、像素分类的处理。参考并复现了文献[13]的算法应用于截图1～3 的火灾火焰边缘检测，效果如图13、图14和图15所示。

图13 像素多特征的火灾检测效果 截图1Fig.13 Effect of fire detection based on multi pixel features screenshot 1

图14 像素多特征的火灾检测效果 截图2Fig.14 Effect of fire detection based on pixel multi features screenshot 2

图15 像素多特征的火灾检测效果 截图3Fig.15 Effect of fire detection based on multi pixel features screenshot 3

根据图13～图15的效果，可以发现，火焰的背景中干扰物边缘信息相比传统的Canny 算法和改进型的Canny 算法的效果，要减少很多。但是背景中的干扰信息依然不容忽视， 还需要尽可能地减少，这样才更有利于火焰信息检测的准确度，更好地支撑后续基于火焰边缘特征信息的火情判断和预警。

4 改进型火焰边缘检测算法

为了能在保留火焰主体边缘特征的同时，尽可能去除相关的非火焰因素的干扰， 尤其是背景干扰。针对传统Canny 算法、相关改进型Canny 算法以及常规的像素多特征检测火焰信息的不足之处，本文经过调研相关文献[12-15]，经过算法改进之后，采用结合像素RGB ＆ HIS 信息、图像相与处理[13]、otsu前后景分离[16]、二值图边缘提取方法[17-18]得到火焰区域边缘信息。

改进算法的具体流程如图16所示， 相关算法公式如式（1）～式（3）所示。

图16 改进型危化品堆垛火灾边缘信息检测流程Fig.16 Flow chart of improved edge information detection for dangerous chemicals stacking fire

4.1 像素RGB & HIS 信息的处理

式（1）用于提取危化品堆垛火灾场景下的大致火焰区域。

式（1）中：参数R，G，B 分别是像素RGB 的红色分量、绿色分量、蓝色分量；Rt 是整张图片所有像素点的红色分量的阈值，一般在115～135 之间；S 是像素HIS 信息分量中的饱和度值；St 是整张图片所有像素点的饱和度值的阈值，一般在55～65 之间[13]。

这一步得到图像中大致的火焰区域后，可以用中值滤波手段平滑去噪[13]，一定程度上降低可能存在的细小噪点干扰信息。

4.2 火灾场景的前景和背景的分离

式（2）是otsu 算法[16]，用于分离图像的前景和背景，可以更加准确地区分火焰前景和背景，处理效果是二值图，为后续的图像相与处理减少背景的干扰因素做铺垫。

式（2）中：m×n 为原始图像尺寸，灰度化处理后，利用像素灰度阈值t，对图像进行分类，即前景像素和背景像素；n0是前景像素数目， 占比为w0；u0是前景像素的平均灰度值；n1是背景像素数目，占比为w1；u1是背景像素的平均灰度值；u 是全图的平均灰度值；g 是类间方差。当g 最大时，对应的阈值t才是分离前景和背景的最佳阈值。

4.3 图像相与处理去除主要干扰信息

式（3）是将大致的火焰区域二值图和otsu 效果二值图进行相与处理[13]，得到干扰信息进一步减少的火灾火焰区域特征图。

式（3）中：1111 1111 表示255 的像素值，即白色像素；0000 0000 表示0 的像素值，即黑色像素。

只有两个像素值都为255，其相与结果才会是255，即白色像素，否则相与结果都是0，即黑色像素。

4.4 火灾二值图的边缘提取

在上一步的基础上，利用二值图边缘提取技术[17-18]，对4.3 环节中的火焰区域特征图进行边缘提取，得到初步火灾火焰边缘二值图。

4.5 提取无火灾场景边缘二值图

对于无火灾场景重复做4.1～4.4 环节，得到无火灾场景边缘二值图。

4.6 有火和无火边缘二值图相与处理

4.4 环节中的初步火灾火焰边缘二值图再和4.5 环节中的无火灾场景边缘二值图进行相与处理，得到干扰信息相对最少的最终火灾火焰边缘二值图。

5 实验结果

根据本文改进型算法的流程，对截图1～3 进行实验，结果如图17、图18和图19所示。

图17 本文算法火焰检测效果 截图1Fig.17 This algorithm flame detection effect screenshot 1

图18 本文算法火焰检测效果 截图2Fig.18 This algorithm flame detection effect screenshot 2

图19 本文算法火焰检测效果 截图3Fig.19 This algorithm flame detection effect screenshot 3

6 评价指标

参考文献[12]的效果图评价参考，构建手工勾勒的标签图。对火灾现场的截图1～3 的主体内容，进行手工线条勾勒，再二值化处理，白色化处理火焰区域线条和主要的非火焰内容区域的线条。再利用各个算法的火焰检测边缘二值图和对应的手工勾勒二值图进行图像相与处理， 可以得到截图1～3火焰检测的正确率。

火焰检测的评价指标的正确率如公式（4）所示：

式中：NumLabelA：火焰标签图label_A 的白色点数；NumLabelB： 非火焰标签图label_B 的白色点数；numA：各个边缘提取算法和火焰标签图相与得到的公共白色像素点数；numB： 各个边缘提取算法和非火焰标签图相与得到的公共白色像素点数。

说明：手工标签图用8 px 勾勒，目的是减少误差，因为传统Canny 算法、改进型Canny 算法以及本文改进型算法都是1 px 勾勒的边缘二值图，所以最后的公共白色像素点数要乘8 处理。

各个算法针对模拟危化品堆垛火灾场景的火焰检测正确率，如表1所示。

表1 各个算法的火焰检测正确率Tab.1 Flame detection correctness of each algorithm

7 结语

基于边缘检测提取危化品堆垛火灾信息，本文算法的火焰检测正确率分别为91.9%，94.3%，94.2%，平均正确率是93.5%；传统Canny 算法平均正确率是28.6%；改进型Canny 算法平均正确率是30.7%； 常规的像素多特征检测平均正确率为89.4%。相比传统的Canny 算法、改进型Canny 算法以及常规的像素多特征的火灾火焰边缘检测效果，本文采用的改进型算法能保留火焰边缘主体信息，降低非火焰因素的干扰，检测正确率更高，有利于后期基于火焰边缘特征判断火情状态，及时发现及时预警。

下一步可以将火焰图像结合烟雾信息，进行火灾的综合处理判断，进一步提高危化品堆垛火灾检测效果和进行早期预警。