基于深度学习的烟火检测技术研究

唐晓晴　郭耀文

摘要：烟火检测是计算机视觉和图像处理领域的研究热点和难点，在无人基站监控、森林防火监控等方面具有广泛的应用。该文阐述了基于深度学习的烟火检测技术，全面分析了烟火检测技术以及深度学习理论的发展现状，研究了烟火检测技术的处理流程，并基于现有的YOLO v4模型进行了软件系统的实现。实验结果表明，深度学习技术在识别实时视频以及剪辑视频中对应的烟火时，均取得了较好的效果。最后，探讨了烟火检测技术在未来的进一步研究方向。

关键词：烟火检测;深度学习;YOLO;软件系统;图像处理

中图分类号：TP301      文献标识码：A

文章编号：1009-3044（2022）08-0085-03

1 引言

近年来，目标检测已成为图像处理方向研究的热点，烟火检测就是目标检测的一种，其核心内容是判断视频或者图像中是否含有烟火，并标记出烟火所在的位置。传统的烟火检测主要通过温度以及颜色等外观特征进行特征的学习，并使用对应的分类器判断特定区域内是否存在烟火[1-2]。但是该方法具有很大的局限性，研究者根据烟火的颜色特征，往往会将晚霞等目标误判为烟火。因此，仅通过外观特征不能够全面地描述物体的所有属性，很难满足实际的需求。

长期以来，研究者对烟火检测的研究主要基于外观属性特征的提取，因此在识别率方面一直未能取得很好的进展。直到深度学习理论的提出[3]，研究者开始使用卷积神经网络进行特征的学习，并多次成为ImageNet大规模视觉识别竞赛（ImageNet Large Scale Visual Recognition Challenge， ILSVRC）[4]的优胜算法。研究人员发现基于深度学习学到的特征，能很好地表现出物体的外在和内在的关联特征，具有更好的表达性。随着深度学习的不断发展，越來越多的研究者将其运用于图像的目标检测中[5-7]。本文基于深度学习理论实现的烟火检测技术，在文章结构上主要包含深度学习的相关技术，烟火检测的处理流程，YOLO v4模型的训练，最后通过对烟火的分析验证系统的准确度和实时性。

2基于深度神经网络的检测技术

深度学习的核心是深度神经网络（Deep Neural Network，DNN）。卷积神经网络是深度神经网络的一种，目前已经在视频分析，特别是目标检测领域得到广泛研究。本文描述的烟火检测就是目标检测中的一种，对应的检测目标就是烟火，而不是其他的建筑物、晚霞等物体。

2015 年，研究者提出了YOLO（You Only Look Once）模型[8]，并将其运用于目标检测。该模型的核心思想是通过无锚框（Anchor-Free）进行目标检测。随后，人们在YOLO模型的基础上产生了不同的版本，当前已经演进到YOLO v5[9-11]。YOLO v1与YOLO 进行相比，较好地解决了YOLO模型只能进行单目标，单分类的检测问题。随之而来的YOLO v2，在面对YOLO v1预测框不准确这一个问题，提出了一种并非直接预测bbox坐标的方法，而是改为预测基于grid的偏移量和基于anchor的偏移量。后来，研究者发现，YOLO v2也不是那么的完美，它在解决小目标的检测时，出现的错误率较高。因此，人们在YOLO v2的基础上又提出了YOLO v3，其基本核心思想是增加了多尺度预测， 并把YOLO v2的主干网络（Backbone）从19层的Darknet变为了53层的Darknet。随后的YOLO v4和YOLO v5都在原有YOLO架构的基础上，引入了卷积神经网络（CNN）领域中的优化策略，虽没有理论上的创新，但是在目标检测的识别率方面有了较大的提高。

3烟火检测系统

3.1检测流程

烟火检测最终的目的是将图像中的烟火标注出来，本文设计的烟火检测系统如图1所示。

（1）输入目标。本文主要的输入目标是视频源，需要对输入源进行解码操作。

（2）预处理。预处理阶段是指各种视频的前期操作，如去除块效应、校准以及增强图像等。

（3）帧过滤。该部分主要是过滤背景帧，提高后期目标检测的效率。

（4）特定目标检测。借助神经网络模型从视频流中检测火焰。

（5）烟火识别。将检测出的目标区域进行边界框标注，并给出相应的提示信息。

3.2 检测软件

烟火检测系统是一款基于C/S框架的软件系统，客户端主要完成视频的采集，服务端通过YOLO v4 模型的部署来完成视频的分析，检测出视频流中对应的烟火。

Python编程语言。Python与其他的Java，C++等语言相比，兼容神经网络以及机器学习等开源库，具有更好的兼容性。

软件前台GUI界面使用Qt开发库进行开发。主要用来开发图像用户界面（GUI）程序，也可以开发不带界面的命令行（CUI）程序。可支持 Windows、Linux等多种操作系统。该系统主要使用Qt中的QtGui模块，为程序提供GUI程序的基础功能，包括交互界面的创建以及交互事件的处理。

3.3 YOLO v4模型训练

YOLO v4模型的训练主要包含数据的标注、参数的调节、模型的训练、图像分类结果验证。具体步骤如下：

步骤1：标注数据集。在本文中，标注数据使用的标注工具是Labelimg。

步骤2：配置YOLO模型的参数。对于参数的选择，主要需要修改的模型参数包括batch、subdivisions、max_batches、steps4个主要的参数信息。

步骤3：模型训练。该步骤首先下载一个预训练模型，然后通过不断改变步骤2中的对应参数，得到一个训练完成的模型。

步骤4：分类验证。使用训练得到的模型，用新的测试数据验证得到的结果。

在学习结束后生成的模型loss在0.1503左右提前终止了训练，训练3万次左右，耗时38.36小时。详细的训练结果图如图2所示。

4系统验证

YOLO v4作为一个新兴的目标检测算法，有着很多其他系统没有的优点，它的最大的特点是实现快速检测的同时，还能具备高识别率。本系统除了可以识别上传普通视频中的烟火，还能有效识别实时视频中的烟火。

4.1实时视频验证

使用实时视频检测，需要当前系统检测摄像头打开，才可以开启检测，否则系统将会提示请检查设备，算法开始后如果检测到有烟火图像，系统将会显示dangerous并且会将检测到的烟火图像对应的时间记录下来，如图3所示。

4.2剪辑视频验证

如需检测视频，则将之前录制好的视频通过上传到系统中，等待上传成功后，点击检测按钮，即可验证视频中是否含有烟火等目标。若视频中包含对应的烟火目标，会展示一个对应的目标边界框。同时会在右下方的列表中显示视频出现的时间。详细结果信息如图4所示。

4.3识别成功率及分析

在系统验证过程中，除了上述比较简单且清晰度较高的视频外，本文还验证了一些复杂场景下的烟火视频，详细结果如表1所示。

从实验结果可以发现，在处理简单的烟火视频时，本系统的识别率能高达95%以上。判定为火焰。对于晚霞，太阳等颜色外观比较相似的烟火视频，也能较好地进行识别。但是在较为复杂的火灾现场视频中，存在少量误判，当天空被火焰映射时，部分天空也会被判定为烟火。

5结论

对于烟火的检测是近年來计算机视觉领域的一大热点问题，同时也是森林防火领域急需解决的技术问题。本文在现有的YOLOv4模型基础上，实现了基于深度学习的烟火检测系统。实验结果表明，卷积神经网络在进行烟火识别时，能够满足其在准确率和实时性方面的要求。

深度学习给烟火检测带来契机的同时，也带来了相应的问题。首先，与传统的机器学习方法相比，神经网络模型的训练需要使用的硬件设备要求更高。其次，深度学习训练需要大量数据集，在获取已标注的数据集和进行数据集的标注上，给研究者的研究带来了困难。再者，烟火检测采用的是目前通用的目标检测模型，在一些复杂场景的识别中，存在一定量的错误率，建立针对烟火的特定检测模型也是后续一个重要研究方向。

参考文献：

[1] 马忠.基于视频监控深度解析融合技术的实战应用[J].信息技术，2018，42（4）：121-124.[2] 陈娟.基于多特征融合的视频火焰探测方法研究[D].合肥：中国科学技术大学，2009.

[3] Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313（5786）：504-507.

[4] RussakovskyO，DengJ，SuH，etal.ImageNetlarge scale visual recognition challenge[J].International Journal of Computer Vision，2015，115（3）：211-252.

[5] 苏欣欣，郭元术，李妮妮.基于深度学习的车辆检测算法研究[J].信息技术与网络安全，2021，40（6）：28-32.

[6] 石磊.基于深度学习的烟火检测算法研究与实现[D].天津：中国民航大学，2020.

[7] 陈涛，路红.基于深度学习的行人检测技术研究[J].软件导刊，2021，20（1）：76-80.

[8] RedmonJ，DivvalaS，GirshickR，etal.You only look once：unified，real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：779-788.

[9] RedmonJ，Farhadi A.YOLO9000：better，faster，stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July21-26，2017，Honolulu，HI，USA.IEEE，2017：6517-6525.

[10] Alexey Bochkovskiy， Chien-Yao Wang， Hong-Yuan Mark Liao.YOLOv4： Optimal Speed and Accuracy of Object Detection[C]. IEEE Conference on Computer Vision and Pattern Recognition，2020.

【通联编辑：唐一东】