露天矿山智能视频识别系统平台应用研究

时间：2024-07-28

曲业明，付恩三，孙宝志，赵浩，王刚，夏庆宇

（1.内蒙古吉林郭勒二号露天煤矿有限公司，内蒙古锡林浩特 026200；2.辽宁工程技术大学，辽宁阜新 123000；3.应急管理部信息研究院，北京 100029；4.应急管理部研究中心，北京 100013；5.神华销售集团东北能源贸易有限公司，黑龙江哈尔滨 150000）

随着露天煤矿生产能力的逐步提高，爆破、剥离、采煤、排土等工艺环节逐步发展，矿山大型设备数量逐年增加，一系列配套设施设备的投入使用，使得露天矿山开采系统变得复杂化[1]。随着矿山经营模式的改变，参与矿山工程作业中本单位、外委单位的设备、人员交叉作业频率增大，作业范围重叠区域变多，人机交互作业环节增加，机械化程度增强，这些都给露天矿山生产带来新的安全风险[2-3]。如何通过智能视频识别的手段，来对露天矿山的各个生产环节进行智能管控，具有重要的意义[4-5]。目前，国内大型露天矿山已在生产办公区、机修车间、选煤厂、炸药库等关键位置部署了高清视频摄像头，实现各类关键地点视频信息接入及实时调阅。但当发生违章等异常行为时，需要完依靠露天矿山安全管理人员进行事后人工识别，导致取证过程中，需要调阅的大量视频信息，过程繁琐，识别周期长，工作量大，耗费大量的人力物力，并且由于人的视觉疲劳等主要因素影响，违章片段很容易被忽略，导致违章行为识别准确率低，不能实现实时违章信息的智能识别，发生各类安全隐患后，各类报警处置信息联动不及时。

付文俊[6]等针对煤矿工业监控系统不能通过视频图像进行分析处理和判断预警等问题，提出全矿井煤矿安全智能视频系统，进而在实现“看”和“存”的需求上满足“管”的需求；赵俊杰[7]等为解决燃煤火力发电厂生产中精准监控的问题，基于大数据分析和深度神经网络，开发视频数据AI 识别预警系统，成功应用于国电东胜热电公司，提高了安全风险管控和应急处置能力。露天矿山通过探索创新，充分利用人工智能在图像识别、深度学习等领域的优势，构建露天矿山智能违章视频识别系统平台。针对露天矿现场常见的胶带堆煤、破碎站大块卡死、调度室脱岗离岗、操作工人违章操作、驾驶司机接打电话、储煤场自然发火、变电站烟火故障、区域入侵等现象，及时、精准、自动推送报警，提高露天矿山生产过程的安全风险管控和应急处置能力[6-10]。

1 露天矿异常状态场景研究

针对露天矿山异常状态场景主要面向露天矿山安全生产过程中人的不安全行为和物的不安全状态2 个方面。露天矿山人的不安全行为主要集中在从业人员的违章行为，物的不安全状态主要集中在矿山设备的运行状态。为实现露天矿山智能管控，需在露天矿关键的位置点部署高清摄像头。露天矿高清摄像头部署空间位置如图1。

图1 露天矿摄像头部署位置

1.1 露天矿带式输送机异常状态识别

随着露天矿开采深度的逐步加大、运距的增加，露天矿山带式输送机运输优势逐渐凸显。由于长距离的带式输送机运输，日常的带式输送机巡检工作就显得尤为重要。带式输送机运煤的过程中常常出现在转载点堆煤、胶带跑偏等异常状态，如若不能及时发现异常状态，将对露天矿山生产带来影响。露天矿带式输送机异常状态识别主要包括：胶带堆煤、胶带着火、胶带跑偏、胶带异物、胶带空转以及人员跨越带式输送机等主要异常状态。为实现对露天矿带式输送机异常状态的识别，需要在带式输送机转载点、带式输送机运行中心处、带式输送机安全界限周围安装部署视频摄像头，将上述视频流通过矿山内网传输至智能视频分析服务器，来实现对带式输送机异常状态的实时智能识别。

1.2 人员劳保用品佩戴识别

露天矿山从业人员应严格按照相关规程、规范进行操作作业，防止发生人身事故。根据露天矿山多起事故类型，结合露天矿山智能视频识别系统，归纳总结如下几种违章行为涵盖：安全帽识别、防尘口罩识别、绝缘手套识别、高空作业安全带识别、焊接防护面具识别等场景。根据上述识别场景，需要将高清摄像头部署在上述人员作业区域，例如：配电柜上方需要部署摄像头，角度能清晰获取电工是否佩戴绝缘手套进行配电箱操作；焊接车间焊接区域上方部署高清摄像头。当发生异常行为后，系统自动报警，融合车间语音广播系统，智能干扰从业人员的违规行为，防范发生违章事故。

1.3 驾驶人员违章行为识别

露天矿山主要以间断工艺和半连续工艺为主，矿山大量的运输卡车参与矿岩运输工作，驾驶司机的违规行为时有发生，是导致露天矿山运输事故的主要原因。目前，国内大型露天矿山在驾驶室安装了行车记录仪以及视频监控系统，但仅作为事后调查取证，需要调查人员将车载视频拷贝后，进行查找证据。因此，将驾驶司机违章识别算法嵌入摄像头前端，实现对司机接打电话、瞌睡、未系安全带、闭眼、抽烟等行为进行智能识别。利用露天矿山网络，将违章视频片段上传至视频系统平台，智能干预司机违章行为，防止发生矿山运输安全事故。

1.4 其他异常状态识别

在露天矿山的其他关键位置，例如：调度室、储煤仓、破碎站、带式输送机车间、滑坡区等位置部署高清摄像头，实现区域入侵、破碎站区域车辆聚集、脱岗离岗、储煤仓烟火、采掘设备近距离作业、焊接作业无灭火器、带式输送机车间运行清浮煤、破碎站卡块等异常状态，通过智能视频识别的方式，实现快速感知，智能处置。

2 智能视频识别流程及关键技术

露天矿山智能视频识别涉及到的关键技术包括：数据的标注、模型的选择和训练，模型推理、视频图像处理技术、目标检测以及相应的视频接入协议等关键内容。推理逻辑如图2。

图2 推理逻辑图

2.1 视频图像预处理技术

露天矿特定场景下视频图像预处理的目的是为了图像能够更好地为露天矿山违章场景识别服务，以提高视频图像识别的准确率[11]。目前，在其他行业领域中，视频图像预处理的过程，通常采用方法：对彩色三通道图像进行灰度化处理、二值化处理等；与此同时，采用低通滤波、均值滤波、中值滤波和直方图归一化等平滑处理方法来降低图像成像过程中的噪声影响，通过采用高通滤波器处理和拉普拉斯算子算法对图像特征进行处理，对图像进行边界检测、边缘检测、区域连接等技术处理[12]。

1）图像编码压缩技术。由于露天矿山网络带宽有限，需要均衡对视频图像的传输通道资源的占用比率。需要采用新的技术手段来降低视频数据对带宽的高强度占用，因此提出采用图像编码压缩技术，降低图像、视频传输、处理时间等方面对存储器容量的占用。采用图像编码压缩技术后，必须保证图像的不失真，否则，数据无法正常使用[13]。

2）图像特征描述技术。图像特征描述使用相应的特征算法，对图像中的所有物体进行特征描述。将图像分成小的连通区域，然后采集连通区域中各像素点的梯度或边缘的方向直方图，实现对图像关键信息的直观描述。

3）图像增强和复原技术。图像增强和复原的目的是为了提高图像的质量，去除图像噪声，提高图像的清晰度。图像复原，需要根据降质过程建立“降质模型”，再采用相应的滤波方法，以此来恢复或重建原来的图像。

4）人工智能AI 模型。人工智能AI 模型的构建过程是对训练集打上相应的标签，通过深度学习模型进行训练，生成相应的模型文件。最后将通过训练学习的模型数据，与模型文件里的数据相比对，并将比对所产生的差异，使用欧几里德距离公式、归一化评分函数进行量化。反复重复上述过程，逐步调整模型参数，最后得出相应的AI 模型算法。

3.2 视频识别关键点

1）目标检测。目标检测判断一张图片里的物体种类，同时确定各物体分别在图片中的位置。一般包括目标分类和目标定位2 个子任务。

2）目标跟踪。目标跟踪在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置，可分为单目标跟踪与多目标跟踪。

3）目标分割。图像语义分割是图像处理和是机器视觉技术中关于图像理解的重要一环，也是AI 领域中一个重要的分支。语义分割即是对图像中每一个像素点进行分类，确定每个点的类别（如属于背景、人或车等），从而进行区域划分[14]。目前，主流的图像语义分割方法都是基于深度学习的框架来设计，结合着露天矿山领域，图像语义分割技术主要实现对露天矿山皮带设备、人员安全作业、人员安全用品佩戴等方面的视频图像进行分类。提高计算机对露天矿山的特定违章场景进行识别和认知水平，提高视频识别技术在露天矿山的高级应用。

4）数据标注。采用专用的数据标注软件对相应的数据进行标注，主要标注目标的检测类别和对应的检测框坐标。

5）模型选择和训练。根据露天矿山的违章行为的建设内容及违章的行为，构建合适的模型。初步选定模型之后，根据需要对标注后的文件进行预处理，然后用预处理后的文件训练模型。在模型训练的过程中，多次对初步得到的模型进行各项指标的测试。根据测试结果，调整模型的相关参数。从而最终得到满足项目需求的模型。

6）模型推理。对得到训练好的模型由系统调度实现数据流的输入、模型的部署推理过程，并将模型识别推理结果进行返回输出，同时配合系统其他功能模块进行识别结果的统计、展示、存储等操作。

4 实例研究

国内某露天矿山为实现对露天矿山运输设备驾驶人员的违章行为进行智能管理，建设车辆智能识别系统。该矿目前共有100 余辆运输卡车在露天矿坑内运行，并且所有车辆内部均部署了视频摄像头，固定地点共有787 路视频。矿坑内已经部署4G 基站，实现数据的实时上传。每个基站目前可实现上传带宽20 M，主要用于传输露天煤矿基础生产数据。目前露天矿坑采场内部已实现4G 网络全覆盖。为实现对露天矿山驾驶司机的违章行为进行实时管控，提出构建露天矿山智能视频识别系统。

4.1 智能识别系统平台架构

露天矿山智能识别系统平台基于“云边融合”理念为基础的AI 云，即通过对图片的学习，加上深度算法，可以实现对图片、视频进行前端与后端相结合的智能视频识别+云端服务器。系统架构以“感、知、用”为主要切入点，提出了“感知边缘计算、数据支撑平台、系统行业应用”新主线，通过边缘节点、数据平台和云中心来实现露天矿山智能识别系统的建设。

4.2 智能识别系统功能应用

1）数据分析。系统软件平台可以通过折线图的方式，统计分析某一时间段内车辆报警趋势；系统软件平台可以通过饼图的方式，展示报警类型统计结果；系统软件平台可以通过列表排序的方式，对所有车辆进行行车里程分析；系统软件平台可以通过折线图的方式，对车辆上线/离线率进行分析；系统可以通过建立高危排行榜的方式，对驾驶员进行评分。

2）报警查询。系统软件平台支持多维度的报警信息查询：包括支持对车牌号、司机姓名、机构名称等关键字的信息查询；包括支持对不同周期内各类报警信息的统计查询；包括支持根据报警的风险等级进行报警信息查询；同时支持模糊查询。查询出的报警信息包括：车牌号信息、司机姓名、所属机构、违章类型、风险等级、报警时间、车速、驾驶证照、司机黑名单以及处置结果等内容。系统软件平台可对查询出的包括报警车辆基本信息、驾驶员基本信息、违章行为图片及视频信息进行查阅及下载。

3）视频调阅。系统软件平台可实现对驾驶车辆的实时进行实时调阅，同时，可实现对违章报警数据的实时看看，支持视频数据的下载导出功能。

4）参数绑定。通过车载主机上的网络与终端设备连接，从而对终端设备上的功能参数进行配置，主要用于辅助安装终端设备及终端设备的后期调校。

综上所述，该系统上线运行使用后，实现了对驾驶员违章行为的实时监管，实现对违章行为的超前干预，降低了事故发生的概率。