一种基于深度网络的胶带煤流粒度估计方法

张 卿，冯化一，张虎平，楚遵勇，王佳乐

(1.国电建投内蒙古能源有限公司，内蒙古 鄂尔多斯 017000；2.天津美腾科技股份有限公司，天津 300000)

目前，很多选煤厂将毛煤直接入洗。煤矿在多工作面开采时由于地质构造不同，造成毛煤质量、粒度波动较大，因此选煤厂在毛煤给煤、输送、转载、分选、洗选等过程中存在质量不均、粒度不均的情况，严重影响了工厂生产[1]。首先，质量、粒度不均匀的毛煤，在给煤过程中经常造成给煤机卡堵，导致给煤不畅，给煤机不能基于稳定流量给煤[2]。其次，由于给煤环节的流量波动，导致入选、洗选环节处理量瞬时波动严重，系统处理能力不能达到设计值。除此之外，毛煤的粒度不均，可能发生胶带短时间同时存在大量大颗粒物料的情况，致使运输胶带集中受力，发生转载溜槽卡堵现象，以及设备内部保护刮卡、刮煤棒受力不均造成变形，浅槽分选机刮板变形等情况[3]。这些情况会严重威胁系统安全稳定运行，而且降低了生产效率[4]。

目前，受制于技术瓶颈和恶劣的工作环境，煤炭洗选加工过程中，仍然只能依靠岗位工人巡检结合调度室调节的方式控制毛煤下料时的粒度组成，从而尽可能保证洗选质量稳定、处理量最大[5-6]。这种方式不仅存在工人主观评判标准不一的情况，还会因为工作内容单一造成员工疲惫、分心。

1 研究现状

对于铁矿石等分选工厂，基于图像识别的粒度识别技术渐渐成为主流[7]。张建立等[8]利用形态学差异对铁矿石进行轮廓检测。蔡改贫等[9]利用Canny算子提取铁矿石边缘特征，进而对矿石图像进行分割。然而，相关文献中几乎没有煤炭识别的研究。究其原因，是由于相对于铁矿石等物料，煤炭颜色单一、吸光性强。因此在图像中物块与物块之间的间隔不明显，加上物料中的粉末状煤炭填充在块状物料缝隙的情况，更会加剧块状物料间隔模糊不清的状况[10]。除此之外，传送带工作过程中粉末状煤炭产生的烟尘以及自身的强吸光特性造成图像对比度不足，也限制了基于图像分析的粒度识别方法在煤炭行业的应用[11]。图1分别给出了铁矿石、锰矿石、铜矿石和煤炭的实例。可以看出，本文研究对象不仅边缘信息区分度低，而且存在粉末状部分亮度不足，整体颜色信息欠缺等情况。因此，目前存在的自动粒度识别方法不适用于煤炭粒度分析与估计。

图1 矿石样本实例

根据实际生产场景，结合传统机器视觉中的图像处理方式与深度学习，提出一种胶带机中煤块粒度估计的方法。具体来说，在图像预处理上，采用改进的均值滤波算法对图像进行降噪，消除由镜面反射造成的光斑效应。并利用一种自适应直方图均衡化方法对图像进行增强，提升暗区域目标的可区分度。然后，利用本文提出的一种SSD[12]结合ResNet的深度网络结构，即SSD-ResNet50深度网络对块状物块标定，统计检测框尺寸。并根据生产中得到的实际粒度信息与检测框面积的对应关系，估计当前胶带机上煤炭的粒度组成。实验结果证明，此方法在保证实时性与高精度检测的基础上，可以有效估计图像中煤流的粒度组成，达到自动检测的目的。

2 研究方法

2.1 面向弱边缘信息的煤流图像增强方法

由于煤炭的物理特性，胶带上的物料往往存在两种性状，即粉末状和块状。粉末状的物料会穿插在块状物料之间，使得块状物料之间的边缘变化过于平缓[13]。这主要由两个因素造成。首先，粉末状物料将梯度变化剧烈的物块边缘掩盖。其次，粉末状煤炭具有很强的吸光特性，造成物块边缘部分亮度不足，对比度下降。不仅如此，相对于铁矿石等其他矿物，煤炭本身由于颜色单一且极为相近，边缘信息也不明显，造成胶带机上的煤炭区分度不高。这也是现存矿物粒度估计方法不适用于本课题的主要原因。因此，笔者提出一种旨在去噪并平衡图像中光照分布的图像增强方法。

由于块状煤炭的类晶体特性，在成像过程中其局部会存在由镜面反射引起的高亮光斑效应。如图2左侧所示。由于光斑与其周围同目标区域差别明显，更接近一个独立目标的形式存在，因此会影响检测结果的精度。由于随机分布的光斑可以被看作一种尺寸不一的椒盐噪声，因此笔者提出了一种改进的中值滤波函数，将滤波窗内的最大灰度值用中值代替，采样窗口尺寸为5×5，能够有效抑制光斑干扰，如公式(1)所示。

g(x，y)=

Mat(x，y)=f(x-2：x+2，y-2：y+2)

(2)

其中，f(x，y)是原图像；g(x，y)为处理后图像。Mat(x，y)表示以(x，y)为中心的5×5窗口区域所有的像素点。

可以看出，与传统中值滤波不同，本方法在一次滤波过程中，并非仅改变滤波中心位置的单个像素值，而是改变滤波窗口中所有满足公式(1)的像素。从而可以在一次滤波时处理不同尺寸的光斑。该方法的滤波效果如图2右侧所示。本方法在保持了保边效果的同时，可以有效减少镜面反射引起的光斑效应。

图2 原始图像(左)与滤波后图像(右)

煤流上煤块不均匀的分布，导致不同区域的亮度不一致，尤其是粉末状物料聚集的部分，强吸光特性造成该区域对比度不足，这种区域称为“暗区”。暗区内的目标难以检测。基于此，笔者设计了一种非线性自适应直方图均衡化的方法平衡光照分布。

直方图均衡化是使用概率密度函数对图像灰度进行调整[14]，设h(rk)为原始图像的直方图分布，w(x，T)为加权函数，T为一个参数集。按照式(3)统计原始图像的直方图得到h(rk)，其中nk为灰度级，是rk的像素总数。

h(rk)=nk

(3)

根据h(rk)的性质，计算出加权函数w(x，T)的参数集T0，从而确定加权函数w(x，T0)，然后用该函数对原始煤块图像的直方图分布h(rk)进行如下公式的加权处理。

Pr(rk)=h(rk)×w(x，T0)

(4)

用加权后的直方图Pr(rk)，按公式(5)计算出每一灰度级的累计概率分布，作为灰度变化系数。

最后，根据灰度变换系数，按公式(6)计算出各像素点图像增强后的灰度值。其中“[]”符号表示取整操作。

Tk=[255×sk]

(6)

图像增强前后的对比如图3所示，可以看出，右侧图像中的煤块边缘更加清晰，尤其是暗区部分，这为特征提取奠定了基础。

图3 图像增强前后对比

2.2 基于深度网络的块状煤炭粒度识别方法

卷积神经网络是一种有监督的机器学习网络。它可以通过训练和学习过程，抽象化并提取图像中的高维特征，同时提高数据在空间上的相关性。基于深度学习的目标检测方法可以分为Two-stage和One-stage网络[15]。以YOLO[16]和SSD[17]为代表的One-stage网络的检测速度有很大优势，而且SSD网络具备良好的移植性，对于工业应用友好性强。基于检测速度与检测精度平衡的角度，笔者提出一种快速检测模型SSD-ResNet50，它有效结合了SSD模型与ResNet模型[18]的优点，接下来的行文将主要介绍该模型的设计思路与设计方法。

SSD目标检测利用VGG网络对输入图像进行浅层特征提取[19]，并通过增加的4组卷积层对浅层特征进一步提取，经过一系列特征提取过程后，选取不同层输出的特征进行位置偏移和类别的预测。最后，通过Loss和非极大抑制得到最终检测结果，SSD网络如图4所示。

图4 SSD网络结构

SSD网络会对检测到的目标精准定位，并给出类别置信度。将定位损失和分类损失加权后作为整体目标损失函数，定义如式(7)～(10)所示。

对于目标分类问题，ResNet的准确率在多数公开数据库的测试中高于VGG网络。因此，笔者设计了一种新的网络结构，将VGG网络特征提取部分用ResNet-50代替。根据实验结果，当深度达到50层时，检测精度与速度的平衡最佳，即SSD-RestNet50。将原有网络中VGG的前5个卷积进行替换，同时将ResNet-50的第4个卷积阶段步长都改成1，实现对输入图像特征的提取，SSD-ResNet50的网络结构如图5所示。

图5 本文提出的SSD-ResNet50网络结构

SSD-ResNet50的训练过程可以表述为：首先将300×300×3的图像输入到网络中，进行特征提取，并将Conv2_3和Conv_4_6层的输出作为小目标检测的特征图。之后经过卷积和下采样将图像尺寸下降到1×1，其中Conv5、Conv6_2、Conv7_2和最后一层Conv9_2作为大目标检测的特征图，输出45 390个检测框。最终，通过非极大值抑制确定预测框，计算损失后进行反向传播更新权重，完成一次训练。

3 现场实验

数据库采集自内蒙古东部5个不同洗选厂的带料胶带，共10 000张。在所有的实验数据中，90%作为训练集，生成检测模型，剩余10%作为测试集。模型利用caffe框架进行SSD网络的搭建，在GTX1080Ti的GPU上部署，进行训练和实际结果测试。

在训练之前，利用本文1.1节介绍的图像增强方法进行预处理。为了提升训练精度，并公平地对比各个方法的效果，训练时批量样本数(Batch size) 的大小在允许的情况下应设置尽可能大。在本次实验中，Batch-size=16。学习率设置为1×10-4。学习率代表梯度下降的速度，即训练的速度。学习率太大有可能造成难以收敛，太小会导致训练过程和收敛缓慢。训练共迭代20 000次，记录的平均损失曲线如图6所示。可以看出，随着迭代数的增加，损失逐渐降低并在16 000次迭代时趋于稳定。

图6 Loss accuracy曲线

AP(Average precision)是主流的目标检测模型的评价指标，可以通过计算AP值来评价当前检测模型的准确性。PR(Precision Recall)曲线是用来评估模型性能的重要指标之一，其中P(Precision)为准确率，代表模型检测出真实目标占所有检测目标的比值，R(Recall)为召回率，代表模型检测出真实目标与原有真实目标的比值。计算方法如下：

其中，TP(True positive)为正阳率，表示正类判别为正类的数量；FP(False positive)为负阳率，表示负类判别为正类的数量；FN(False negative)为负阴率，表示正类判别为负类的数量。

根据本次测试集的结果绘制PR曲线，如图7所示。曲线与坐标轴围成的面积表示AP，根据实验结果，本方法在实验数据中的AP的值为88.65%。

图7 P-R曲线

在置信度设置成0.5，检测面积阈值设置为≥300条件下进行测试，最终块状物料的检测结果如图8所示。其中，面积检测阈值表示最小检测单位，也对应实际生产中的最小检测粒度等级。

图8 检测结果

根据图8中的结果，代表块状物料的黄色矩形框具有位置和大小信息，因此可以得到矩形的面积，进而根据实际生产需求，标定物料实际尺寸与图中成像之间的比例关系。具体标定方式为：在视野内垂直摆放边长为30 cm、100 cm的立方体，在采集的图像上计算立方体边长所占的像素数量，获得对应关系。根据实际生产需求，并不需要连续的粒度分布情况。因此，将目标的检测结果根据实际情况划分为大、中、小三个粒度等级，具体的实际粒度等级与检测框面积对应情况如表1所示。

表1 尺寸对应表

在测试数据集中，根据表1的图像尺寸，对输入图像中经检测过程获得的矩形框进行面积筛分，分别统计出了每张图像中三种粒度的面积占比，汇总如表2所示。

表2 图像粒度占比

为了验证图像增强方法以及SSD-ResNet50框架的有效性，实验分别从识别精度和识别速度两方面入手，将本方法与目前流行的目标检测方法进行了对比。所有对比测试均在同样的测试平台中进行，参数选取为相应文献的默认值。参与对比的方法包括Fast RCNN[20]、Faster RCNN[21]、YOLOv3[22]、SSD-VGG16[23]和本算法SSD-ResNet50。以推理速度和mA为关键指标，对比结果如表3所示。

表3 不同网络对比

通过在本数据集上的不同网络对比实验可以看出，SSD-ResNet50无论是在训练时间、推理速度和准确度上都优于其他网络。主要原因在于图像预处理的方式提高了被检测物体的边缘特征，同时将SSD网络的特征提取部分进行优化，使网络能够快速学习到特征，提高了整体效率。

4 结 论

面对传统人工巡检效率低、不准确等问题，提出一种基于图像的深度学习粒度检测方法。

首先，利用一种改进的中值滤波方法结合自适应直方图均衡化，对胶带煤块图像进行预处理，降低噪声，增强图像对比度。然后，基于深度学习理论，提出一种结合SSD和ResNet50融合的网络框架SSD-ResNet50。SSD- ResNet50可以有效检测图像中对比度较低的块状煤炭，并利用检测煤块面积占比，估计运输机表层煤块粒度组成。经对比实验可知，本方法在识别精确度上可以达到88.65，而且能够保证实时性。因此可以有效指导给煤机下料逻辑，控制不同粒度物料的配比，为后续配煤或洗选等工艺提供有效保障。从而在根本上提升传统人工巡检的效率，保证生产的稳定。