X 射线透射煤矸智能识别方法

王文鑫，黄杰，王秀宇，史玉林，吴高昌，3

（1. 东北大学 流程工业综合自动化国家重点实验室，辽宁 沈阳 110819；2. 沈阳隆基电磁科技股份有限公司，辽宁 沈抚新区 113122；3. 东北大学 工业人工智能研究院，辽宁 沈阳 110819）

0 引言

煤矸分选是提高煤质、高效利用煤炭资源、实现绿色节能开采与加工的重要途径。煤矸分选以干选法和湿选法为主。湿选法需消耗大量水资源，而干选法可在有效利用煤炭资源的前提下，减轻对环境的破坏。而在众多煤矸干选法中，基于伪双能X 射线透射 （X-Ray Transmission，XRT） 的煤矸分选技术是目前研究热点。伪双能XRT 技术对物体具有较强的穿透能力，在检测过程中不受灰尘、光线等环境因素的影响，广泛应用于煤矸分选、有色金属分选、资源回收等工业预分选领域，可有效减少生产过程中的原材料消耗。

基于伪双能XRT 的煤矸分选技术利用XRT 系统采集煤矸图像。该系统由X 射线源、低能探测器、高能探测器、准直器、铜滤片组成。当煤矸在胶带运输过程中以一定速度经过XRT 系统时，高低能探测器依据煤或矸石对X 射线的吸收程度不同，生成不同灰度值的煤矸图像，基于图像处理和分析技术可识别煤矸，进而实现煤矸分选。其中煤矸识别为该分选技术的重要环节。受工业现场生产环境及效率影响，现有图像处理算法用于煤矸识别时精度不高，主要原因如下。

（1） 煤矸分割问题。现场实际开采的煤与矸石通常形态各异且排布紧密，因此采集的伪双能X 射线煤矸图像往往存在煤矸紧贴和遮挡的情况，影响后续识别。目前常见的解决方案包括传统图像分割方法和基于深度学习的图像分割方法。传统图像分割方法如Canny 边缘检测算法采用边缘连接方法将边缘缝隙连接成闭合区域，利用阈值处理、区域生长、聚类等方法对相似区域进行聚合，从而实现紧贴和遮挡的煤矸区域分割；活动区域模型 （Active Contour Model，ACM）[1]可对强度不均匀煤矸轮廓进行分割处理。传统图像分割方法难以将一张图像中的所有煤矸有效分割，易造成将多块煤或矸石分割为1 块（欠分割），或将1 块煤或矸石分割为多块（过分割）的情况。对于欠分割情况，若被识别矸石中含煤，会造成分选率降低；对于过分割情况，若被分割煤块被误判为矸石，则会造成煤漏选。基于深度学习的图像分割方法在全卷积网络（Fully Convolutional Network，FCN）[2]基础上，通过上采样实现任意分辨率的像素级预测，如SegNet[3]，U-Net[4]等模型。

（2） 煤矸分类识别问题。目前工业现场多采用人工阈值判别方式对煤矸进行分类识别，即针对伪双能X 射线煤矸图像，人工设置煤和矸石的物理特征[5]、灰度特征等阈值，据此判别煤与矸石。该方式极度依赖主观经验，且过于简单，缺乏足够的统计信息支撑，得到的决策曲线极易造成误判。针对该问题，文献[6]采用灰度共生矩阵为特征，以支持向量机（Support Vector Machine，SVM）为分类器进行煤矸识别，但未考虑煤矸紧贴和遮挡情况对识别结果的影响；文献[7]利用目标检测算法，通过训练端到端的单阶段深度学习网络实现对X 射线煤矸图像定位和分类；文献[8]针对普通工业相机采集的煤矸图像，提出基于改进型VGG16 网络的煤矸识别模型，但该模型数据集受工业现场灯光、烟尘等环境因素的影响，煤矸识别准确率有待进一步提高。

针对上述问题，本文提出一种伪双能XRT 煤矸智能识别方法：结合感受野模块 （Receptive Field Block，RFB）与U-Net 模型对X 射线煤矸图像进行分割，解决紧贴或遮挡的煤矸区域影响后续识别精度的问题；结合煤矸的纹理特征和灰度特征，采用机器学习分类器识别煤矸。实验表明，该方法能够有效识别煤矸，识别准确率、排矸率、实时性等满足实际生产要求。

1 煤矸图像分割

采用RFB 与U-Net 相结合的图像分割模型，即RFB+U-Net 模型对X 射线煤矸图像进行分割。该模型分为编码器和解码器2 个部分。编码器利用结合RFB 的卷积操作实现下采样，同时采用多个卷积层进行网络模型训练，以提取丰富的特征信息；解码器利用跳跃连接操作将语义信息丰富的特征层还原到语义信息较少的特征层，结合反卷积层实现图像上采样。

RFB+U-Net 模型结构如图1 所示。该模型以伪双能X 射线煤矸图像作为输入，通道数为2，即低能图像为第1 个通道，高能图像为第2 个通道。设输入图像尺寸为h×w×2，其中h为图像高度，w为图像宽度（本文中h，w均取128）。在编码器部分，输入图像先经过第1 层卷积层Conv1 处理，实现通道数扩展，输出图像大小为h×w×8。卷积层Conv2-Conv5 对图像进行下采样操作以提取特征，最终输出图像大小为×128。编码器中各卷积层卷积核大小均为 3×3，卷积步长为1，每层卷积层有1 个ReLU 激活函数、1 个2×2 的最大池化层，且在Conv2，Conv3 中增加RFB。在解码器部分，编码器输出图像先经过卷积层Conv（卷积核大小为3×3）处理，再由反卷积层Deconv1-Deconv4 进行上采样操作。上采样过程中为防止图像边缘信息丢失，通过跳跃连接将各反卷积层输出图像与下采样过程中对应相同通道数的卷积层输出图像拼接。上采样最终输出图像大小为h×w×8。输出层采用1 个3×3卷积核对上采样输出图像进行卷积操作，通过Sigmoid 激活函数输出大小为h×w×1的图像。

2 煤矸识别

X 射线煤矸图像识别主要包括特征提取与分类器分类2 个部分。在提取特征前，将待分类X 射线煤矸图像分为高能图像IH(x,y)、低能图像IL(x,y)，（x，y）为像素点坐标。为获取煤矸图像的纹理特征，对IL(x,y)进行图像锐化，结果为

图 1 RFB+U-Net 模型结构Fig. 1 Releptive field block （RFB）+U-Net model structure

式中∇2IL(x,y)为拉普拉斯算子。

经过图像锐化操作后，煤矸轮廓边缘被增强，且纹理特征更明显。采用低能图像锐化最小值及锐化均差作为煤矸纹理特征，其中锐化均差为

式中I′Lmin(x,y)为低能图像锐化最小值。

根据伪双能XRT 技术原理，X 射线煤矸图像的灰度值通常反映煤矸对X 射线的吸收程度，因此采用低能图像灰度最小值作为煤矸灰度特征，即

式中：M(IL(x,y))为 煤矸灰度特征；ILmin(x,y)为低能图像灰度最小值。

综上，将灰度特征中的低能图像灰度最小值、纹理特征中的低能图像锐化最小值和锐化均差作为煤矸识别特征，将其提取并输入煤矸识别模型。

煤矸识别模型采用机器学习中的多层感知机（Multilayer Perceptron，MLP）[9]模型。MLP 模型本质上为人工神经网络模型，主要包括输入层、隐藏层、输出层，每层包括多个神经元节点。节点之间的全连接传输使得单个节点为线性输出，因此对每个节点添加非线性激活函数ReLU，实现非线性变换输出。为使模型预测结果接近真实值，在模型迭代过程中加入误差损失函数，使模型在迭代次数截止或损失函数收敛到最小值时结束训练，输出预测结果。以隐藏层数为8 的MLP 模型为例，其结构如图2 所示。其中X1，X2，…，Xn为输入特征，n为输入特征总数；Yij为第i层隐藏层第j个神经元节点输出，i=0，1，…，7，j=1，2，…，m，m为隐藏层神经元节点数，m=1～100；Y为输出层输出结果。

图 2 MLP 模型结构Fig. 2 Multilayer perceptron（MLP） model structures

3 实验与结果分析

3.1 煤矸图像分割实验

在煤矸图像分割实验中，对现场采集的568 张伪双能X 射线煤矸图像（带标签信息） 进行数据增广，采用滑动窗口取值、图像空间翻转等方法获得54 528 张分辨率为128×128 的带标签图像，并将其按7∶3 分为训练集和验证集。从原图像中随机抽取534 张图像作为测试集，对图像分割模型进行评价。评价指标为煤矸分割准确率、煤矸粒度精度、煤矸像素均交并比、模型推理时间。

煤矸分割准确率RA为一张图像中正确分割的煤矸数量与实际煤矸总数量的比值，即

式中：NT为煤矸图像中实际煤矸总数量；NF为错误分割（过分割或欠分割）的煤矸数量。

煤矸粒度精度GA为一张图像中正确分割出的煤矸粒度与实际煤矸粒度的比值，即

式中：p为标签图像中煤矸粒度；为分割图像中煤矸粒度。

煤矸粒度近似为图像中煤矸像素面积拟合成的圆的直径，即

式中：c0为传感器系数；A为图像中煤矸像素面积。

煤矸图像分割效果决定了分割出的煤矸像素面积，从而影响煤矸粒度精度。煤矸像素均交并比为真实值集合和预测值集合中所有类别（煤矸和背景）交集和并集比值的平均值。模型推理时间为从开始执行模型推理到获得模型推理结果的时间。

在相同训练集、验证集、测试集及实验条件下，分别采用U-Net 模型、SegNet 模型、RFB+U-Net 模型、以同等感受野卷积操作代替RFB 的U-Net 模型（同等感受野U-Net 模型）这4 种卷积神经网络模型及传统能量泛函的ACM 进行图像分割实验，不同模型的评价指标见表1。

表 1 不同图像分割模型评价指标对比Table 1 Comparison of evaluation indexes of different image segmentation models

从表1 可看出：卷积神经网络模型对煤矸图像分割的准确率明显高于传统能量泛函的ACM；RFB+U-Net 模型在煤矸分割准确率、煤矸粒度精度、煤矸像素均交并比方面均优于其他模型，其推理时间稍长于U-Net 模型，短于其他模型，这表明RFB+U-Net 模型可实现与更深层神经网络模型相同的分割效果，同时保持了原始轻量级模型的高处理速度。

为进一步验证不同模型的分割性能，对ACM、U-Net 模型、SegNet 模型、RFB+U-Net 模型的图像分割结果进行对比，如图3 所示。可看出ACM 基本上无法有效分割煤矸，同时分割图像上存在较大孔洞；SegNet 模型基本实现了图像分割功能，但存在边缘不平滑现象；U-Net 模型分割结果同样存在边缘不平滑现象，且图像还原效果稍差；RFB+U-Net 模型能够有效实现煤矸图像分割，且分割图像边缘相对平滑，与原图像更接近。

3.2 煤矸识别模型消融实验

现场采集538 组X 射线煤矸图像（共含634 块煤矸），将其按7∶3 分为训练集和验证集，对煤矸识别模型进行训练和验证。现场采集765 组煤矸图像（共含905 块煤矸）作为测试集1、658 组煤矸图像（共含1 086 块煤矸）作为测试集2，对煤矸识别模型进行测试。煤矸图像中入料粒度为100～25 mm。

为确定煤矸识别模型的隐藏层数量，进行MLP模型隐藏层数量消融实验。分别建立隐藏层数量为3，5，8，10，15，20 的6 组MLP 模型，在相同训练集、验证集、测试集及输入特征条件下，设置模型训练迭代次数为8 000，batchsize 为16，学习率为0.000 5。训练得到的MLP 模型在测试集1 与测试集2 上的煤矸识别平均准确率如图4 所示。可看出MLP 模型隐藏层数量为8 时，该模型在2 组测试集上的平均准确率较高，均达到87%以上，且识别较稳定。

为验证MLP 模型的收敛性，对不同隐藏层数量的MLP 模型训练过程中前1 000 次迭代的损失函数进行对比，结果如图5 所示。可看出随着迭代次数增加，隐藏层数量为8 的MLP 模型损失函数较隐藏层数量为3，5，10，15，20 的模型收敛更快，损失函数震荡和损失值更小，收敛性能更稳定。因此，将MLP 模型隐藏层数量选为8。

图 3 不同图像分割模型的煤矸图像分割结果Fig. 3 Coal-gangue image segmentation results of different image segmentation models

图 4 MLP 模型隐藏层数量消融实验结果Fig. 4 Ablation experiment results of hidden layer number of MLP models

图 5 不同隐藏层数量的MLP 模型收敛性能对比Fig. 5 Convergence performance comparison of MLP models with different hidden layer number

3.3 煤矸识别实验

在输入特征为低能图像灰度最小值、锐化最小值、锐化灰度均差条件下，采用与煤矸识别模型消融实验相同的训练集、验证集和测试集，对MLP 模型及基于贝叶斯分类器[10]、SVM[11]、逻辑回归[12]、决策树[13]、梯度提升决策树（Gradient Boosting Decision Tree，GBDT）[14]、K 近 邻 算 法（K-Nearest Neighbor，KNN）[15]的煤矸识别模型进行性能评价。评价指标选择煤矸识别平均准确率、排矸率、矸石带煤率。

煤矸识别平均准确率为

式中：N1为识别正确的煤矸数量；N为实际煤矸总数量。

式中：Nc1为 识别正确的煤数量；Ng1为识别正确的矸石数量；Nc为实际煤数量；Ng为实际矸石数量。

排矸率（以矸石和精煤分选密度为1.8 g/c m3计算）为

式中： γ为矸石带煤率；V为识别正确的矸石产率；Vs为矸石理论产率。

式中：Wc为矸石产品中经人工分选得到的密度小于1.8 g/ cm3的矸石质量，即矸石产品中煤的质量；W为矸石产品总质量；qg1为 识别正确的矸石总质量；q为实际煤矸总质量；qg为实际矸石总质量。

不同煤矸识别模型在测试集1 与测试集2 上的评价结果如图6 所示。可看出MLP 模型的煤矸识别平均准确率、排矸率均高于其他模型，其在测试集2 上的矸石带煤率最低，在测试集1 上的矸石带煤率也可满足光电智能干法分选机在入料粒度为100～25 mm 时矸石带煤率要求（不超过3%）。

图 6 不同煤矸识别模型的评价结果Fig. 6 Evaluation results of different coal-gaugue recognition models

4 结论

（1） 提出的伪双能XRT 煤矸智能识别技术包括2 个阶段：针对伪双能X 射线煤矸图像因煤矸紧贴或遮挡情况而影响识别精度的问题，采用RFB+U-Net 模型实现煤矸图像有效分割；提取X 射线煤矸图像的纹理特征及灰度特征作为煤矸识别特征，采用MLP 模型实现高精度煤矸识别。

（2） 在伪双能X 射线煤矸图像分割方面，通过评价不同图像分割模型性能得出， RFB+U-Net 模型的煤矸分割准确率、煤矸粒度精度、煤矸像素均交并比均优于ACM、U-Net 模型、SegNet 模型、同等感受野U-Net 模型，模型推理时间较短，满足分割实时性要求。通过对比不同模型的煤矸分割图像得出，RFB+U-Net 模型分割效果优于其他模型。

（3） 在伪双能X 射线煤矸图像识别方面，通过MLP 模型隐藏层数量消融实验，确定采用隐藏层数量为8 的MLP 模型为煤矸识别模型，该模型在2 组测试集下的煤矸识别平均准确率均为87%以上。在相同数据集及实验条件下，对不同煤矸识别模型性能进行评价，结果表明MLP 模型的煤矸识别平均准确率、排矸率均高于基于贝叶斯分类器、SVM、逻辑回归、决策树、GBDT、KNN 模型，且矸石带煤率满足实际干法分选要求。