基于改进反馈神经网络的煤矸石图像分类模型

闫洪霖

（西安科技大学 电气与控制工程学院，陕西 西安 710054）

0 引言

煤炭是我国的主要能源，在能源结构中长期占据主导地位[1-2]。煤炭开采过程中，依靠工人经验控制采煤机掘进角度时，易产生矸石。煤矸石混合后会影响煤炭的热值，降低利用率；矸石燃烧后会产生大量有害气体，加重大气环境污染。因此，在煤炭利用前，必须对煤矸石进行分类。常用的煤矸石分类方法以密度、硬度、纹理等为分类特征[3-6]，但此类方法成本高、辐射大、维修难，不适宜大规模投入使用。

随着深度学习的快速发展，尤其是卷积神经网络的发展，基于深度学习的图像处理方法在目标分类领域应用广泛。文献[7]提出的ResNet网络通过残差连接方式解决了卷积层数加深后的梯度消失问题，在保证图像分类准确率的同时使神经网络层数不断加深。文献[8]提出的DenseNet网络以前馈连接方式将每一层卷积与该层前面的所有卷积层相连，并将网络中连接层数设置较小，降低了模型冗余，网络模型所需参数少。文献[9]提出的MobileNet网络基于流线型架构，使用深度可分离卷积来构建轻量级深度神经网络。然而，上述方法存在分类耗时长、参数量大、分类精度较低等缺点，难以在模型轻便和分类精度上达到折衷。

反馈神经网络（Feedback-Net）具有较强的计算能力，能够在不加深网络层数、不添加大量参数的情况下进行模型的高效计算，这一特性有利于实现模型的轻量化[10-11]。因此，本文提出了基于改进Feedback-Net的煤矸石图像分类模型。以ResNet50模型作为基本网络搭建Feedback-Net模型，在ResNet50模型基础上搭建反馈通路，将高低阶信息进行融合，提升Feedback-Net模型的分类准确率，但网络耗时会有所增加。为了降低网络耗时，对Feedback-Net模型进行改进，在Feedback-Net模型中加入非对称卷积块（Asymmetric Convolution Block，ACB），ACB可在不增加网络耗时的同时提取更丰富的图像特征；采用全局协方差池化（Global Covariance Pooling，GCP）替换Feedback-Net模型中的全连接层，以降低网络参数量，改进后的Feedback-Net模型在图像分类的任务中性能有明显提升。

1 Feedback-Net模型

1.1 ResNet50模型结构

本文选择50层残差网络作为煤矸石分类实验的基本网络，ResNet50模型结构如图1所示[12-15]。

图 1 ResNet50模型结构Fig. 1 ResNet50 model structure

首先，将煤矸石原始采集图像输入ResNet50模型。然后，通过stage0，stage1，stage2，stage3，stage4 5个阶段对输入图像进行特征提取。最后，将经过特征提取的图像输入softmax函数进行分类和输出。stage结构如图2所示。stage0 主要是对输入图像作卷积和池化操作，广泛提取原始图像特征；stage1，stage2， stage3，stage4分别由不同个数的Bottleneck结构组成，更加精细化地提取图像特征；stage1和stage4包含了3个Bottleneck结构，stage2和stage3则包含更多。网络层数的增加和模型结构的复杂化，会增加模型分类耗时。

图 2 stage结构Fig. 2 Stage structure

1.2 Feedback-Net模型结构

本文在ResNet50模型的基础上进行Feedback-Net模型的搭建。以stage1为例，stage1反馈连接结构如图3所示，其中T为模型运行时间（T=1,2，···,t），t为运行过程中某一时刻。

图 3 stage1反馈连接结构Fig. 3 Stage1 feedback connection structure

Bottleneck结构有2条分支，一条分支包含3层卷积，另一条分支包含1层卷积，2条分支的特征共同经过激活函数得到输出结果。为了增加网络提取特征的表征能力，在stage的最后一层Bottleneck和第2层Bottleneck之间搭建一条通路进行信息反馈。将高低阶信息进行有效融合，进而提升网络表征能力，在不添加网络参数的情况下提取更多的图像特征。

每个stage块的输入是来自同一时刻中上个stage块的输出和上一时刻同一个stage块的输出，二者进行高低阶信息融合（如：T=2时刻，stage2的输入为T=2时刻stage1的输出与T=1时刻stage2的输出融合）。

2 改进Feedback-Net模型

Feedback-Net在进行特征融合的过程中耗时较长，因此对网络结构中卷积核和全连接层进行改进，以获取更好的煤矸石分类效果。

2.1 模型原理

采用ACB替代Feedback-Net中的方形卷积核，用正交的卷积加强标准卷积层，将3个分支卷积核进行相加，从而提取更丰富的特征。ACB通过叠加融合的方式来增强卷积核提取特征的能力，在整个神经网络的计算过程中，ACB无需引入额外的计算，减少了推理时间。

ACB 结构如图4所示。设Feedback-Net模型中卷积核F=[F1F2···Fc]∈Rd×d×C，其中Fc为卷积层第c个通道卷积核，C为卷积层通道总数，d×d为卷积核大小。将卷积层中所有卷积核进行融合，得到融合后的卷积层，则该卷积层的卷积核为

图 4 ACB结构Fig. 4 Asymmetric convolution block structure

式中：γc为 卷积层第c个通道的标准差；σc为卷积层第c个通道的拟合标准差。

将融合后并行的3个卷积层合并，得到1个新的卷积层，该卷积层卷积核为

传统的平均池化和最大池化只能利用特征图之间的一阶信息，而GCP更关注卷积层输出的特征图之间的关联性。相比于全连接层，GCP能够提升收敛速度，加速学习率的衰减，对不同视觉任务有良好的泛化能力。因此，采用GCP替代反馈网络中的全连接层。

采用协方差矩阵表示不同特征图Gi各通道间关联性的大小，特征图Gi的协方差矩阵为

式中cov(gi,gj)为gi与gj之间的协方差，gi（i=1,2，···，C），gj（j=1,2，···，C，j≠i）为特征图Gi拉直后的列向量。

2.2 模型设计

采用ResNet50模型作为基本模型，对Feedback-Net模型中卷积核和全连接层进行改进。

（1） 加入ACB。在ResNet50模型中加入传统的方形卷积核，得到Feedback-Net模型（图5）。若要提取丰富的特征就要不断加深网络层数，这样不但会增加网络的计算量，还会增加网络耗时。因此，本文采用ACB代替方形卷积核，在不增加网络耗时的同时使整个网络能够提取更丰富的特征。

图 5 Feedback-Net模型Fig. 5 Feedback-Net model

（2） 采用GCP代替Feedback-Net模型中的全连接层，可大大降低网络中的参数量。Feedback-Net模型存在2次池化，第1个是stage0后的 3×3最大池化，第2个是stage4后的平均池化。保持Feedback-Net模型第1个池化（stage0后的 3×3最大池化）不变，在Feedback-Net模型基础上加入GCP（图6），在降低网络耗时的同时可进一步提升模型的表现。

图 6 改进Feedback-Net模型Fig. 6 Improved Feedback-Net Model

3 实验结果

3.1 数据采集

为了验证Feedback-Net模型和改进Feedback-Net模型的性能，通过模拟煤矿井下煤矸石分拣环境，采集6 861张煤矸石图像作为数据集，训练集和测试集按比例8:2进行划分。煤矸石数据集如图7所示。

整个训练迭代次数为200，学习率为0.001，并通过在每次迭代时将此学习率乘以一个常数因子0.2，来探寻最佳学习率。在Feedback-Net模型训练过程中不同卷积层级特征提取如图8所示。

3.2 Feedback-Net模型实验结果

Feedback-Net模型与ResNet50模型训练精度收敛过程如图9所示。可看出Feedback-Net模型对于煤矸石图像分类的准确率有所提升。在前50轮迭代时，Feedback-Net模型训练精度提升较快，这是因为Feedback-Net通过反馈通路将高低阶信息进行融合，提升了特征图的表征能力。

图 7 煤矸石数据集Fig. 7 Coal and gangue dataset

图 8 Feedback-Net模型中不同卷积层级特征提取Fig. 8 Feature extraction of different convolution levels in the Feedback-Net model

图 9 Feedback-Net模型与ResNet50模型训练精度收敛过程Fig. 9 Training precision convergence process of the feedback-Net model and the ResNet50 model

Feedback-Net模型与ResNet50模型的损失值收敛过程如图10所示。可看出在前50轮迭代中损失值下降较快，二者均在约100轮迭代处收敛。

图 10 Feedback-Net模型与ResNet50模型的损失值收敛过程Fig. 10 The Loss value convergence process of the Feedback-Net model and the ResNet50 model

图 11 各模型损失值收敛过程Fig. 11 Convergence process of the loss value for each model

图 12 各模型训练精度收敛过程Fig. 12 Training precision convergence process of each model

实验结果表明，Feedback-Net模型在精度上高于ResNet50模型，损失值略低于ResNet50模型。

采用训练耗时、训练精度、测试精度作为性能指标，综合评价各模型性能。Feedback-Net模型与ResNet50模型性能对比见表1。可看出Feedback-Net模型训练精度较ResNet50模型提升了1.20%，测试精度提升了1.21%；Feedback-Net模型的训练耗时较ResNet50模型增加了0.22%。这是由于Feedback-Net模型在特征融合时需要时间处理，增加了网络的整体训练耗时。

表 1 Feedback-Net模型与ResNet50模型性能对比Table 1 Performance comparison between the Feedback-Net model and the ResNet50 model

3.3 改进Feedback-Net模型实验结果

在Tensorflow框架中分别搭建Feedback-Net模型搭载ACB（Feedback-Net+ACB）和Feedback-Net模型搭载ACB、GCP（Feedback-Net+ACB+GCP）2个模型。并对上述模型进行训练，调整模型参数，取得最优结果。设批尺寸为16，整个训练迭代次数为500，学习率为0.001。

各模型在训练过程中的损失值与精度收敛过程分别如图11、图12所示。可看出Feedback-Net+ACB+GCP模型在训练过程中精度高于其他2个模型，其收敛速度在3个模型中最快；同时Feedback-Net+ACB+GCP模型的损失值在训练过程中低于其他2个模型，其损失值曲线率先趋于稳定并长期低于Feedback-Net模型，说明Feedback-Net+ACB+GCP模型具有最优性能。这是因为采用ACB代替Feedback-Net模型中的方形卷积核后，增强了卷积内核，在不增加网络耗时的情况下提取更丰富的特征。Feedback-Net模型、Feedback-Net+ACB模型与Feedback-Net+ACB+GCP模型性能对比见表2。可看出Feedback-Net+ACB模型测试精度、训练精度均较Feedback-Net模型提升了1.39%，且耗时减少了15.53 min；Feedback-Net+ACB+GCP模型训练精度、测试精度较Feedback-Net模型分别提升了1.62%，1.59%，耗时缩短了1.12%；Feedback-Net+ACB+GCP模型耗时较Feedback-Net+ACB模型减少了50.38 min，这是因为采用GCP替代全连接层，参数量降低，运行速度提升，性能更加优越。

表 2 各模型性能对比Table 2 Performance comparison of each model

4 结语

为了实现煤矸石图像的快速高效分类，在ResNet50模型的基础上搭建Feedback-Net模型构成反馈通路，将高低阶信息进行融合，提升了特征图的表现能力，但该模型分类耗时有所增加。在Feedback-Net模型基础上进行改进，引入ACB与GCP得到性能更好的改进Feedback-Net模型。实验结果表明：Feedback-Net模型训练精度较ResNet50模型提升了1.20%，测试精度提升了1.21%，但训练耗时较ResNet50模型增加了0.22%。Feedback-Net+ACB模型测试精度、训练精度均较Feedback-Net模型提升了1.39%，且耗时减少了15.53 min；Feedback-Net+ACB+GCP模型训练精度、测试精度较Feedback-Net模型分别提升了1.62%，1.59%，耗 时 缩 短 了1.12%；Feedback-Net+ACB+GCP模型耗时较Feedback-Net+ACB模型减少了50.38 min，性能更加优越。