基于UNet++的煤岩显微图像组分分析*

吕秉略 李忠峰 奚峥皓 姚英茂 季菁菁

（1.上海工程技术大学电子电气工程学院 上海 201620）（2.营口理工学院电气工程学院 营口 115014）

1 引言

随着节能减排在国家发展战略中的地位日益突出，碳达峰与碳中和的发展目标对国家能源结构提出了更高的要求。煤炭资源作为我国能源结构中至关重要一环，对其高效利用成为了必然要求［1～2］。提高煤炭资源的利用效率需要对煤岩的组分进行有效的识别与区分。煤岩的组分主要分为镜质组、惰质组与半镜半丝组。由于煤岩显微图像各组分形态特征多样，目前的煤岩组分分析主要采用人工分析方式［3～4］。但需要分析人员具有一定专业性，能对显微组分进行准确区分，且长时间工作时，分析精度将会下降。

近来，已有学者通过计算机视觉和图像处理方式进行煤岩组分识别与分析任务。文献［5］利用机器学习方法结合图像处理技术对煤岩显微图像进行识别。通过随机森林算法实现了90.44%的识别准确率，同时利用K-means算法进行区域分割。文献［6］基于高斯改进K-means聚类方法对煤岩显微组分进行分割。文献［7］根据对煤岩显微图像的亮度值测定特征，提出了基于空间域数字图像处理方法的煤岩分析。文献［8］提出利用自适应Gamma校正来改善煤岩显微图像的光照变化导致的识别效果降低问题。然而，这些方法主要以图像灰度值或颜色信息作为煤岩显微组分的判断依据，无法根据组分的形态特征进行有效识别与分割。此外，因不同煤岩显微图像的灰度值分布不同，通常仍需人工选取灰度值作为分类的判断标准。

随着深度学习在计算机视觉领域的发展，诸多研究者针对图像分割问题提出了相应的模型。相较于传统图像处理方法［9～10］，使用深度网络模型的图像分割算法更关注于图像的纹理特征信息。文献［11］提出的Mask-RCNN模型基于区域选择方法进行图像分割。FCN 网络模型［12］通过卷积下采样与反卷积上采样的方式对图像进行像素级的分类从而实现语义分割。但该方法需要大量样本进行模型训练。UNet网络模型［13］则是在FCN 网络结构基础上进行改进，通过反卷积方式进行上采样，同时通过同一层级的跳跃连接方式进行特征融合。该方法在医学图像分割领域展现出了优秀效果，且对训练样本数量的需求较小。Zhou Z 等［14］在UNet模型上对跳连的方式进行了改进，提出UNet++网络模型，针对每一级都增加了上采样结构，从而为模型提供不同层级的特征信息。

本文以文献［14］为基础，针对图像分割方法进行煤岩显微图像组分分析任务的精度较低问题，使用UNet++网络模型与Lovasz-Softmax 损失相结合的方法进行改进。提出的方法在多种煤岩组分的识别中更加准确，各组分间的边界清晰，受煤岩显微图像中组分占比不均问题影响较小。

2 基于UNet++的煤岩组分映射网络模型

将如图1 所示的UNet++网络模型用于煤岩显微图像。节点Xi,j表示对xn进行一次卷积下采样或反卷积上采样。其中，i 为下采样结果对应的采样层级，共5次，即0 ≤i≤4。j为同一层级需要进行跳跃连接的节点序号，1 ≤j≤i-1。采样的输出结果为。通过UNet++网络中的下采样卷积与上采样反卷积计算，可对xn进行像素类别映射得到最终的分割结果，从而实现对煤岩显微图像的组分分割。

图1 UNet++网络模型结构

从模型首层X0,0处输入xn，依式（1）进行计算。

xn经过节点{X0,0,X1,0,X2,0,X3,0,X4,0}，通过带有激活函数的卷积下采样计算ϒ(·)进行下采样，再经过{X3,1,X2,2,X1,3,X0,4}进行反卷积上采样计算。其中，Τ(·)表示反卷积上采样，[·]表示特征级联，即跳跃连接过程，s为同一层级中先于当前节点计算的节点序号。

跳跃连接可以将煤岩显微图像中的高分辨率信息引入到上采样所得的结果中，从而保证分割精度。以模型的首层为例，其跳跃连接结果如图2 所示。

图2 UNet++模型首层跳跃连接示意图

3 基于Lovász-Softmax 的分割损失计算

针对煤岩显微图像中多类别组分分割问题，本文使用Lovász-Softmax 损失函数［16］进行模型的训练。令y͂表示章节2 所提UNet++模型中首层反卷积上采样节点的输出分割结果x0,jn，相应的标注结果y*=y*n。Lovász-Softmax 利用y͂与y*的交并比（Intersection over Union，IoU）进行损失计算，使得模型可通过训练对IoU 进行优化，从而提升煤岩中各组分的分割精度。

依据式（3）计算煤岩图像中第c 类煤岩组分所对应的交并比Jc。

此时，各像素点根据是否被误分类得到对应的｛0，1｝离散值，对应损失函数为离散函数，需要将其扩展为连续函数以进行梯度下降优化。

其中，gp表示第p 个像素对应的交并比系数。该系数向量g(m)的计算过程如表1。

表1 交并比系数向量g计算伪代码

对所有煤岩组分类别的IoU 损失loss 进行求和，可得Lovász-Softmax 损失函数L，如式（12），并作为式（2）中的Lj从而实现对所有煤岩组分类别的损失计算。

相比于交叉熵模型训练方法，Lovász-Softmax损失函数直接对煤岩图像分割结果的交并比进行优化，使模型能对各组分的纹理差异进行区分，获得组分间的清晰边界，实现煤岩显微图像多类别组分的分割。

4 实验分析

4.1 实验参数设置

本文基于PyTorch 框架进行UNet++模型的搭建与训练，实验平台的硬件与软件设置如表2。

表2 平台硬件与软件配置

本文实验采用7 张人工标记的760×760 分辨率灰度煤岩显微图像对模型训练。因显微图像较少，实验中将每张图像依分辨率38×38 进行切分，即将单张煤岩显微图像样本切分成400 张小块样本，总计2800 张小块样本。此外，模型采用Adam优化器进行参数优化，学习率设为1×10-4，权重衰减设为1×10-8，Batch size 设为512。模型共训练1000个epoch。

4.2 效果评价指标

本文通过式（13）计算对分割结果与人工标记图像的平均交并比（mIoU）来评价模型对煤岩显微图像组分的分割精度：

其中，pc1,c2为将类别c1预测为c2的像素数，c1为真实值，c2为预测值。当模型对图像进行分割的结果越接近标记区域，mIoU 值越接近1，分割效果越好。

此外，本文将所提方法的分割结果及各组分占比与人工标记结果进行比较，以评价本文方法的准确性。其中，煤岩显微组分占比计算如式（14），V、I、S、B 分别为镜质组、惰质组、半镜半丝组、背景组占比：

4.3 模型分割效果

本文另选4 张煤岩显微图像用作测试。其分别表示：仅含有镜质组、仅含有惰质组、仅含有半镜半丝组，以及3 种组分均包含的情况。煤岩显微图像、对应人工标记图像、UNet++分割效果、交叉熵+UNet++算法分割效果、K-means算法分割效果如图3所示。

图3 煤岩显微图像原图示例与各分割算法结果图

从图3可以看出，UNet++所得到的煤岩组分分割结果与人工标记的组分区域最为接近。UNet++结合交叉熵算法则因背景组占比较大，导致无法区分煤岩组与背景组，对纹理较为相似的半镜半丝组与惰质组的分割效果同样较差。而K-means 算法只能根据灰度图像的像素值将煤岩显微图像分割成四类，无法根据各类组分的纹理特征进行区分。同时，K-means 算法只关注图像颜色，导致在不同图像上分割的分类中心取值不同，无法自动判断煤岩组分。

通过4.2 节中的式（14）的评价方法，将分割结果中各煤岩组分的占比与人工标记的各组分占比进行比较，结果如表3所示。

表3 本文方法与人工标记的组分占比计算分析

从表3 可看出本文所提算法得到的煤岩各组分占比与人工标记组分占比的平均差值均小于3%。对于仅含有惰质组的煤岩显微图像，本文所提算法与标记的惰质组占比相差3.98%，半镜半丝组和镜质组均相差低于2%，这表明本文所提算法能够将惰质组与其他组分准确区分。对于仅含有镜质组或仅含有半镜半丝组的煤岩显微图像，本文所提方法所得占比与人工标注结果相差均相差小于5%，表明本文所提方法对于纹理相似的煤岩组分也能有效地区分。对于三种组分均含有的煤岩显微图像样本，本文方法与人工标记的组分占比相接近，差值均低于3%。

依据4.2 节中的mIoU 计算方法计算本文方法与人工标记结果的mIoU 值，对四张测试图像进行分割精确度评估，结果如表4。

表4 本文方法所得分割结果mIoU值

从表4 中可以看到，对于选取的四张煤岩显微样本图像，本文方法得到的分割结果mIoU 值均在90%以上，表明分割结果与人工标注区域接近，分割效果较好。

5 结语

本文基于UNet++模型结合Lovász-Softmax 损失函数进行模型训练，使模型能对煤岩显微图像进行有效准确的组分识别与分割。本文所提算法与UNet++结合交叉熵方法就模型训练比较，本文所提算法获得的各煤岩组分分类更加准确；与K-means 算法相比，本文所提算法无需人工参与，分割准确且受图像灰度值变化影响较小。实验结果表明，由本文所提算法得到的煤岩显微组分识别结果与人工标注组分占比差异在3%以内，且mIoU均在90%以上，具有良好的煤岩显微组分分割与分析效果。但由于算法前期采用切分原图方式获得煤岩样本，使分割结果有着明显的网格效应，后续工作中将针对该问题进行研究。