基于两阶段融合策略的图像语义分割方法

杨苏 丁亚杰 陈诚 冯小军

摘要：为提升图像中对象语义类别分割与识别的精准度，本文提出一种基于两阶段融合策略的方法，先利用超像素分割处理原始图像，并结合随机森林分类器实现图像的初分割;再通过区域生长策略完成聚类，得到聚类结果;最后采用贝叶斯框架融合前两阶段输出产生最终分割结果。实验结果表明，本文所提出方法语义分割结果更为精准，鲁棒性更好。

关键词：无人机航拍图像;两阶段融合策略;语义分割;贝叶斯框架

1引言

近年来，电网的可靠运行很大程度上影响着我国经济水平的发展。我国地形蜿蜒复杂，加上冰冻、干旱等恶劣环境以及难以预料的自然灾害的侵袭，势必给电网的稳定运行造成了严重的威胁。而图像语义分割技术成为输电线路巡检中的一项重要课题，具有很高的社会价值[1]。

传统的语义分割方法一般通过提取自然图像的低层次特征，进而完成分割，常用的有阈值分割法、边缘检测分割法和基于区域的图像分割算法等等。本文提出了一种基于两阶段融合策略的算法，实验表明，本文提出的方法比其他方法更具优越性。

2 基于两阶段融合策略的图像语义分割算法

本文提出了一种基于两阶段投票融合策略的算法。首先，通过超像素分割算法[2]将原始图像序列划分成一个个近似均匀的超像素块，并投入随机森林分类器，实现图像的初分割;其次，利用区域生长策略完成局部相似区域的聚类，得到超像素块的拼图零片后再次作为随机森林分类器的输入;最后，通过贝叶斯框架融合前两阶段输出产生最终分割结果。

（1）随机森林分类

采用超像素分割算法对原始图像序列进行初始分割，在一定区域内将特征相似的图像像素点聚类成超像素块，再提取每个超像素块的颜色特征和基于GLCM的纹理特征[3]错误！未找到引用源。，最后将这些特征生成特征描述子输入到随机森林分类模型中进行初始分类，得到分类结果。

（2）基于拼图零片学习的图像语义分割

首先将原始图像从RGB颜色域转换至LAB颜色域，利用SLIC算法完成图像初始分割，得到N个超像素块，并提取超像素块的颜色和纹理特征。再对邻近超像素区域的相似性进行度量，完成超像素块的自动生长，最后，将自然图像的所有超像素块通过区域生长整合为拼图零片以后，汇集全部拼图零片，同时为其赋予最贴切的语义类别标签。

（3）贝叶斯框架融合

对上述两次利用图像低层和中层语义信息得到的结果进行融合，结合贝叶斯框架进一步得到最优的语义分割结果。首先，通过随机森林算法得到超像素块区域生长前后的類别概率图，生成先验值;然后凸包模型[4]计算该区域的观测似然概率，再结合经典的贝叶斯模型架构计算各个超像素块的后验概率，加权融合后通过排序比较得到该图像区域最终的类别估计值。最后对融合后的类别估计值进行排序，最大值所属的类别标号即为当前超像素区域的类别，进而得到最终的分割结果。

3 实验结果分析

为了更好地验证本章所提算法的通用性，本文在公共数据集Cityscapes[4]上进行实验分析。本文算法的语义分割结果及算法各个步骤的性能如图1所示。

图1中的实验结果表明，即使对于一些复杂的图像，本文方法也能产生准确的结果，可以大致完成对建筑物、树木、道路等大面积连续目标区域的分割。

为了定量评价算法性能，本文选取平均交并比（mIoU）[5]作为度量指标，与常见的四种语义分割方法进行对比分析，结果如表1所示。

表1的实验数据表明，本文算法在Cityscapes数据上的mIoU指数均高于其他四种语义分割方法。结合图1的语义分割结果来看，本文算法在大目标完整性和小目标精确性方面取得了较好的平衡，使Cityscapes数据集上的语义分割结果更为精准，鲁棒性好。

4 结论

本文提出了一种通过两阶段融合策略的图像语义分割算法，该算法首先将SLIC初分割图像块作为随机森林分类器的输入进行分割，再利用区域生长策略完成局部相似区域的聚类，实现拼图零片学习后再次分割，最后根据贝叶斯框架融合两次分割效果，得到最终的语义信息。在Cityscapes公共数据集上的实验表明，不论是大目标的分割完整度还是小目标的分割准确度，本文提出的算法优于其他四种常见的语义分割方法。

参考文献：

[1]赵振兵，李胜利，戚银城， 等.一种改进FCN的输电线路航拍图像语义分割方法[J].中国科技论文，2018，13（14）：1614-1620.

[2]吴江，刘春晓. 具有纹理感知能力的超像素分割方法[J]. 中国图象图形学报， 2021， 26（05）： 1006-1016.

[3]Hall-Beyer M. Practical guidelines for choosing GLCM textures to use in landscape classification tasks over a range of moderate spatial scales[J]. International Journal of Remote Sensing， 2017， 38（5）： 1312-1338.

[4]Khosravani H R， Ruano A E， Ferreira P M. A convex hull-based data selection method for data driven models[J]. Applied Soft Computing， 2016， 47： 515-533.

[5]M. Cordts， et al. The Cityscapes Dataset for Semantic Urban Scene Understanding[C]// Proceedings of the IEEE conference on computer vision and pattern recognition. 2016： 3213-3223.

[6]孟琭，徐磊，郭嘉阳.一种基于改进的MobileNetV2网络语义分割算法[J].电子学报，2020，48（09）：1769-1776.