粘连颗粒图像的分割方法综述

高 辉， 甄 彤，李智慧

(粮食信息处理与控制重点实验室；河南工业大学信息科学与工程学院，郑州 450001)

图像分割是基于灰度、颜色、纹理和几何等特征，分割提取感兴趣目标的技术和过程，其作为图像处理到图像分析的关键步骤，既是难点，也是热点[1]。常应用于医学影像处理、无人驾驶、智能安防、卫星遥感、智慧农业、生物特征识别等领域[2]。而粘连颗粒分割是将重叠或粘连的颗粒分割成单个颗粒，以便提供精简且可靠的图像特征[3]。在粮食、生物、农产品领域，经常根据小麦、大米、花生、大豆、枸杞、蚕茧、菌落等颗粒的形状、数目、色泽、纹理等进行分类、计数或等级评价[4]；在医学图像方面，能够准确、方便、定性、定量的识别分析血细胞、干细胞、病变细胞等，对临床诊断具有极大帮助[5]；在工业应用中，气液两相流中气液比例直接影响产品的质量和性能，不同类型的煤粒、矿石适用于不同场景，自动的分割分类直接影响采矿的成本[6]。

本文主要通过阐述基于传统图像和深度学习的图像分割方法，对比分析在粘连颗粒分割领域的方法、效果及优缺点，从而找寻更适合于粘连颗粒分割领域的分割方法，为该领域方向的研究寻找突破口。

1 传统图像分割方法

传统图像分割方法通常基于阈值、边缘、聚类、区域、形态学、图论、特定理论等。针对不同的分割任务，可选取的分割方法及关键技术各不相同，各有优劣。对于粘连颗粒的实际分割中，这些分割方法常作为分割的中间手段、预处理方法等。除此之外，粘连颗粒通常具有尺寸小、随机散落、数量众多、形状不规则及边缘特征模糊等特点，故结合这些分割方法，重点阐述适用于粘连颗粒分割的分水岭、凹点的传统分割方法。

1.1 基于分水岭的分割方法

分水岭算法适合于梯度值具备类似山峰山谷结构的灰度图像分割，对不符合分水岭结构的图像，往往需进行梯度变换。该算法对微弱边缘具有良好响应，针对图像中的噪声、局部不规则及物体表面的细微的灰度变化，会在内部形成极小值，造成过分割[7]。

杨蜀秦等[8]对籽粒图像进行距离变换使其梯度幅值满足分水岭算法要求，利用形态学膨胀合并籽粒内部重复极小值。孔繁圣等[9]通过连通域内像素数量判断是否为单颗粒，进行多层次距离变换，直至实现单颗粒标记。因分水岭算法的封闭性，导致目标封闭的背景被分割为目标区域，将预处理得到的二值图作为蒙版，可过滤掉背景部分。Miao等[10]同时分割处血液涂片种的红细胞与白细胞，基于白细胞有细胞核，红细胞为无核的双凹圆盘状细胞，分阶段分别对白细胞细胞核和血细胞进行基于距离变换的标记控制分水岭算法。

王鑫等[11]基于形态学腐蚀操作，为防止不断的腐蚀造成细胞种子点误删，采用目标异或操作，细胞种子区域小代替大，有替代无。最后通常采用标记分水岭方法标记种子点，得到粘连细胞分界线。蔡改贫等[12]针对不同形状、颜色的矿石出现的粘连、边缘模糊等问题，采用基于形态学优化处理的标记分水岭算法。其指出形态学处理与结构元素密切相关，对比采用球形、圆形、八角形、矩形、方形等结构元素进行腐蚀膨胀操作，矩形结构对矿石分割率最高。

刘向南等[13]以灵武长枣为研究对象，在分水岭分割算法基础上，利用遗传算法的选择、交叉和变异操作寻找最佳分割阈值，对20幅图像分割正确率达89.99%。Gamarra等[14]结合标记控制的分水岭(MC-Watershed)与新的分离和合并分水岭(SM- Watershed)算法分割细胞图像，因应用MC-Watershed不能将所有粘连目标分割，对不充分分割图像，利用细胞的固有特征(大小、凹凸性)，再次应用分水岭算法进行分离，对过分割目标，利用细胞面积、偏心率等，消除分割线，有效平衡过分割与欠分割。王娅等[15]基于HIS模型，充分利用图像彩色信息，提取形态学标记的红细胞中心与基于亮度、饱和度分量提取出的图像的极值点，可精确标记图像前景区域，根据S分量在粘连细胞处梯度幅值较大，I分量在细胞边缘更加平滑，可确定细胞边界，再应用标记分水岭。

1.2 基于凹点的粘连图像分割

凹点是由两个或多个目标因相互接触或重叠而在物体边缘形成的一种特征点[16]。凹点分割方法常包括三步：凹点检测、匹配和分割凹点对。凹点检测常利用曲率、夹角、凸壳、链码、模板搜索、曲线凹凸性变换等方法获取凹点位置，再通过凹点匹配、定向腐蚀、圆周拟合等方法实现分割。

樊蒙蒙等[3]将实际检测中大米的分割问题转化为两粒粘连大米的分割问题。利用Roberts、Canny等算子进行边缘轮廓检测，设定步长step，计算外轮廓上一点与其前继点和后继点的夹角，如式(1)所示。

angle=arccos(a2+b2-c2)/2ab

(1)

式中：angle为前继点、后继点与当前点的夹角；a、b、c为三角形三条边。

凹点判断依据为根据步长加大，夹角增大和夹角包围图像是背景灰度值。K均值聚类将凹点分为两类，根据凹点间最短划线准则，凹点线段的中垂线一定范围内的灰度值为大米灰度进行凹点匹配，如图1所示。

图1 基于凹点的大米分割图[3]

孙卫红[17]为解决粘连蚕茧难以分割问题，其利用正方形模板的凹点搜索方法，如图2所示。凹点判断依据为轮廓凹点的模板阴影面积小，凸点的阴影面积大。其利用定向腐蚀算法代替凹点匹配方法，计算出腐蚀方向和角度，实现分割。该方法极易将两个间距近而未粘连的蚕茧误判为凹点，对疑似凹点，需进一步根据当前点、前继点与后继点的夹角进行筛选。

图2 利用正方形模板的凹点搜索算法[17]

Yao等[18]基于正方形模板算法原理检测出凹点，以当前点、前继点与后继点画出凹点夹角zman，并认为所匹配的另一凹点b必在该夹角的对称角的置信辐射区域内，辅以最短划线准则分割，如图3所示。Lin等[19]选取曲率的极值点，作为目标轮廓的凹点，通过凹点对应的置信辐射区域、最短距离、分割线长度限制原则进行凹点匹配，且分割算法不受籽粒其他参数影响，消除手工非接触放置大米的局限性。林雪华等[20]进一步采用8邻域跟踪方法提取轮廓，根据链码差和曲率结果搜索凹点，对15粒粘连大米分割有较高精度。穆晶晶等[21]针对计算气液比例时，大气泡易重叠问题，提出曲线凹凸性变换算法，即轮廓点到质心距离的极小值点就是凹点。为解决以最短划线准则造成分割后的轮廓不完整的问题，提出最小二乘法圆周拟合插值算法进行重叠气泡轮廓重构。

图3 凹点对应的置信辐射区域图[18]

王小鹏等[22]采用圆形模板，根据模板位于颗粒内部的弧长占周长的比例设定阈值进行凹点检测，最短欧氏距离进行匹配，在已匹配的凹点连线上做中垂线，向垂线两端逐点扫描，在一定范围内均为检测到边缘点即为正确匹配，如图4所示。

图4 真假凹点判断图[22]

布芳[23]根据面积值和长宽比先选出大米颗粒粘连区域，通过将粘连轮廓的凸闭包与原连通区域轮廓图像相减，得到凹区域，寻找凹区域间最短的点作为候选凹点，再根据凹点夹角为锐角确定真正的凹点。刘宰豪[24]结合凹度、矢量面积、位置关系三种判据进行凹点判断，即凹陷程度达到一定角度阈值，当前点、前继点、后继点构成的三角形矢量面积为正，候选凹点的前继点与后继点连线在粘连区域外侧三个条件同时满足，即为真实凹点。除此之外，使用快速变换径向对称算法提取粘连圆形目标图像的重心，利用重心辅助凹点匹配实现简单型、串联型、并联型、串并联结合型目标分割。

传统粘连图像分割方法比较见表1。分水岭算法、凹点检测算法通常需结合形态学操作、边缘检测等操作或优化算法，该方法在颗粒分割中广泛使用，对包含目标数目较多的目标也能实现分割，简单快速，准确率较高。对于复杂粘连目标，结合深度学习，预先检测粘连颗粒类型，也能达到理想分割效果。但显而易见，大部分传统分割算法通常用于分割粘连程度低，背景、边缘轮廓简单的图像。与此同时，此类算法往往用于谷粒、细胞、蚕茧等的计数等，对分割的轮廓精度要求不高。

表1 传统粘连图像分割方法比较

2 基于深度学习的图像分割方法

传统图像分割方法受制于计算机的计算能力，且大多只关注图像的表层信息，伴随深度学习的日益强大，语义分割实现对目标的像素级分割，能表征出图像更丰富的内在信息，适用于分割、分类、识别等任务，分割方法如表2所示。

不同的目标分割方法有其独特的优点，以适应不同场景。在医学细胞分割领域中，图像获取代价高，细胞粘附、畸变、轮廓不清晰、背景杂质，这些特征恰恰满足对目标小且数量较多的粘连颗粒分割。因此，主要参照使用较多的基于U-Net的细胞分割方法类比粘连颗粒分割。与此同时，实例分割兼具目标检测与语义分割的优点，对粘连颗粒的分割识别极具参考性。

表2 基于深度学习的分割方法

3 基于深度学习的粘连图像分割方法

3.1 语义分割方法

U-Net网络通过跳跃连接将编码器中的低分辨率信息与解码器生成高分辨率信息相结合，训练数据较少，通过对边界进行标注及边界加权损失函数等，可实现对密集、重叠、形状不规则细胞的分割、识别,U-Net结构如图5所示。为更好地融合编码器与解码器之间的语义信息，各种变体也相继而出。

图5 U-Net网络模型

闫彧萱等[32]基于U-Net网络对荧光显微细胞图片进行分割，在skip path上引入Res Path作为模型左侧编码器与右侧编码器结合的桥梁，降低训练难度的同时，利于细节特征的捕获；引入权重损失函数确保更多的关注细胞轮廓。张文秀等[33]认为底层特征中缺少语义信息、亮度不统一、对比度低仍是问题，故又引入注意力机制识别具有细胞特征的显著区域，不仅没有增加计算复杂度，反而优于细胞区域的突出，模型训练速度更快。Lu等[34]构建WBC-Net网络，采用U-Net++密集连接方法，添加更多的跳跃连接路径和卷积块，并再次引入残差模块提取多尺度特征，性能表现好，如图6所示。

图6 基于密集连接的Unet网络模型

曲鹏[35]将U-Net网络中连续双层的3×3卷积替换为ResDense-block，将长连接替换为Res连接，即从上到下，分别为4、3、2、1个Res-block，并把3×3标准卷积替换成非对称卷积，加深网络的同时引入1×1卷积的残差连接避免梯度消失或爆炸，如图7所示。

图7 基于ResDense的U-Net网络模型

朱琳琳等[36]针对单纯的语义分割无法对重叠细胞进行正确的分割，主动轮廓较依赖初始轮廓的选择，将两者相结合，利用语义分割得到背景、细胞质、细胞核区域，利用细胞核在细胞团块中的分布情况初始化水平集函数，实现分割。黄亚楠[37]利用U-Net网络分割神经细胞遇到同样的问题，粘连细胞边界未能完全分割，通过K-means聚类算法成功识别细胞边缘。智绪浩[38]将U-Net扩展到半监督分割网络，在脂肪细胞计数时，基于图像扭曲方法和条件生成对抗网络的图像风格转换进行数据集扩充，分割网络采用U-Net，对于因染色较浅而导致欠分割的图像，再结合分水岭算法提高分割精度。Wollmann等[39]构建GRUU-Net网络，将循环神经网络RNN中的门限循环单元GRU与U-Net相结合，Full-Resolution Dense Unit(FRDU)将GRU流与池化流信息通过Dense block模块结合，GRU循环流迭代细化特征，池化流负责提取高级特征，增加网络深度的同时，增强模型对特征长期依赖的能力，如图8所示。

Yi等[40]利用SSD检测神经细胞，通过特征融合模块合并浅层和深层特征，有助于小细胞的检测；在SSD中加入注意力模块，专注提取图像感兴趣区域。根据边界框预测结果，在conv1到conv4的特征图中裁剪ROI区域进行实例单元分割。对比显示，骨干网络采用ResNet50，分割网络选择U-Net网络，相比现有方法，表现出良好性能，如图9所示。

基于U-Net的粘连图像分割方法如表3所示。

图8 基于RNN的U-Net网络模型[39]

图9 基于SSD的实例分割模型

表3 基于Unet的分割方法比较

U-Net作为医学细胞图像分割的代表型算法，结合密集连接、残差思想、注意力机制、循环神经网络等的变体，适合对目标较小目标的分割；但对于实际众多数量的小颗粒分割，像素级标记较为困难，需要求分辨率较高的图片，可结合剪切等操作放大图片。与此同时，对于粘连图像分割，通常将U-Net网络与分水岭、主动轮廓、聚类等传统算法结合使用，起到补充作用，更好地分割处边缘轮廓；与Faster R-CNN、SSD等目标检测算法相结合，完成分割、分类的同时，更好地表示实例目标的位置信息。

4 结论

本文介绍了基于分水岭、凹点的传统图像分割方法以及基于U-Net的语义分割方法。传统图像分割方法众多，主要结合分割对象的形态、边缘轮廓、像素背景等物理特征进行操作，与此同时，外界环境需固定，图像特征简单，分割、分类、识别等相互独立等成为受限条件；而深度学习的分割方法具备较强的自适应、自学习、非线性映射能力，分割、分类、识别等任务相互依存，再结合传统分割方法处理细节粘连信息的优势，能很好地适用复杂环境图像的处理。

根据目前研究现状，粘连颗粒分割任务从早期的只针对粮食作物、医学图像任务向各行各业开始渗透，传统粮食作物通常选用传统分割方法，而实际应用中不单单只是分割计数，而常包含检损、分类、定级、预测等工作。因此，有效结合深度学习方法能更好地进行实际应用，但深度学习往往需通过调整优化网络框架、激活函数、网络参数等，平衡速度与准确度的矛盾。除此之外，深度学习网络对数据集的依赖性强，针对某一研究领域，必须建立符合场景的高精度、数量庞大的数据集，往往需要依托工艺设备实现自动化、标准化。