基于深度监督显著目标检测的草莓图像分割

钱文秀， 常 青， 向 辉， 康文斌

（华东理工大学信息科学与工程学院，上海 200237）

近年来，中国的草莓种植面积逐步扩大，草莓采摘是整个草莓生产过程中最耗时、耗力的环节之一，约占整个生产过程劳动总量的50%[1]，因此草莓的自动化信息采集、采摘对草莓的大规模种植和科学管理具有重要意义。草莓图像分割是机械化采摘、信息化管理的核心关键之一，草莓图像分割效果直接影响后续的信息采集和草莓采摘。

现有文献大多只针对固定背景的水果图像、成熟且无杂物遮挡的草莓图像分割。其中，Lyu 等[2]通过应用K-means 对RGB、Lab 颜色空间的G、B 颜色通道分割后进行开运算、微小区域消除、融合等操作来分割出目标。然而，分割结果对初始聚类中心敏感，需连续对样本进行分类和调整，更新聚类中心，导致算法的时间复杂度增加。Wei 等[3]提出了一种复杂农业背景下采摘机器人的水果图像自动提取方法，应用Ohta 颜色空间的新特征作为输入，进行OTSU 算法的阈值分割，虽然大多数时候能成功提取复杂农业背景下的成熟水果，但在处理石榴图像时部分果实图像会缺失，且存在光照、背景、时间复杂度或参数设定等缺陷，并不适用于实际背景下成熟草莓的图像分割。张红旗等[4]通过遗传算法寻找FCM 图像分割方法的聚类中心，提出了基于遗传算法的草莓图像FCM 分割方法，但需预先设置簇的数量，且遗传算法收敛速度较慢。Karlo 等[5]提出了一种基于凸面检测和分类的RGB-D 图像水果识别方法，但是该方法对光线强度比较敏感，强烈阳光照射的环境会影响分割效果。Zhao 等[6]提出的基于ISODATA 算法的草莓图像分割方法参数设置繁琐且仅对完全成熟的草莓图像分割效果良好。覃磊等[7]基于RGB 颜色相度的成熟草莓图像分割（CS-BASED RSIS）仅应用于完全成熟草莓图像的分割，对未完全成熟的草莓分割效果明显下降。刘辉等[8]提出的融合深度信息的Grabcut 自动图像分割，基于深度信息提取Grabcut 的矩形框，因草莓对象的不规则和复杂背景的干扰，并不能精确地标记前景对象，降低了分割准确度。

常用的Grabcut[9]算法使用矩形框指导分割目标，矩形框内除了不同成熟度或可能被叶子、杂物遮挡的草莓目标还包含其他复杂背景，影响了Grabcut分割的精确度。本文提出根据显著性区域制作掩模，用以标记Grabcut 的前景和背景来指导目标草莓分割。为了使该算法在昏暗的环境中也能得到较好的分割结果，提出用限制对比度自适应直方图均衡化为基于HNSD 架构显著区域的检测增强整体边缘，最终实现有效地检测显著草莓区域，不仅能适用于不同程度明亮、昏暗环境而且可以分割出完全成熟和未成熟的草莓图像。

1 Grabcut 自动分割算法

本文算法的主要步骤如图1 所示。首先采用限制对比度自适应性直方图均衡化（Contrast-limited Adaptive Histogram Equalization，CLAHE）[10]增强原始图像，降低光线敏感度，然后使用结合短连接的整体嵌套显著目标检测（Holistically-Nested Salient Object Detection with Short Connections，HNSD）[11]查找显著性区域，最后将显著性区域作为Grabcut 的前景进行分割得到分割图像。

图 1 算法流程图Fig. 1 Flow chart of algorithm

1.1 均衡化处理

常用的直方图均衡化（Histogram Equalization，HE）是一种图像整体增强方法，不能有效增强局部信息，造成局部区域的明暗信息损失[12]，而自适应直方图均衡化（Adaptive Histogram Equalization，AHE）[13]在强化图像局部细节的同时增加了图像噪声，因此，本文采用CLAHE 对原始草莓图像进行增强处理。

CLAHE 通过限制局部直方图的高度来限制对比度的增强幅度，从而限制噪声和局部对比度。CLAHE 算法基本流程如下：

（1）将原图分割成 M ×N 个连续不重叠的子区域，子块大小与增强效果、细节丢失成正比。

（2）对图像每个通道计算灰度直方图 H (i) 。

（3）设置阈值T（如图2 所示），当 H (i)＜T 时，

H (i) 、L、 Hmax三者的关系为

图 2 剪裁分配示意图Fig. 2 Clipping assignment schematic

（4）对每个受限子区域进行直方图均衡化。

（5）选取每个子区域的中心为参考点，对图像每个像素进行灰度双线性插值计算，如图3 所示。插值公式如下：

式中：G（i）代表点（x，y）处的灰度值； G--(i) 为点（x，y）左上方样本点； G-+(i) 、 G+-(i) 、 G++(i) 分别为其他3 个方位的样本点。

图 3 双线性插值运算Fig. 3 Bilinear interpolation operation

图4 示出了CLAHE 的处理效果。可以看出，相比于左边昏暗环境下的暗红色草莓，右边的鲜红色草莓具有明显的轮廓特征，更易于整体边缘检测，最终得到更优的显著区域。

图 4 CLAHE 的处理效果对比图Fig. 4 Process images by CLAHE

1.2 基于HNSD 架构的显著区域检测

1.2.1 HNSD 结构 结合短连接的整体嵌套显著目标检测是基于整体嵌套边缘检测（Holistically-Nested Edge Detector，HED）[14]的显著性检测结构，如表1 所示，包含5 个卷积层和1 个池化层，在每个侧面输出连接3 个具有不同滤波器通道和空间大小的卷积层。其中，“1”、“2”和“3”表示每层侧输出中使用的3 个网络层， n ,k×k 中的 n 和 k ×k 分别表示通道数和卷积核尺度。

表 1 侧面输出信息Table 1 Details of each side output.

其中： αm为第 m 个侧面输出的权重；表示第 m 个侧面输出的图像级类平衡交叉熵损失函数。使用标准交叉熵计算训练图像和真值显著图之间所有像素的损失函数。损失函数定义如下：

其中： f =(f1,···,fM) 为融合权重；为第 m 层输出的激活值；表示真值图和预测融合图 之间的距离。因此，最终的损失函数为

1.2.2 短连接 引入一种自上而下的方法，即从较深的侧面输出到较浅的侧面输出层的一系列短连接。结合较深的侧面信息，较浅的侧面输出既可以准确地预测显著区域，又可以从较深的侧面输出中细化结果，从而产生密集且准确的显著区，因此在HNSD体系上引入短连接可更优地结合深层和浅层的优点。短连接结构图如图5 所示。

图 5 短连接结构图Fig. 5 Illustration of short connections

1.2.3 基于短连接的深度监督显著目标检测 较深的侧面输出能够找到显著区域的位置，但要付出损失细节的代价，而浅的侧面输出侧重于低级特征，但缺乏全局信息。通过适当地组合不同的侧面输出，可以提取视觉上更佳的对象。为了使模型达到更优的效果，HNSD 使用如下的短连接方法：

1.2.4 参数设置 设置学习率 为 1 0-8，衰 减权重为0.5×10-3，动量为0.9，每个侧面输出的损失权重为1。使用全分辨率图像来训练网络，将最小批量设置为10。使用随机数初始化新添加的卷积层中的内核权重。融合层权重在训练阶段都初始化为0.166 7。

1.3 基于深度监督显著目标检测的草莓图像分割

Grabcut 算法是根据GraphCut[15-17]算法进行改进的一种基于图论的图像分割方法。它将图像映射成无向网络图，然后构建一个优化对象变量的能量函数，最后使用最大流/最小割方法优化能量函数。

Grabcut 简化了用户交互并使用了GMM 而非直方图。首先定义一个无向图G（V，E），其中V 表示所有无向图所有顶点的集合，E 表示链接所有顶点的无向边的集合。在V 集合内添加源S 和接收器T，使所有像素点连接到两个端子。于是，无向图G（V，E）包含t-links （Neighbored）和n-links （Terminal）两种连接方式。所有表示像素的顶点的中心边为n-links；所有与额外两个端点相连的边为t-links。通常，无向图使用4 邻域或8 邻域连接两个像素。图像中含有N 个像素，图像表示为 z= (z1,z2,···,zN) ，定义能量函数为

并结合了像素标记方法用来表示最佳分割。

首先引入一组新的向量 α ={α1,α2,···,αN} ，用来标记每个像素属于前景或背景。得到显著图后，设置一个阈值对图像进行二值化。本文实验设置阈值为100，通过设置显著区域，其余像素属于背景来初始化Grabcut 掩模图像，这样可以增加分割的准确性。

平滑项V 使用欧式距离求出：

其中： α ,β 为常量。在Grabcut 中， α =50 是根据Rother等实验获得[16]，而 β 根据图像对比度确定。

2 实验结果

2.1 实验设置

本文实验使用的数据集是OpenMV 摄像头采集的中国传统地垄种植草莓园里的草莓图像，制作5 000 张像素为500×500、格式为JPG 的图像。评价指标包括F-measure[18-20]和IOU （Intersection Over Union）[21]，计算公式如下：

其中： U 表示真值图中的真实目标； U′为分割目标。选取文献[2]、文献[6-8]与本文算法进行比较。

2.2 定性比较

图6 示出了相似光线强度下6 张不同的草莓图像，以及本文算法与其他4 种算法的直观视觉效果。其中第1、2 行是完全成熟草莓对应不同算法的分割效果，文献[6-8]和本文算法皆取得了精确度较高的效果。第3、4 行图像中包含完全成熟和完全青色的草莓对象，文献[6-7]仅完好地分割出了完全成熟部分，将青色未成熟草莓误判为背景；文献[2]、文献[8]保留了较多的背景；本文算法则分割出了较完整的成熟草莓和青色草莓。第5、6 行为未完全成熟的草莓图像，文献[6-7]没有分割出完整的草莓对象，文献[2]、文献[8]依旧保留较多的草莓背景，而本文算法比较完整地分割出了未成熟目标草莓。结果表明，本文算法在相似光照强度下，可以有效地分割出不同成熟度的草莓。

图 6 不同算法的分割图比较Fig. 6 Comparison of segmentation graphs with different algorithms

图7 示出了3 张草莓图片在明亮光线和昏暗环境下采用本文算法的分割效果，其中第2 行为第1 行的分割结果。可以看出，本文算法在昏暗的环境下也能完好地分割出草莓目标，可以适用于较大差异的光线环境，有效地去除过多的复杂背景，分割出未成熟和已成熟的草莓对象，在实际草莓采摘环境下取得了与真实值较接近的效果。

图 7 不同明暗环境本文算法分割图比较Fig. 7 Comparison of algorithm segmentation graphs in different light and dark environments

2.3 定量比较

对在实际环境采集的5 000 张草莓图像数据集计算F-measure、IOU 指标，结果如图8 所示。图8（a）示出了 β =1 时的准确率、召回率、F-measure。可以看出，文献[2]、文献[6-8]的回召率和精确率表现出明显的差异且明显低于本文算法。图8（b）示出了IOU 的比较结果，显示了本文算法的实际分割对象与真值图具有较高的重叠率，证明了本文算法得到的F-measure、IOU 均优于其他算法。

图 8 数据集上的结果比较Fig. 8 Comparisons of results on data sets

表2 示出了本文算法在不同明暗环境下的草莓图像分割精确率、回召率、F-measure、IOU 指标，可以看出，昏暗环境与明亮环境下的4 种指标值没有较大的变化，表明本文算法可适用于不同程度的明暗环境。

表 2 不同明暗环境下分割结果比较Table 2 Comparison of segmentation results under different lighting and shading environments

3 结束语

本文提出了基于深度监督显著目标检测的草莓图像分割研究，限制对比度自适应性直方图均衡化处理降低了对光线明暗的敏感度。基于短连接的深度监督显著目标检测算法查找显著性区域，可以准确地查找到草莓区域，最后Grabcut 根据草莓区域作为前景得到更精确的分割目标。实验结果证明，本文方法在实际图像上获得了比其他算法更高的F-measure、重叠率指标，验证了该方法具有更优异的分割效果。未来将考虑更快的计算速度和算法应用环境的移植，以增强算法的实用性。