大豆叶片图像的叶脉分割方法①

赵丹丹, 王 斌,2

1(南京财经大学 信息工程学院, 南京 210023)

2(智能机器人湖北省重点实验室(武汉工程大学), 武汉 430205)

大豆, 是一种豆科植物, 富含对人类和动物有益的植物蛋白质和脂肪[1]. 中国拥有5 000 多年栽植优质大豆的文化和历史, 是世界上最早培育大豆的国家. 许多其他国家的培育大豆都由中国传入, 如巴西、印度、美国等. 由于生产的大豆对人类健康有用且易于食用,已发展成为目前世界上消费最广泛的粮食之一[2]. 近些年, 自然环境的恶化以及全球人口基数增长共同引发了全球粮食危机, 即全球性的粮食短缺、产量锐减、价格涨幅过快, 全球饥饿人口和正在遭受粮食安全威胁的人口约占世界总人口的一半, 因此, 研究大豆育种、生长、发育和产量以提高大豆品质和产量这项任务具有十分重要的意义.

学术界和现代农业领域不乏对大豆的研究, 例如裴文彤[3]使用虚拟植物仿真技术实现了大豆叶片仿真建模, 在构建叶片轮廓的基础上, 通过观察叶脉的主侧脉之间的角度、形态和走向来实现模拟叶脉, 运用拉普拉斯算法对叶面区域进行弯曲操作, 使得大豆叶面模型达到了曲面弯曲效果, 并证明了实验得到的大豆叶片模型对于大豆的研究具有一定的价值. Wang 等人[4]首次尝试将来自大豆植株不同部位的叶片图像特征描述子进行联合用于识别大豆品种, 使用多尺度滑动弦来测量叶片图像的外部形状和内部特征, 他们的实验结果证明了大豆叶片中品种信息的可获得性. 这些研究都在不同程度上促进了大豆品种的鉴别、选择和生产,为提高大豆产量和缓解粮食危机问题提供了理论基础.

在图1 中, 我们列举了5 张大豆叶片图像(见图1中的第1 行), 它们分别取自不同品种的大豆植株的下部. 通过观察, 我们可以发现同属于同一物种的不同品种的大豆叶片具有高度相似的视觉模式, 很难从叶片图像中提取独特的叶片图像形状特征来用于大豆品种鉴别. 为了提取到可用于大豆品种识别的独特的叶片图像模式, 我们尝试着手工标注了这些叶片图像的叶脉信息(见图1 中的第2 行), 通过观察这些叶脉图像,可以直观发现这些叶片图像的叶脉结构分布差异较大,可以作为大豆品种识别的一个重要线索, 因此研究大豆叶脉模式具有重要意义.

图1 5 种不同品种的大豆叶片图像及其人工标注叶脉图像

叶脉是指叶肉内的维管组织及其周围的机械组织,是植物的重要器官之一, 主要功能是输送水和养料, 其在叶片上的分布情况称为脉序[5,6]. 如图2(a)所示, 这是一张大豆叶片图像. 大豆叶片由叶肉和叶脉组成, 其中叶脉结构较为复杂, 主要包括3 部分, 分别是一级叶脉、二级叶脉和细脉[7]. 一级叶脉, 也称主脉, 位于叶片的中心位置, 与叶柄区域相连且具有较宽的脉宽. 二级叶脉, 也称侧脉, 其起点来自于一级叶脉两侧, 脉宽小于一级叶脉. 细脉, 是自二级叶脉开始发出的叶脉, 其叶脉的宽度比二级叶脉的脉宽更小, 结构也更加复杂多变. 许多研究都表明, 叶脉中包含着植物最为关键的各种生理信息和遗传信息, 例如: 通过分析叶脉的位置和角度可以推断叶片的发育形态和叶脉的生长方向[8];主脉和侧脉之间的分布情况能够体现整株植物的结构[9]. 因此, 叶脉是识别植物品种和分析植物生长发育状况极具参考价值的指标, 对大豆品种进行叶脉分割有助于科学地研究各个品种大豆植株的结构以及生长情况, 同时对于大豆品种的基因研究和识别有着十分重要的研究价值.

图2 大豆叶片图像的叶脉结构图

大豆叶脉分割的挑战来自于大豆叶脉结构十分复杂, 叶脉像素宽窄度不相同, 部分叶脉区域的像素点灰度值没有发生激烈变化, 具有非常低的对比度, 直接借助灰度信息分割叶脉几乎不可能达到很好的效果. 同时, 叶片受温度、土壤、水分、养分等生长条件的影响, 会出现受光不均匀、枯黄、缩卷等情况, 这些都会对大豆叶脉分割研究造成很大的挑战.

本文专注于基于图像处理技术大豆叶脉分割问题.我们提出了组合多尺度灰度无约束击中或击不中变换(unconstrained hit-or-miss transform, UHMT)算法[10]和基于色调饱和度亮度(hue-saturation-intensity, HSI)颜色空间[11]的色调(hue)信息处理方法的叶脉分割方法. 该方法结合红绿蓝(red-green-blue, RGB) 颜色空间[12]中的灰度信息和HSI 颜色空间中的色调信息,分别从大豆叶片图像中分割出全局叶脉和局部一级、二级叶脉. 其中, 灰度信息可以实现叶片区域提取, 同时结合多尺度灰度UHMT 算法能够很好地分割出全局叶脉, 而HSI 颜色空间的色调信息能够扩大一级、二级叶脉和细脉之间的差异, 更加完整地分割一级、二级叶脉. 为研究该方法的有效性, 我们使用了大豆品种叶片图像数据库SoyCultivar[13]中的大豆叶片图像来验证实验. 对实验结果中叶脉图像进行观察与分析,证明了本方法对大豆叶脉分割的有效性.

1 相关工作

近年来, 计算机视觉和图像处理技术高速发展, 叶脉模式分析已经成为了研究的热门课题, 植物叶脉分割方法研究也已有了大量成果. 现将叶脉分割方法分为4 类, 分别基于区域、边缘、聚类和神经网络.

基于区域的分割方法根据图像的颜色、纹理、像素分布规则等特征, 把图像中的像素点划归到不同的区域中[14]. 针对传统的阈值分割方法无法区分多类别的目标图像的问题, 吴志辉[15]提出一种最大类间方差法和最大熵法结合的方法, 基本上能够有效地将叶脉从包含背景和叶肉的图像中分割出来, 但仍有部分叶肉像素点没有被正确分割. 金秋春等人[16]采用高斯梯度法计算出水平和垂直两个方向的梯度, 设计8 个不同方向的顶帽变换算子进行变换, 主叶脉和侧叶脉提取完整清晰. Larese 等人[17]和Grinblat 等人[18]使用UHMT 方法对叶脉模式进行分割.

基于边缘的分割方法的分割原理是: 在一张图片中, 属于不同类别的区域的边界位置像素点的灰度值差异较大[19]. 使用这一类方法, 可以检测出图像中各个区域的边缘, 从视觉效果分析大体满足了图像的分割要求. 田甜等人[20]结合植物叶脉特有的形状和组成结构, 对原始4 个方向的索贝尔算子进行了改进, 构造出了8 个方向的索贝尔算子, 用于植物叶脉的分割, 大体上能够提取出清晰的叶脉, 但部分非常细小的叶脉未被提取出来. 朱鹏[21]选择Canny 算子进行边缘检测操作, 初步提取出叶脉, 同时对hue 信息进行分割, 在此基础上, 利用形态学方法和小波变换对分割结果进行处理、整合, 从而实现叶脉分割. 任克强等人[22]试图将模糊增强方法运用到了边缘检测算法中, 并对Canny算子进行了改进, 共同实现叶脉分割, 该方法虽然可以完整地分割出叶脉边缘, 但对边界模糊性的敏感度不够. 汪涛等人[8]利用霍夫变换技术寻找一级叶脉的位置, 并确定和区分叶片两端的端点位置, 然后进行角点检测来搜寻一级叶脉和二级叶脉的交点, 从交点出发确定二级叶脉的位置, 这种方法能够很好地提取出一级叶脉和二级叶脉, 同时一级和二级叶脉夹角测量结果较为准确. 张立红等人[23]利用霍夫变换检测植物叶脉图像并且消除图像噪声, 其效果好于普通的微分检测算子的效果, 边缘线更加平滑, 噪声更少. 由于叶脉结构十分复杂, 仅处理叶片的亮度信息实现叶脉分割效果很差, 马全军等人[24]采用方向能量模型来实现边缘检测, 从不同方向计算像素点的方向能量, 通过计算结果对比选定最佳的方向和大小, 从而能够更加高效且准确地进行叶脉边缘分割. 实验结果证明了这种方法对普通叶片和包含阴影区域的叶片都能起到很好的分割作用, 一级和二级叶脉信息分割完整.

基于聚类的分割方法通过计算图像中各个像素点之间的相似程度, 把相似程度高的像素点划分为一类,以期在最短的时间内分出尽可能少的类, 同时保证同类差异小、不同类差异大. 李灿灿等人[25]提出一种基于K 均值聚类的叶脉分割算法, 依据HSI 颜色空间中的I 信息区分叶片图像受光是否均匀, 将图像分为两类, 分别对这两类有差异地进行聚类处理, 这种方法能够显著降低叶脉分割的错分率, 但不能处理叶脉比叶肉亮度大的叶片图像. 宣旭峰等人[26,27]考虑了叶片受光是否均匀以及叶片是否枯黄, 将叶片分为4 个类别,在HSV 颜色空间信息与直方图信息基础上, 使用快速模糊C 均值聚类算法用于区分这4 种类别并进行叶脉分割. 徐艳蕾等人[28]、李永亮等人[29]、杨泽静等人[30]均将模糊逻辑运用到叶脉分割方法中, 分别与形态学相结合, 用来克服自然环境中噪声的影响, 提高了叶脉检测效果. 其中文献[30]第一步使用了大津法来获得叶片区域, 然后使用Canny 算子进行叶脉边缘检测, 得到较为粗糙的叶脉, 为了提取更加准确的叶脉, 运用了模糊聚类方法对已得到的叶脉像素点分类, 提取出更加精细、准确的叶脉信息. 模糊聚类方法很好地降低了光照差异对提取结果的影响.

基于神经网络的分割方法, 是一种借助已有的图形特征, 不断进行学习和自我优化的方法, 能够自主提炼出很多图像中的有效信息. 赵卓英等人[31]运用细胞神经网络进行叶脉分割, 通过合理地对神经网络参数进行设计, 最终网络分割出的叶脉信息较为理想, 但需花费大量的时间. Li 等人[32]将主动轮廓技术运用到细胞神经网络上, 实现了更加灵活、准确地提取叶脉结构. Fu 等人[33,34]做出了使用人工神经网络训练模型进行叶脉分割的尝试, 网络模型选用包括灰度值在内的10 个参数作为输入层. 随着深度学习研究的不断深入,基于语义的图像分割技术同样也可以用于叶脉分割工作. Xu 等人[35]人工标注叶脉信息, 得到叶脉标签图, 并在原图和标签图上圈出感兴趣的区域, 构造出两个数据集, 分别传入U-Net 网络进行训练, 优化模型参数,并对叶片图像进行预测, 与人工标注的标签图进行定量比较, 得到模型的性能评价结果.

这些方法虽然各有千秋, 但将这些方法运用到大豆品种叶片图像的叶脉分割研究时, 效果并不理想.到目前为止, 专注于大豆品种的叶脉分割研究还没有发现, 因此, 本文聚焦不同品种的大豆叶片图像, 利用RGB 颜色空间中的灰度信息和HSI 颜色空间中的色调信息, 提出多尺度灰度UHMT 算法和基于HSI颜色空间的色调信息处理方法, 分别用于从大豆叶片图像中分割出全局叶脉和局部一级、二级叶脉. 基于灰度信息, 首先采用迭代阈值分割方法分割叶片, 通过膨胀腐蚀消除叶片外轮廓以及叶柄等干扰因素, 得到叶片区域图像. 并利用多尺度灰度UHMT 算法分割出全局叶脉图像. 基于色调信息, 使用图像对比度增强方法扩大叶脉与其他像素点灰度值差异, 以分割局部一级、二级叶脉. 该方法不仅能完整、清晰地分割出大豆叶脉, 而且消除了背景、叶片外轮廓和叶柄等干扰因素, 通过实验可证明该方法对大豆叶脉分割的有效性.

2 叶脉分割方法

本文的叶脉分割流程图如图3 所示, 包含4 个部分, 分别是叶片图像的预处理、多尺度灰度UHMT 算法分割全局叶脉、基于HSI 颜色空间的色调信息分割局部一级、二级叶脉以及全局叶脉图像与局部一级、二级叶脉图像的融合. 实现细节将在后面逐一说明.

图3 叶脉分割流程图

2.1 叶片图像的预处理

叶片图像的预处理包括提取叶片区域、消除背景、去掉叶片外轮廓和叶柄等操作, 下面介绍具体的技术细节.

大豆叶片图像中往往包含背景区域, 背景中常混杂着一些干扰信息和噪声点, 影响大豆叶脉分割结果. 因而, 有必要将叶片区域和非叶片区域分开, 提取叶片区域.

具体算法步骤如下:

(1) 利用式(1)将叶片彩色图像rgb转化为灰度图gray, 用于去除图像中的所有颜色信息.

5) 重复第2)-4)步, 直到满足条件|T-T0|＜0.5.

(3) 利用形态学中的填充孔洞算法, 删除叶片区域内多余的噪声点.

(4) 去除背景区域的干扰信息, 仅保留叶片区域图像中最大连通分量.

(5) 利用形态学膨胀腐蚀操作, 去除叶柄和叶片外轮廓, 得到去除叶片外轮廓和叶柄的叶片区域图像.

2.2 多尺度灰度UHMT 算法分割全局叶脉

考虑到灰度UHMT 算法的主要原理是计算区域内的像素灰度值的最大最小值的差值, 复合算子设计不同会造成算法结果不同. 为尽可能地降低复合算子的设计对实验结果的影响, 本文将灰度图像的大小缩放到原图的100%、90%、80%、70%、60%. 使用UHMT 方法分别处理这5 个尺度的灰度图像, 将得到的灰度叶脉图恢复至原图大小并取每个像素点对应的5 个不同叶脉图的5 个值中的最大值, 得到组合后的灰度叶脉图像. 根据大豆叶片的叶脉像素点分布特点, 设计了4 个复合算子B1、B2、B3、B4, 分别代表倾斜角为0°、45°、90°、135°的方向. 每个复合算子Bi(i=1, 2, 3, 4) 都包含一个前景算子Bif和一个背景算子Bib, 如图4 所示. 在Bf中, 1 代表叶脉区域, 0 代表非叶脉区域; 在Bb中, 1 代表非叶脉区域, 0 代表叶脉区域.每个复合算子的中心位置为前景算子Bf中标为1 的阴影部分位置.

图4 UHMT 算法的复合算子

使用自适应直方图均衡化方法, 对组合后的灰度叶脉图像进行对比度增强. 同时, 使用自适应阈值算法,将灰度叶脉图像转化为二值叶脉图像, 并删除像素点个数小于5 的连通分量. 通过上述一系列操作, 最终得到一个全局叶脉图像BI1.

2.3 基于HSI 颜色空间的色调信息分割局部一级、二级叶脉

HSI 颜色空间由3 个分量组成, 它们分别是色调H (hue)、饱和度S (saturation)和强度I (intensity), 其中色调表示颜色的类别, 饱和度表示颜色的鲜艳程度,强度表示光亮程度[36]. HSI 颜色空间的表示方式最贴合人类的视觉系统认知颜色的方式, 其中色调信息是人类能够感知和区分颜色的一个重要信息来源, 能够区分细微的颜色差异, 在分割叶脉一级叶脉和二级叶脉方面能够取得很好的效果[37].

HSI 模型各分量与RGB 模型各分量的数学关系可以表示为式(6)-式(8)[11]:

2.4 全局叶脉图像与局部一级、二级叶脉图像的融合

将第2.2 节中得到的全局叶脉图像BI1和第2.3 节中得到的局部一级、二级叶脉图像BI2进行融合, 得到最终完整的大豆叶脉图像BI. 由于全局叶脉图像BI1和局部一级、二级叶脉图像BI2均为二值图像, 且每个像素点的取值均为0 或1, 所以图像融合的方法可采用两张图像对应像素点取并集, 对应的数学公式如下:

其中,BI1(x,y)和BI2(x,y)分别表示全局叶脉图像BI1和局部一级、二级叶脉图像BI2中位置坐标为(x,y)的像素点的值,BI(x,y)表示最终的大豆叶脉图像BI中位置坐标为(x,y)的像素点的值.

3 实验结果对比与分析

本文使用大豆品种叶片图像数据库SoyCultivar[13]中的大豆叶片图像来进行实验, 验证本方法的实验结果. 该数据库共有1 200 个样本, 分别采集自中国大豆主产区吉林省长春市的200 个品种的大豆植株, 每个品种随机采集不同植物的上部、中部和下部各2 片叶子, 然后由分辨率为600DPI、48 位真彩色设置的EPSON V850 Pro 扫描仪通过反射扫描叶片正面得到.

以编号为imgyd178_R1_4_t 的大豆叶片图像为例,图5 展示了本文算法中各个模块的实验结果. 图5(a)是大豆叶片原图, 为彩色图像. 图5(b)是灰度图像, 是由原图进行灰度化操作获得的, 摒弃了叶片颜色信息.图5(c)是分割的叶片区域图像, 具体操作步骤包括对灰度图进行迭代阈值分割、填充孔洞和保留最大连通分量操作, 可以看到叶片区域分割完整. 图5(d)是去除叶柄和叶片外轮廓后的叶片区域图像, 主要运用了形态学的腐蚀和膨胀操作, 这个操作很好地消除了背景以及叶片外轮廓、叶柄等无关成分. 图5(e)是全局叶脉图像, 是通过多尺度灰度UHMT 算法对灰度图像的叶片区域进行处理获得的. 图像中细脉分割清晰, 但部分一级和二级叶脉有缺损. 因此, 需要利用HSI 颜色空间中的色调信息获取局部一级、二级叶脉. 图5(f)是利用色调信息分割得到的局部一级、二级叶脉图, 具体操作步骤包括图像对比度增强、自适应阈值分割、设计算子检测主侧脉. 图5(g)为最终大豆叶脉图, 它是由全局叶脉图和局部一级、二级叶脉图进行图像融合得到的. 通过观察, 我们可以发现整张叶片图像提取到的叶脉十分完整, 一级、二级叶脉清晰.

图5 本文算法实验结果图

将文献[17]、文献[30]与本文方法的实验结果进行比较. 图6 为3 种算法的实验结果对比图, 一共3 组大豆叶片图像. 每行图像从上到下依次表示原图、文献[17]灰度UHMT 方法分割结果、文献[30] Canny边缘检测和局部模糊聚类方法分割结果以及本文算法分割结果. 通过观察图6 中的3 种算法的叶脉分割实验结果图, 我们可以看出, 文献[17]叶脉分割总体效果比较好, 但是一级叶脉几乎都没有分割出来, 并且实验结果包含着叶柄和叶片轮廓信息. 文献[30]叶脉分割效果时好时坏, 受叶片颜色和光照角度影响大, 鲁棒性差, 例如从视觉效果上看第1 个大豆叶片图像的分割准确度明显高于第2 个和第3 个大豆叶片图像的分割结果. 与文献[17]相同, 文献[30]使用的叶脉分割算法, 其实验结果图也存在主侧脉不清晰、叶柄及叶片外轮廓去除不干净、叶肉噪声点多的问题.

由于本次实验采用的大豆数据集均为高分辨率叶片图像, 因此图6 中展示的实验结果图只能大致观察出一级和二级叶脉的分割效果, 对于细脉的分割效果很难观察出. 为了更好地观察叶脉分割细节, 我们对3 种方法得到的叶脉分割图像截取部分区块, 进行放大对比, 以判断各算法在细脉分割方面的效果. 这里我们将两张大豆叶片图像, 用3 种算法分别进行叶脉分割,再在实验结果图上分别截取两个位置不同、大小为200×200 的切片, 并进行放大. 将这些切片的原图和实验结果图进行对比, 对比图如图7 所示. 通过观察图7中的一级叶脉、二级叶脉和细脉的分割结果, 我们能够直观感受到本文算法在大豆叶脉分割研究中更胜一筹. 对比文献[17]和本文算法实验结果图, 不难发现本文算法比文献[17]算法提取到的细脉信息更加完整,文献[17]中细脉存在一定程度的缺失, 连续性不够. 文献[30]的实验结果要明显差于文献[17]和本文算法的实验结果, 主要原因是Canny 算子是边缘检测算子,检测到的是叶脉的边缘, 而不是全部叶脉像素点. 因此造成了噪声像素点非常多, 各级叶脉脉宽过大且中空的问题. 而本文算法的实验结果图中, 整体上叶脉结构信息完整, 主侧脉清晰完整, 细脉的分割结果虽然也存在部分细脉像素点丢失的问题, 但明显比文献[17]和文献[30]的分割效果好.

图6 本文提出大豆叶脉分割算法与文献[17]、文献[30]提出的叶脉分割效果的对比

综上所述, 本文算法分割出的叶脉结果图中, 各级叶脉均能够清晰、完整地分割出来, 效果优于文献[17]和文献[30]提出的叶脉分割算法. 并且, 实验结果图中叶柄以及叶片外轮廓消除得十分干净, 噪声像素点几乎没有. 因此, 可以得出本文提出的算法适用于大豆品种叶片图像的叶脉分割的结论.

4 结论与展望

本文聚焦于大豆叶脉分割方法, 针对现有的叶脉分割方法普遍存在的叶脉分割不完整、干扰信息多、精确度低的问题, 提出用多尺度灰度UHMT 算法和基于HSI 颜色空间的色调信息处理方法, 分别分割全局叶脉和局部一级、二级叶脉, 并结合形态学方法消除叶柄、叶片外轮廓和背景的干扰. 实验结果表明, 本文采用的方法能够很好地分割大豆叶片图像的叶脉结构,叶脉图像清晰、完整, 仅含有较少的无关像素点. 未来,我们的研究工作将聚焦于细粒度叶脉分割, 以实现叶脉的分级分割, 以及基于叶脉模式的品种识别.