基于机器视觉的蓝莓果实分级检测算法

王伟 房银杰 刘九庆 王智琦

摘 要： 为了实现蓝莓果实的无损检测和自动分级，提出一种基于机器视觉的蓝莓果实分级检测算法。应用OpenCV，Visual Studio 2015开发环境编写算法程序，并搭建了一套基于机器视觉的蓝莓果实自动分级检测实验装置。通过实验装置的CCD摄像头获取蓝莓果实图像后，应用图像处理技术对其进行降噪、HSV加权运算、开运算、二值化处理及边缘检测，获取蓝莓果实图像的边缘像素点集。对边缘像素点集进行椭圆拟合后，应用最小二乘法确定蓝莓果实的实际值与计算机测量值之间的数学关系，求取蓝莓果实直径。为了验证算法的可行性，使用数字式游标卡尺对蓝莓果实的测量值与检测装置的测量值进行实验对比分析。实验结果表明，测量误差低于3.1%，验证了算法的有效性。

关键词： 蓝莓果实； 机器视觉； 边缘检测； 最小二乘法； 分级检测； 图像处理

中图分类号： TN911.73?34 文献标识码： A 文章编号： 1004?373X（2018）13?0038?05

Abstract： A new blueberries grading detection algorithm based on machine vision is proposed to realize the non?destructive detection and automatic grading of blueberries， and a set of experiment device for it is established. The OpenCV and Visual Studio 2015 development environment are used to compile the algorithm program. The blueberries image is acquired by means of CCD camera of the experiment device， for which the denoising， HSV weighting operation， open operation， binarization and edge detection are performed to obtain the edge pixel point set of blueberries image. The ellipse fitting is conducted for edge pixel point set， and then the least square method is adopted to determine the mathematic relation between the actual value and computer measured value of the blueberries to get the diameter of blueberries. The sizes of blueberries measured by digital vernier caliper and detection device were compared and analyzed in experiment to verify the feasibility of the algorithm. The experimental results show that the measurement error is less than 3.1%， which can meet the practical requirement.

Keywords： blueberry； machine vision； edge detection； least square method； grading detection； image processing

0 引 言

藍莓果实是一种具有较高经济价值和广阔开发前景的浆果，果实具有较高的保健作用和药用价值，日益受到人们的喜爱。随着蓝莓产业的发展和不同人群对蓝莓果实的不同需求，需要一种快速、有效的蓝莓果实分级方法。

当前，蓝莓果实分级的方法主要有蓝莓果实分级机和人工目测法两种方法。蓝莓果实分级机是按果实大小进行分级，它的工作原理是使果实沿着具有不同尺寸的网格或缝隙的分级筛移动，最小果实先从最小网格漏出，然后较大果实从较大网格漏出，按网格尺寸的差别，依次选出不同级别的果实，对果粉、果形有一定的损害，影响蓝莓果实品质。更普遍的分级方法是人工目测法，流水线上的工人通过目测果实果粉、果蒂撕裂、果形和果实成熟度，根据蓝莓果实的几何特性和色度特性评估蓝莓等级[1]。但人工作业也存在以下不足：

1） 劳动强度大，成本高，效率低，分级人员视觉容易疲劳；

2） 分级质量受劳动者主观影响大；

3） 增加人工与蓝莓的直接接触机会，影响产品的食品卫生安全等[2]。

综上所述，针对蓝莓果实分级没有较完备的检测方法这一需求，本文研究了一种利用机器视觉对蓝莓果实进行品质分级的无损检测算法，以实现大批量、高精度、低损害的蓝莓果实分级。

1 实验装置的搭建

1.1 硬件装置

实验装置如图1所示，装置主要由CCD摄像头（JD?202）、摄像头支架、计算机、检测平台等组成。工作过程如下：首先，计算机通过CCD摄像头获取放置于检测平台的蓝莓果实图像；然后，计算机通过图像处理程序对蓝莓果实图像进行处理；最后对蓝莓果实进行分级检测。

1.2 程序设计

实验装置软件程序界面如图2所示。

1） 按下“打开摄像头”按钮，软件打开摄像头并将视频图像传至图像显示窗口。

2） 按下“分级检测”按钮，执行图像处理操作。在左边的图像显示窗口输出每个蓝莓果实的编号，右侧文本框输出蓝莓果实的尺寸和等级。

3） 软件界面右边的三个按钮“H通道”“S通道”“V通道”分别用于HSV转换显示窗口中的图像通道，目的在于更加直观地观察加权处理时各个通道的情况。程序流程如图3所示。

2 图像采集与图像预处理

图像采集的目的在于获取清晰的蓝莓果实图像。由于检测环境可能存在诸多不稳定的因素（如光线偏差、检测目标抖动以及噪声干扰和其他不稳定因素等），会对提取的蓝莓图像产生负面影响，因此，在研究中应用高斯低通滤波对图像进行初步的降噪处理。为了提高实验难度，在实验中加入少许叶片作为干扰。

高斯低通滤波的作用是模糊图像和降低噪声，使低频信号通过，而高频信号（变化比较剧烈，如小边缘，小锯齿等）会在此操作后被过滤掉，对图像起到平滑作用[3]，为后续的边缘检测消除干扰。处理前后图像如图4所示。

比较原始图像和经高斯滤波后的图像可以看出，图像在此操作后被模糊，同时图像的小噪声点被过滤掉。

3 图像的处理与边缘检测

3.1 HSV加权处理

HSV图像[4]是面向操作者而产生的图像数据类型，它可直观地提取包括蓝莓果实的尺寸表面形态以及表面色度等相关数据信息。HSV加权步骤如下[5]：

1） 将RGB彩色图像转化为HSV图像；

2） 分离HSV图像的三个通道；

3） 对HSV的S通道和V通道做差。

加权处理结果如图5所示，可以看出原来各个通道的图像在噪声干扰下显得混乱，但经过加权处理后的图像不仅极大地消除了图像噪声，且凸显出了各个被测实体，衰减了阴影对蓝莓轮廓大小的干扰，方便提取蓝莓果实的边缘轮廓。

3.2 开运算

加权处理后，干扰和噪声仍然存在。为了去除噪声点的影响，应用开运算使图像更加整齐，便于后续处理。开运算步骤如下：

1） 将加权图像与原始背景图像做差；

2） 对图像进行开运算处理；

3） 将图像取反再进行一次开运算。

开运算处理结果如图6所示。可以看出经过处理，目标图像的轮廓更加清晰，而一些与目标无关的小面积物体被去除，同时在背景中由于光线产生的影响也被去除。

3.3 二值化处理

经过处理后的图像往往邻域中有很多点的梯度值比较大，而边缘检测则是根据图像中梯度较大的点进行轮廓绘制。在一些特殊情况下，这些图像中梯度较大的点可能并不是要找的边缘点，因此需要通过阈值化方法加以解决[6]。即在加权处理和开运算的基础上对图像进行二值化处理，利用阈值分割出所要检测的实体图像。二值化处理结果如图7所示。由图7可以看出图像中一些梯度较大而不是边缘的点被过滤掉了。

3.4 邊缘检测

研究中选择Canny算子[7]对蓝莓果实的轮廓进行提取，在设置参数时仅提取外轮廓。边缘检测结果如图8所示。可以看出，果实边缘轮廓清晰、完整，但图像中仍包含有非蓝莓果实轮廓。

3.5 目标判定

为了剔除边缘检测结果中的非蓝莓果实轮廓，利用边缘像素点计算蓝莓果实轮廓的圆形度和面积，以滤除非蓝莓的轮廓目标。

3.5.1 圆形度

圆形度可以用来判断蓝莓果实的完整性，并滤除非蓝莓物质。被检测区域的圆形度越小，表明外形越复杂；被检测区域的圆形度越大，表明形状越接近圆形。圆形度计算公式如下[8]：

研究中对100个蓝莓果实样本进行测量，发现蓝莓果实的圆形度普遍大于0.75，因此，在检测过程中将目标轮廓的圆形度小于0.75的加以剔除。

3.5.2 轮廓面积大小

由于蓝莓果实的大小一般在一定范围之内，因此轮廓面积大小可以作为判定目标轮廓的一个因素。研究中，预先设定蓝莓轮廓面积范围值为1 700～4 500个单位像素点。通过计算图像中连通域轮廓面积，将不符合条件的轮廓剔除。

目标判定实验结果如图9所示，可以看出蓝莓果实被全部准确地识别出来，并加以编号处理。

3.6 椭圆拟合与数据提取

蓝莓果实的尺寸大小是蓝莓果实分级的一个重要依据。不论人工测量还是蓝莓果实分级机筛选，原则上都是以蓝莓的直径作为分级的主要依据之一。蓝莓果实尺寸分级评定标准如表1所示。

在实验中经过对比多组样本发现，蓝莓果实的形状多呈椭球体形状，对蓝莓果实的边缘像素点进行椭圆拟合，并将椭圆的长径作为蓝莓果实直径。

常用的椭圆拟合方法主要有三类： 基于Hough变换[9]的椭圆拟合方法，基于不变矩方法[10?11]，基于最小二乘法[12?14]。将椭圆拟合产生的椭圆长径作为蓝莓果实直径，将对应蓝莓果实的编号存入数据列表。拟合结果如图10所示。

4 数据处理

为了将计算机计算出来的值转化为以mm为单位的尺寸，应用最小二乘法对实验数据进行处理，最小二乘法公式为[15]：

5 实验分析

利用实验装置，选择尺寸大小不一的10颗蓝莓果实作为研究对象，蓝莓果实的分级检测结果如图11所示。

为了验证算法的准确性和有效性，将利用数字游标卡尺测量得到的蓝莓果实直径作为实际值，将由实验装置检测得到的蓝莓果实直径作为测量值，实际值和测量值如表2所示。将二者进行比较分析，误差系数计算表明测量精度较高，测量误差较小。

6 结 论

本文提出一种基于机器视觉的蓝莓果实检测和分级算法，搭建了蓝莓果实分级实验装置，利用OpenCV和Visual Studio 2015编写蓝莓果实分级的软件。研究中应用图像预处理、加权处理、开运算、二值化处理、边缘检测、椭圆拟合、最小二乘法等方法获取蓝莓果实图像的计算机测量值与实际测量值之间的关系。实验数据误差分析表明，相对误差保证在3%左右，验证了算法的正确性和有效性。

参考文献

[1] 中华人民共和国国家质量监督检验检疫总局.GB/T 27658?2011.蓝莓[S].北京：中华人民共和国国家质量监督检验检疫总局，2011.

General Administration of Quality Supervision， Inspection and Quarantine of the People′s Republic of China. GB/T 27658?2011， blueberry [S]. Beijing： General Administration of Quality Supervision， Inspection and Quarantine of the People′s Republic of China， 2011.

[2] 朱江丽，田绪顺，李景彬，等.红枣自动分级技术的研究现状及展望[J].安徽农业科学，2011，39（36）：22864?22867.

ZHU Jiangli， TIAN Xushun， LI Jingbin， et al. Research status and prospect of ziziphus jujuba automatic grading technology [J]. Journal of Anhui agricultural sciences， 2011， 39（36）： 22864?22867.

[3] 左飞.数字图像处理技术详解与Visual C++实践[M].北京：电子工业出版社，2014.

ZUO Fei. Digital image processing and Visual C++ practice [M]. Beijing： Electronic Industry Press， 2014.

[4] 肖锋，李丽莎.HSV彩色空间的亚像素边缘检测[J].计算机与数字工程，2015，43（6）：1107?1112.

XIAO Feng， LI Lisha. Sub?pixel edge detection of HSV color space [J]. Computer & digital engineering， 2015， 43（6）： 1107?1112.

[5] 李志明.基于机器视觉的鲜枣群体大小检测算法[J].工业仪表与自动化装置，2016（5）：29?32.

LI Zhiming. Fresh jujubes group size detection algorithm based on machine vision [J]. Industrial instrumentation & automation， 2016（5）： 29?32.

[6] 毛星云，冷飞雪.Open CV3编程入门[M].北京：电子工业出版社，2015.

MAO Xingyun， LENG Feixue. Introduction to programming of Open CV3 [M]. Beijing： Electronic Industry Press， 2015.

[7] 薛武，张永生，董广军，等.Canny算子子像素边缘检测方法[J].遥感信息，2013，28（1）：8?10.

XUE Wu， ZHANG Yongsheng， DONG Guangjun， et al. An edge detection method of sub?pxel based on Canny operator [J]. Remote sensing information， 2013， 28（1）： 8?10.

[8] 黎自强，滕弘飞.广义Hough变换：多个圆的快速随机检测[J].计算机辅助设计与图形学学报，2006，18（1）：27?33.

LI Ziqiang， TENG Hongfei. Generalized Hough transform： fast randomized multi?circle detection [J]. Journal of computer aided design & computer graphics， 2006， 18（1）： 27?33.

[9] GANDER W， GOLUB G H， STREBEL R. Least?squares fitting of circles and ellipses [J]. Bit numerical mathematics， 1994， 34（4）： 558?578.

[10] 李秀明，石照耀.基于不变矩的椭圆（圆）识别方法[J].北京工业大学学报，2007（11）：1136?1140.

LI Xiuming， SHI Zhaoyao. Eillpses and circles recognition based on invariant moments [J]. Journal of Beijing University of Technology， 2007（11）： 1136?1140.

[11] 钮毅.部分遮挡条件下椭圆目标识别[D].上海：上海交通大学，2007.

NIU Yi. Detection of partially occluded ellipses [D]. Shanghai： Shanghai Jiao Tong University， 2007.

[12] 闫蓓，王斌，李媛.基于最小二乘法的椭圆拟合改进算法[J].北京航空航天大学学报，2008（3）：295?298.

YAN Bei， WANG Bin， LI Yuan. Optimal ellipse fitting method based on least?square principle [J]. Journal of Beijing University of Aeronautics and Astronautics， 2008（3）： 295?298.

[13] 陈海峰，雷华，孔燕波，等.基于最小二乘法的改进的随机椭圆检测算法[J].浙江大学学报（工学版），2008，42（8）：1360?1364.

CHEN Haifeng， LEI Hua， KONG Yanbo， et al. An improved randomized algorithm for detecting ellipses based on least square approach [J]. Journal of Zhejiang University （engineering science）， 2008， 42（8）： 1360?1364.

[14] LI Liangfu， FENG Zuren， HE Kailiang. A randomized algorithm for detecting multiple ellipses based on least square approach [J]. Optoelectronics review， 2005， 13（1）： 61?67.

[15] 颜宁生.带插值条件的最小二乘法[J].北京服装学院学报（自然科学版），2007（2）：42?48.

YAN Ningsheng. Least squares with interpolation condition [J]. Journal of Beijing Institute of Clothing Technology （natural science edition）， 2007（2）： 42?48.