水果分类识别与成熟度检测技术综述＊

陈贝文，陈 淦

（广东外语外贸大学南国商学院计算机学院，广东 广州 510545）

0 引言

水果产量的提升大大地提高了对水果的品质检测与分级的要求。在生产和运输环节，需要对水果分类分拣以便于后面品质检测。在销售环节，依据水果的成熟度、糖度、外观完整度和尺寸等方面对水果进行分级销售来提高销售量。如何快速且准确地对水果进行大规模品质检测与分级是一个迫在眉睫的问题。

早期的水果品质检测与分级是人工完成的。后来，机械代替了大部分人工的品质检测与分级的步骤，极大地提高了效率。但是由于机械的准确度低，仍无法完全替代人工。基于机器视觉技术分拣系统利用摄像头或光谱成像设备替代人类视觉对水果进行图像采集，使用计算机进行处理，实现水果图像的识别、检测与分级，最终筛选出不同分级的水果。因此，利用机器视觉对水果进行品质检测与分级是水果行业的发展的必然趋势。但是目前还有许多关键问题需要解决。例如，水果品质的情况复杂，检测难度大；对不同类别水果的品质检测与分级通用性低等。这些问题迫切需要得到解决。为了更全面地了解目前水果检测相关技术领域的研究进展，为后续研究提供参考，本文总结归纳了水果分类与识别、水果成熟度检测的研究方法、原理和步骤。同时还对常见的水果数据集进行总结，并简单介绍了数据集的特点、用途。

1 水果分类与识别

目前水果分类与识别技术主要有以下两大种方法：第一种是提取纹理、颜色、形状等特征，通过传统机器学习方法构建水果分类器；第二种是构建深度神经网络进一步提高水果分类识别精度。

1.1 传统水果分类与识别技术

传统水果分类与识别方法一般使用人工设计的特征提取方法进行特征提取，提取水果图像的大小、形状、颜色、纹理等特征，融合一个或者多个特征构建分类器，实现水果自动分类识别。图1 是传统水果图像分类与识别系统流程图。

图1 传统水果图像分类与识别系统流程图

陶华伟等人先利用颜色完全局部二值模式提取图像纹理特征，利用颜色直方图提取图像颜色特征，采用匹配得分融合算法将颜色和纹理特征相融合，再进行水果种类识别。最终实验结果表明，该方法相比其他的特征提取方法，时间开销减少，识别率有所提高。

Zawbaa等人利用水果的形状和颜色来识别每个图像特征，该系统分三个阶段：预处理阶段、特征提取阶段和分类阶段。预处理阶段减少颜色指数；特征提取阶段使用尺度不变特征变换（SIFT）和形状和颜色特征为数据集中的每个图像生成特征向量；在分类阶段采用K 最邻近法分类和支持向量机（SVM）算法识别水果种类。实验结果表明，该方法能够准确地识别178种水果。大多数水果分类识别算法所使用的图像往往是在严格限定的环境中采集的，消除了外界环境对图像的影响。但是现实的环境是复杂的，由于水果图像的颜色特征和纹理特征会随着水果的生长周期的不同变得复杂，并且采集水果图像时自然光照强度变化和阴影也会存在不同，这也会增加水果分类识别的难度，因此需要更好的分类识别方法来解决这些问题。

1.2 基于深度学习的水果分类与识别技术

深度学习的本质就是深层网络借助于非线性信息处理机制，通过有监督和无监督相结合的训练方式来实现对特征的提取和转换，借助于分布式特征表示来实现对样本间复杂数据关系的拟合。卷积神经网络（CNN）是深度学习中极具代表性的算法，应用广泛。图2 是卷积神经网络基本流程图。李思雯等人提出一种用集成的卷积神经网络方法来解决冰箱果蔬种类识别问题。该方法能够有效提升深度学习模型中代表果蔬颜色特征的参数权重，使得智能冰箱果蔬种类识别率有一定提升。Hossain等人提出了一种基于深度学习的水果识别的有效框架。有研究数据表明经过微调的经典网络模型在果蔬分类上具有较好的效果。Li等人利用改进的VGGM 网络模型进行果蔬分类，实验结果表明，结合批处理归一化层的VGGMBN 提高了网络收敛速度和精度，相比于VGG网络和AlexNet网络，果蔬分类准确度有了很大的提高，在测试数据集上的分类准确度达到96.5%。深度神经网络相比传统机器学习方法减少了人工干预过程，拥有自主学习特征和表达能力，许多学者对于深度学习技术在农业中的研究也日渐深入。

图2 卷积神经网络基本流程图

2 水果成熟度检测

根据检测过程是否会对水果产生破坏，将水果成熟度检测技术分为有损检测技术和无损检测技术两大类。

2.1 水果成熟度的有损检测技术

传统检测技术主要靠经验和各类检测分析仪器观察水果的外观，检测水果的硬度、可溶性糖含量、可滴定酸含量等指标，据此来判断水果的成熟度。这些方法，除了人的经验判断水果的成熟度外，其他方法都会对水果产生一定的破坏，因此我们又把传统检测技术称为有损检测技术。根据检测水果的指标，我们将有损检测技术分为外观品质检测、硬度检测、可溶性糖含量检测和可滴定酸含量检测。①基于外观品质判断水果成熟度。这是一个最原始、最传统的水果成熟度检测方法。人们依靠长期的经验，根据水果的大小、颜色、气味等特征，对水果成熟度加以分析和判断。②基于对硬度的检测判断水果成熟度。水果的硬度是衡量水果成熟度、水果品质的重要指标。在通常情况下，水果的硬度随其成熟度的提高而逐渐降低。③基于对可溶性糖含量的检测判断水果成熟度。可溶性糖含量是检测水果成熟度的另一个重要的指标。通常情况下，水果的可溶性糖含量越高，成熟度等级越高。目前，检测水果中的可溶性糖含量普遍采用的方法是容量法，例如费林试剂滴定法；基于对可滴定酸含量的检测判断水果成熟度。④可滴定酸含量和可溶性糖含量一样，是衡量果实成熟度的重要因素之一。现在，更为常见的方法是基于电导法的酸度计测试法，该方法通过电导率法观察电流流动来测量样品中可滴定酸含量，不需要化学试剂。操作简单、检测效率较高，但是该方法对操作的专业性要求高、同时属于有损检测。

2.2 水果成熟度的无损检测技术

无损检测又称非破坏检测，是一种在不破坏被检对象的前提下，利用果品的物理性质对其进行检测、评价的方法，保证了水果的完整性，是确定水果最佳采收期和按成熟度进行准确分级的关键。无损检测技术具有无损、快速、准确和实时性的特性。目前无损检测技术可以分为以下几类：光学特性分析法、电学特性分析法、声学特性分析法、化学特性分析法、机器视觉分析法和其他成熟度无损检测法。①水果对光的吸收、反射和投射特性会因为水果内部成分、外部特征和在不同的波长光线照射呈现出不同的特性。水果的分光反射率或吸收率在某一波长内会出现峰值，而这一峰值的变化与水果的硬度、可溶性糖含量等内部指标存在一定的联系，因此基于水果的光学特性进行无损检测是可行的，从而进一步判断水果的成熟度。②基于电学特性的水果成熟度无损检测技术的原理是根据生物分子中束缚电荷对外加电场的响应特性，通过电学参数反应水果的内部变化，并与其内部某些生理指标（例如硬度、可溶性糖含量、可滴定酸含量等）建立相关性关系，进而用于检测水果的成熟度。③基于声学特性的水果成熟度无损检测技术的主要原理是依据水果的各种声学特性指标变化来反映果实内部的品质。通过果实内部某些生理指标（例如硬度、可溶性糖含量、可滴定酸含量等）与声学特性指标建立相关关系，进而用于检测水果的成熟度。④基于化学特性的水果成熟度无损检测技术主要依托电子鼻检测技术（气味扫描仪）。电子鼻对水果成熟度的无损检测技术主要是模拟电子仪器感知水果成熟时所散发出的特定物质（例如乙烯、酯类等），从而对其进行的无损检测。⑤机器视觉技术是以计算机和图像获取装置为工具模拟人类的视觉功能，并从图像中获取某些特定的信息，对这些特定的信息进行分析处理，判断其与成熟度之间的相关关系。除了上述等无损检测技术之外，还有生物传感器检测技术、核磁共振检测技术、X射线衍射技术等。

3 常见的水果数据集

水果数据集在水果分类与识别、水果成熟度检测等方面占有着重要的地位，数据集的优劣会影响最终结果的准确率。本节将重点介绍常用的水果数据集。

Fruits 360是目前常用的水果数据集之一，它是由Mihai Oltean 创建的一个实时更新的水果数据集，目前最近一次更新是在2020 年5 月份。Fruits 360 由90483 张100x100 的图片（67692 张用来训练，22688 张用来测试）组成，包括131 种水果类型，每张图片都只包含一种水果。Fruits 360数据集用途广泛，可以用于研究水果分类与识别水果成熟度检测等方面。除了Fruits 360 之外，还有很多其他的水果数据集。例如，Fruits-262：该数据集由AelchimMinut创建，由225640张不同大小（图片的大小为13x16、26x32、52x64、104x128、208x256）的图片组成，其中包含了262 种水果类型。Fruit Recognition：该数据集由ChrisGorgolewski创建，由44406 张320x258 的图片组成，其中包含15 种不同类型的水果。FruitImages for Object Detection：该数据集由MuhammedeBuyukkinaci创建，由300张图片组成（240 张用来训练，60 张用来测试），包含了3 种不同的水果类型。以下归纳了常见的水果数据集，见表1。

表1 常见的水果数据集

4 分析与展望

近年来随着水果行业的发展，水果检测相关技术逐渐成为研究的热点。水果检测相关技术虽然已经取得了一定的成果，但是还是存在着一些不足。首先对于水果分类与识别来说，分类识别的准确性受外界环境的干扰大，未来如何克服外界环境的干扰，提高分类识别的准确性是该邻域的研究重点。对于水果成熟度检测，传统的成熟度检测方法属于有损检测，会对果实产生一定的破坏，不利于大规模批量检测。而无损检测技术是较新的技术，发展还不成熟。同时现有的水果成熟度检测的技术大多是针对某一种特定的水果的检测，而很少有可以应用到多种不同的水果。因此未来研究检测多种水果成熟度的技术将会是水果成熟度检测研究的新方向。