基于深度学习的香梨目标识别与定位研究

周鹏，曹冰玉，周文静，张洚宇，马晓晓，刘生智

（新疆科技学院，新疆巴州 841000)

0 引言

中国虽然地理资源广阔，但由于农业生产基础设施薄弱、农业产业结构单一等原因，越来越多的农民工选择了其他行业就业。面对这种发展形势，我国学者在研究中提出了人工智能技术的全面融入应用，打造符合新时代发展的智慧农业，不仅可以为农业带来更多的发展机遇，还可以吸引更多的企业、社会机构和优秀人才参与农业经济建设[1-3]。如今，农业建设与发展可分为以下几种类型：1)绿色农业，是指农业与生态环境的融合，在实现协调发展的同时实现可持续发展目标。2)设施农业，是指技术、设备、动植物高度相关的农业。生物物理因素被视为要操作的对象。在提高产量的同时，严格禁止使用对人类有害的农药等化学物质。3)工厂工业，是指综合运用现代高新技术、新型设备、管理方法而发展的一种综合机械化、自动化技术的高度集约化生产，能够在人工农业环境中创造，真正实现全过程连续作业，以摆脱自然环境的限制。

目前，最常见的以深度学习为核心的目标检测算法分为两种理论技术。一种是以候选区域为核心的目标检测算法，另一种是端到端的目标检测算法[4]。本文在深度学习和卷积神经网络算法的基础上，主要探讨以卷积神经网络为核心的物体识别，进而对香梨物体识别与定位实验进行验证与分析，以期为新时代农业科技的发展提供有效依据[5-7]。

1 目标检测方法

1.1 卷积神经网络

在深度学习中，卷积神经网络(Convolutional Neural Network,CNN)是一种深度神经网络，最常用于分析视觉图像。它采用多层感知机的变型设计，需要的预处理最少，因此也被称为移位不变或空间不变的人工神经网络，该网络是基于它们的共享权重架构和移位不变特性而提出的。结合图1 所示的CNN 结构图可以看出，整体模块主要包括输入层、输出层和多个隐层，其中隐层又分为卷积层、池化层、RELU 层和全连接层。与其他图像分类算法相比，CNN很少被应用于处理领域，这证明了传统算法中手工设计滤波器的网络学习，独立于之前的知识和人类在特征设计上的努力，是最独特的技术优势，可以应用于目标识别、图像分类、自然语言处理等[8]。

图1 CNN网络结构

1.2 RCNN构建

区域中心卷积神经网络(Region-Centered Convolutional Neural Network,RCNN)是将卷积神经网络应用于目标检测的最初结果。由于CNN 具有良好的特征提取和分类性能，因此应该采用候选区域方法来解决目标检测问题，从候选区域选择、特征提取、分类和边界回归三个步骤入手。从整体上看，RCNN 的操作更加直观。它的目的是准确定位并合并完成分类，避免多次检测，其中分类器和边界回归的选择很多。

通过对RCNN 和Fast RCNN 的积累，国外学者在研究中再次提出Faster RCNN。从结构上看，Faster RCNN将特征提取、建议区域提取、边界盒回归和分类处理集成到一个网络中，有利于提高实际应用的综合性能，加快整体检测速度。为了有效解决RCNN 和Fast RCNN 的问题，较快的RCNN 引入了候选区域网络(Region Proposal Network，RPN)，与检测网络共享图像的全卷积特征，从而获得近似无代价的候选区域。结合图2所示的RCN算法的流程分析可以看出，RPN可以同时预测每个位置的目标边界和目标得分，并且对RPN进行端到端的训练，形成一个质量较高的候选区域，便于技术检测和分析。经过简单的交替优化后，可以有效训练RPN 和Fast RCNN 共享卷积特征[9-11]。

图2 Faster RCNN算法操作流程

1.3 共享卷积层

为了设计具有不同共享卷积层的Fast RCNN 并提取感兴趣的特征，需要将Fast RCNN模型、ZF网络、VGG16网络和RESNET网络的不同层次融合在一起，真实现迭代训练研究。其中，ZF 网络框架如图3 所示。在Fast RCNN 的共享卷积层中，只需要其中的卷积部分。

图3 ZF网络框架

VGG16网络结构如图4所示。在综合分析时，要严格遵守公平正义的基本原则，搜索网络深度对模型精度的影响，所有卷积层的配置都是相同的。其中，卷积核的大小为3×3，步长为1，填充值为1，共5 个最大池化层。核大小为2×2，步长为2，总共有3 个全连接层。前两层有4 096个通道，第三层总共有1 000个输出神经元，代表1 000 个标签类别。为防止梯度弥散增加了RELU非线性激活函数[12-13]。

图4 VGG16网络结构图

2 实验结果分析

2.1 实验设计

本文在理解深度学习和卷积神经网络算法的基础上，采用以DenseNET 为核心的Mask R-CNN 香梨检测模型。DenseNET 网络结构是一种全新的深度网络结构。计算公式如下:

上式中，x1表示第1 层的输出，H1表示非线性变换。在这个网络结构中，每一层的输入都是其前一层生成的特征图，因此对于整个网络来说，总共有L(L+1)/2个连接，其中L表示网络层数。

采用DenseNET 121(k=32，增长率）作为基础网络提取部分。该特征块包括卷积层、正则化层、ReLU层和池化层。在卷积层中，使用7×7 卷积核，步长为2。此外，选择同样的填充方法实现图像卷积操作，然后将卷积结果输入到BN 层和ReLU 激活函数层，以3×3的方式实现特征图的池化操作。DEnseNet 的网络结构如图5所示[14-15]：

图5 DEnseNet网络结构

在Mark R-CNN模型中，Resnet152用于特征提取网络区域。在模型运行过程中，练习速度相对较慢。因此，在实验过程中应使用Resnet网络代替DEnseNet网络，以提高网络模型的运行速度。其中，DEnseNet网络与FPN 的结合是整个网络的特征提取部分。具体结构如图6所示:

图6 多尺度结合的DEnseNet网络结构图

2.2 实验结果

在本次实验分析中，实验环境主要采用tensorflow的深度学习框架，硬件设施选择Intel (R) Core (TM)i7-8750H CPU@2.2GHz 六 核CPU 和16GB 内 存。为了进一步提高模型检测效果，结合400×300 大小的9 600 份香梨数据进行预训练，然后利用自然环境下香梨的图片进行再训练。最后，经过数据增强，得到4 500 条数据集。其中3 500 为训练集，500 为验证集，500为测试集。其中初始学习率为0.001，量化设置为0.9，正则化衰减系数为0.000 1，压缩率为0.5。共完成了105次迭代分析。结合改进模型的分析可以看出，与Resnet 模型相比，每幅图像的识别速度提高了5fps，证明了改进后的目标检测模型能够进一步提高检测效果，其实验结果如图7、图8 所示，模型运行结果如图9所示。

图7 Resnet训练30批次后整体损失变化曲线图

图8 DEnseNet训练30批次后整体损失变化曲线图

图9 基于迁移学习的Faster-RCNN模型检测效果图

3 结论

综上所述，随着现代人工智能技术的理论越来越完善，智能农业社会的建设和发展成为关注的焦点。对于水果采摘，目前市场上已经出现了各种各样的智能采摘机，主要用于识别和定位水果的颜色、形状等基本特征。本文基于深度学习的香梨目标识别与定位研究，主要采用卷积神经网络算法进行操作，既能提高香梨的识别与定位效率，又能保证香梨的果实品质。