基于改进DenseNet卷积神经网络的番茄叶片病害检测

牛学德　高丙朋　南新元　石跃飞

摘要： 针对传统的图像识别方法存在人工提取特征困难、识别耗时长和准确率低等问题，本研究以感染病害的番茄叶片和健康番茄叶片共10类图像为研究对象，提出了1种迁移学习和DenseNet卷积神经网络相结合的模型，实现了对番茄叶部病害的准确分类。首先将所有的图像数据进行预处理修改尺寸，对部分数量不均衡样本作随机变换;然后将DenseNet网络从ImageNet数据集上学习获得的先验知识应用到番茄病害图片数据集上，进而构建出基于迁移学习的深度卷积网络，经过微调训练得到番茄叶部病害识别模型。结果表明，该模型与AlexNet网络、VGG网络+迁移学习和MobileNet网络+迁移学习3种深度卷积模型相比，识别精度更高，测试准确率达到97.76%，实现了对10种番茄叶部图像的有效分类，为番茄等农作物病害的识别技术以及智慧农业的发展提供了新的思路与方法。

关键词： 图像识别;番茄;病害;迁移学习;DenseNet卷积神经网络

中图分类号： TP391.4 文献标识码： A 文章编号： 1000-4440（2022）01-0129-06

Abstract： Aiming at the problems of traditional image recognition methods such as difficulty in manually extracting features， long recognition time and low accuracy， ten types of images of healthy tomato leaves and tomato leaves infected with diseases were taken as the research objects， and a model combining transfer learning and DenseNet convolutional neural network was proposed to realize the accurate classification of tomato leaf diseases. Firstly， all image data were preprocessed to modify the size， and some unbalanced samples were randomly transformed. Then， the prior knowledge learned by DenseNet network from ImageNet dataset was applied to tomato disease image dataset， and a deep convolutional network based on transfer learning was constructed. Moreover， the tomato leaf disease identification model was obtained by fine-tuning training. The results showed that the recognition accuracy of this model was higher than that of AlexNet network， VGG network+transfer learning and MobileNet network+transfer learning， and the test accuracy was 97.76%. In short， the model constructed in this study can realize the effective classification of ten types of tomato leaf disease images， and can provide new ideas and methods for the identification technology of tomato and other crop diseases and the development of intelligent agriculture.

Key words： image recognition;tomato;disease;transfer learning;DenseNet convolutional neural network

番茄原產自南美洲，在中国南方和北方地区栽培广泛，是重要的经济作物之一[1]。番茄的大多数病害都由叶部开始发病，接着蔓延到整个植株，所以能够及时准确地识别出叶部的病害种类格外重要。以往通常都是菜农凭借自身经验对病害进行识别，或者请相关的技术人员和农业专家进行检查指导[2]。这类人工方法存在着许多缺陷，工作量大，识别效率低，同时易受视觉疲劳的影响，降低识别的准确率。

随着计算机的发展，尤其是大数据共享和计算机硬件设备性能的提升，将智能识别技术应用到农业生产中是未来智慧农业的发展趋势[3-4]。许良凤等[5]提出了一种对图像多个单一特征进行自适应融合的多分类器方法来实现对玉米病害的准确识别。黄双萍等[6]提出利用Inception模块多尺度卷积核对不同特征进行提取并融合的方法来实现水稻穗瘟病的精准检测。李文勇等[7]提出了一种基于不同颜色空间特征和纹理特征的多姿态害虫分类方法。Iqbal等[8]提出了一种基于图像处理和机器学习的马铃薯叶部病害自动识别和分类系统对患病和健康叶片进行分类。Mondal等[9]采用皮尔逊相关系数技术来根据特定类型的叶子图像设置关键特征对黄秋葵叶和苦瓜叶进行识别。张建华等[10]提出了一种将粗糙集和BP神经网络相结合的方法对4种棉花病害进行识别分类，识别准确率达到92.72%。以上病虫害的分类识别方法中，都需要人为选择图像中病害的特征来构建分类器，费时费力，分类准确率不高，并且特征的自学习能力较差，不具有普适性。

在番茄的生长发育过程中，叶霉病病叶、二斑叶螨病病叶、轮斑病病叶、花叶病病叶以及健康的番茄叶片之间的外观特征极为相似，容易让人分辨不清，导致番茄病害识别结果错误。卷积神经网络作为一种深度学习的模型，它能够经过多次卷积计算，对一些肉眼难以提取的特征进行学习和表达，高质量完成各种计算机视觉任务[11]。但它十分依赖庞大的已标记数据库，现实情况下大规模数据库的构建非常困难，而迁移学习能够解决训练数据不足这一难题，将已学到的模型参数应用到新模型上来加快模型的训练，具有资源充分利用的特点[12]。本研究就是在DenseNet网络的基础上，利用该模型特征复用的优点对番茄叶部病害细微特征进行有效利用，结合迁移学习和微调的思想，抑制本研究中使用小样本数据易产生过拟合的问题，进而构建番茄叶部病害症状和健康叶片的分类模型，通过对番茄叶部病害症状特征的训练以及自学习，对番茄叶部病害进行检测。

1 材料与方法

1.1 数据集描述

本研究所采用的番茄病害叶片图像数据集来自Plant Village工程，此数据集包含9类病害叶片图像和1类健康叶片图像，对部分数量不均衡样本进行增强和扩充后共计18 796张RGB病害图像样本。

1.2 试验平台

本研究的试验环境为Windows 64位系统，内存为2×8 GB，固态硬盘500 G，机械硬盘2 TB，搭载AMD Ryzen5 3600处理器，显卡为NVIDIA GeForce 2 070 s（8 G），软件环境包括CUDA 10.2，Anaconda 4.8.4，使用Python语言编程，使用Pytorch框架进行模型的搭建及训练。

1.3 参数设置

试验采用多个批次（batch）进行训练，设置Batch size为32; Epochs为50;采用的优化器为Adam优化器，初始学习率Learning rate设置为0.000 1，自动下降参数step size为10，gamma为0.5;损失函数采用SoftMax交叉熵损失函数，函数定义为：

L=-nk=1Ci=1tkilgyki（1）

式中，n为单张图片的像素;tki为像素点k属于类别i的概率;yki为分类网络将像素点k预测为类别i的概率。

1.4 数据预处理

图片的原始尺寸是256×256像素，考虑到图像的尺寸应与网络的输入尺寸相符，将图像的尺寸统一修改为227×227像素，同时还采用了Python脚本语言对部分不均衡样本进行了随机翻转、随机角度旋转等数据增强操作。

1.5 DenseNet模型

DenseNet模型[13]摆脱了以往的通过加深网络层数或者拓宽网络结构来改善网络性能的固定思维，对网络的特征提取进行了改进，设计了特征复用结构，增添了旁路设置，不仅极大程度上对网络的参数量进行了缩减，而且对于梯度消失起到了一定的缓解作用，对特征的极致利用达到了更好的效果[14]。

1.5.1 密集连接模块 密集连接网络是在残差网络基础上演变而来的，残差网络的连接方式是每层与其前面的一或两层通过相加的方法进行短路连接，即增加了来自上一层的输入：

xl=Hl（xl-1）+xl-1（2）

与其不同的是，DenseNet采用密集连接机制，互相连接所有的层，每一层都会和前面的所有层在通道维度上进行连接，实现特征重用，即：

xl=Hl[（x0，x1，…，xl-1）]（3）

其中，xl為第l层输入，它接受前面所有层的所有卷积特征x0～xl-1;（x0，x1，…，xl-1）为输入层至l-1层的输出特征图进行拼接的操作;Hl（*）是非线性转化函数，该函数是一个包含BN层、ReLU层以及卷积层的组合操作。

标准卷积模块和密集连接模块的结构分别如图1a和图1b所示。

其中，图1a是一个标准的卷积模块，1个层的网络拥有L个连接。图1b是密集连接模块，通过前馈的方式来将层与层紧密相连，1个L层的网络有L（L-1）/2个连接，使得前期层的特征能够被后面的其他层重复利用[15]。

1.5.2 Transition模块 Transition模块的作用是压缩模型，2个相同尺寸的特征图的密集块之间，在2×2的池化层之前引入一个1×1的卷积层来对尺寸大小进行降维处理[16]。DenseNet网络中压缩因子设置为0.5，则传递到下一个密集块的通道数就会减少一半，参数量更少，能够提高网络模型的收敛速度，网络的结构如图2所示。

1.6 迁移学习

迁移学习是指网络先在源领域中进行学习，再将学习到的先验知识应用到目标领域[17]（图3）。迁移学习由于其具有独特的小样本学习优势在诸多领域备受关注，该方法能够减少训练深度学习模型所需要的数据样本量，降低对硬件计算能力的要求，在图像分类领域的应用十分广泛，同时能够对图像数据进行快速有效的分类，对解决小数据集训练容易出现的过拟合问题有很大的帮助[18]。

本研究所采用的是模型微调的迁移学习方式，充分利用了DenseNet预训练模型在ImageNet大型公开数据集上学习获得的先验知识，结合迁移学习策略将其应用到番茄叶部病害图像识别问题上，基于DenseNet网络的迁移学习具体流程如图4所示。

DenseNet网络是通过包含1.0×106多张图像的大型数据库ImageNet训练而成的，拥有着大量已经训练好的权重与参数，具备较强的深层特征提取和学习能力，尤其是卷积层对图像的曲线、边缘、轮廓等部位的特征提取[19]。为了避免繁重的从头训练任务，减小网络训练的时间，提高网络模型的训练效率，将训练好的DenseNet网络作为本研究的预训练模型，再结合迁移学习微调的方法，将其参数应用到本研究模型中，通过预训练模型的知识优化卷积层来解决番茄病害识别问题。

2 结果与分析

2.1 基于改进DenseNet网络模型的番茄叶片病害分类

为确定最佳分类准确性的试验训练集，设定最小训练集为图像样本数据量的10%，按10%的比例增量依次增加至90%[20]，每个训练集被训练50个Epoch。图5分别显示了9次试验下不同比例的分类准确率。

由图5可知，在模型的训练阶段使用更多的训练数据可以提高分类的准确率，设置Epoch为50，其中每一个Epoch都被定义为训练集中每个样本的一个完整的训练周期，选择限制在50个Epoch是基于经验观察，即学习过程能够很好地收敛。训练数据占比由10%递增到90%，测试准确率由90.00%提高到97.76%，呈现出逐步上升趋势;同时损失率由0.9%下降到0.3%，呈现出下降趋势，当训练集与测试集比例为9∶1时网络达到最优的准确率。

为了验证本研究模型的性能，同时使用AlexNet网络模型、Vgg16网络+迁移学习模型、MobileNet网络+迁移学习模型对番茄病害图像进行识别，测试准确率如图6所示。

由图6可知，相比较AlextNet网络模型而言，结合使用迁移学习的模型训练一开始就有较高的准确率，并且收敛速度很快，在前5个Epoch就能达到一个小范围内的稳定状态，原因是它们已经有了在大型ImageNet数据集上训练好的参数，不需要重复更新参数。而AlextNet是从零开始训练，刚开始时准确率较低，随着迭代次数增加准确率逐渐上升，在Epoch达到25时曲线呈现收敛状态，准确率达到91.80%;MobileNet+迁移学习的轻量级模型训练过程快，参数量较少，特征提取能力较差，准确率为91.20%;Vgg16作为一种通用型的分类模型，Vgg16+迁移学习模型在细粒度分类任务上表现稍差，准确率为93.10%;由于Densenet自身网络结构具有特征复用的优势，再结合迁移学习微调策略，相比较其他2种迁移方法而言能够在番茄叶部病害识别上获得更好的效果，准确率达到97.76%。

根据本研究模型的分类结果计算出混淆矩阵进行误差分析，如图7所示。

其中混淆矩阵的横坐标代表预测类别，纵坐标代表真实标签，编号为001的类别1（细菌性斑点病）实际为170个测试样本，正确分类了165个样本，其他5个样本分别被错误分类为早疫病、斑枯病、轮斑病，类别1的分类准确率为97.10%，同理可知，类别2～类别10的分类准确率分别为98.44%、97.48%、97.84%、97.34%、94.86%、99.43%、97.81%、98.32%、98.98%，其中細菌性斑点病和斑枯病病症特征比较相似，容易造成误分类，总体而言，本研究模型的识别率较高，能够满足现实生产中番茄叶部病害检测的要求。

2.2 与其他模型分类结果的对比

当前，在图像处理方向上对番茄叶部病虫害检测识别进行的研究方法多种多样，为了进一步对试验结果做出客观评价，特将本研究算法与其他已有的同类型研究的结果进行了对比（表1）。

其中本研究所使用的数据集与文献[21]、文献[22]、文献[23]、文献[24]中所用模型使用的数据集相同，文献[21]中所用的模型在提升网络性能的同时缩短了训练时间，但是模型占用内存较大;文献[22]中所用的模型具有较高的鲁棒性，却仍然存在过拟合;文献[23]中所用的模型采用图像分割使模型具有较高的准确率，但是模型参数过多，训练周期长;文献[24]将所用模型应用到安卓平台，然而识别精度较低。本研究模型的识别准确率较以上文献所用的模型分别高出2.14个百分点、8.78个百分点、0.54个百分点、5.06个百分点;文献[25]和文献[26]中采用的AI Challenger 挑战赛数据集是在Plant Village数据集的基础上衍生而来的，根据不同的病害程度来划分种类。其中文献[25]中所用的模型具有较高的可移植性，对番茄病害分类的准确率有待提升;文献[26]中所用的模型具有较高的稳定性，但是分类种类较少，准确率较低。经过对比，本研究模型的识别准确率相对文献[25]和文献[26]中所用模型分别提高4.63个百分点和9.56个百分点。因此，本研究提出的番茄病害识别模型具有较高的识别准确率，该模型具有DenseNet网络的复用特征，使每层信息流达到最大，对重要特征进行多次利用、充分学习;同时还具备迁移学习抑制小样本数据过拟合、减少训练时间成本的优势，通过对比分析充分证明了本研究模型的有效性。

3 结语

本研究提出将卷积神经网络与迁移学习相结合的深度模型应用于番茄叶部病害识别上，将已经训练成熟的DenseNet模型参数进行迁移和微调，提取出每张图片的特征在SoftMax分类器中完成分类任务。结果表明，本研究提出的模型较AlexNet网络以及其他2种网络+迁移学习模型具有更好的分类性能，准确率更高且收敛速度更快，能够对10种类别的番茄叶部病害准确分类，基本可以达到农业生产应用的要求。

参考文献：

[1] 周 蓉，赵统敏，赵丽萍，等.高光泽番茄育种及果实表面光泽度[J].江苏农业学报，2018，34（6）：1437-1440.

[2] 王翔宇，温皓杰，李鑫星，等.农业主要病害检测与预警技术研究进展分析[J].农业机械学报，2016，47（9）：266-277.

[3] 孙 红，李 松，李民赞，等.农业信息成像感知与深度学习应用研究进展[J].农业机械学报，2020，51（5）：1-17.

[4] YANE D.Design of intelligent agriculture management information system based on IoT [C].Shenzhen：IEEE， 2011.

[5] 许良凤，徐小兵，胡 敏，等.基于多分类器融合的玉米叶部病害识别[J].农业工程学报，2015，31（14）：194-201，315.

[6] 黄双萍，孙 超，齐 龙，等.基于深度卷积神经网络的水稻穗瘟病检测方法[J].农业工程学报，2017，33（20）：169-176.

[7] 李文勇，李 明，陈梅香，等.基于机器视觉的作物多姿态害虫特征提取与分类方法[J].农业工程学报，2014， 30（14）：154-162.

[8] IQBAL M A， TALUKDER K H. Detection of potato disease using image segmentation and machine learning[C]. Chennai：IEEE， 2020.

[9] MONDAL D， KOLE D K， ROY K. Gradation of yellow mosaic virus disease of okra and bitter gourd based on entropy based binning and Naive Bayes classifier after identification of leaves[J]. Computers and Electronics in Agriculture， 2017，142：485-493.

[10]张建华，祁力钧，冀荣华，等.基于粗糙集和BP神经网络的棉花病害识别[J].农业工程学报，2012，28（7）：161-167.

[11]贾少鹏，高红菊，杭 潇.基于深度学习的农作物病虫害图像识别技术研究进展[J].农业机械学报，2019，50（S1）： 313-317.

[12]王文朋，毛文涛，何建樑，等.基于深度迁移学习的烟雾识别方法[J].计算机应用，2017，37（11）：3176-3181，3193.

[13]HUANG G，LIU Z，MAATEN V D，et al.Densely connected convolutional networks[C]. Honolulu：IEEE， 2017： 2261-2269.

[14]DONG H，ZHANG L，ZOU B.Densely connected convolutional neural network based polarimetric SAR image classification[C].Yokohama：IEEE，2019.

[15]齊永锋，侯璐璐，段友放.基于DenseNet-BC网络的皮肤镜下皮肤损伤分割[J].计算机工程与科学，2020， 42（6）：1060-1067.

[16]张永鹏，张春梅，白 静.基于DenseNet-Attention模型的高光谱图像分类[J].图学学报，2020，41（6）：897-904.

[17]PAN S J，YANG Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering， 2010，22（10）：1345-1359.

[18]TIWARI D， ASHISH M， GANGWAR N，et al. Potato leaf diseases detection using deep learning[C]. Madurai：IEEE， 2020.

[19]张建华，孔繁涛，吴建寨，等.基于改进VGG卷积神经网络的棉花病害识别模型[J].中国农业大学学报，2018， 23（11）：161-171.

[20]OPPENHEIM D， SHANI G， ERLICH O， et al. Using deep learning for image-based potato tuber disease detection[J]. Hytopathology，2019， 109（6）：1083-1087.

[21]王艳玲，张宏立，刘庆飞，等.基于迁移学习的番茄叶片病害图像分类[J].中国农业大学学报，2019，24（6）：124-130.

[22]柴 帅，李壮举.基于迁移学习的番茄病虫害检测[J].计算机工程与设计，2019，40（6）：1701-1705.

[23]DURMUS H， GUNES E O， KLRCL M. Disease detection on the leaves of the tomato plants by using deep learning[C]. Fairfax：IEEE， 2017： 1-5.

[24]郭小清，范涛杰，舒 欣.基于改进Multi-Scale AlexNet的番茄叶部病害图像识别[J].农业工程学报，2019， 35（13）：162-169.

[25]刘鹏鹏.基于深度学习的番茄叶面型病虫害识别研究[D].南昌：南昌大学，2020.

[26]胡志伟，杨 华，黄济民，等.基于注意力残差机制的细粒度番茄病害识别[J].华南农业大学学报，2019，40（6）：124-132.

（责任编辑：陈海霞）

1487500783320