深度学习在植物表型研究中的应用现状与展望

岑海燕，朱月明，孙大伟，翟 莉，万 亮，麻志宏，刘子毅，何 勇

·综合研究·

深度学习在植物表型研究中的应用现状与展望

岑海燕，朱月明，孙大伟，翟 莉，万 亮，麻志宏，刘子毅，何 勇

（1. 浙江大学生物系统工程与食品科学学院，杭州 310058；2. 农业农村部光谱检测重点实验室，杭州 310058；3. 浙江大学现代光学仪器国家重点实验室，杭州 310027）

精确测量植物表型是深入分析表型-基因-环境互作关系，了解植物生理过程的前提和基础，也是培育良种和提升现代农业生产精准管控的关键。伴随高通量植物表型测量与分析技术的不断发展，以深度学习为代表的人工智能方法在植物表型研究与应用中取得了一系列重要进展。为系统阐述相关研究最新成果和热点问题，该研究首先概述了植物表型与深度学习方法的背景；随后从植物识别与分类、胁迫分析、产量预测、面向精准育种和精准管理的表型分析等方面综述了深度学习在植物表型交叉研究的进展；最后提出了未来深度学习和植物表型交叉融合研究与应用中亟需解决的问题，并展望了植物表型研究智能化的发展前景。

植物；表型；管理；深度学习；识别与分类；作物育种

0 引 言

植物表型研究目标是通过获取高质、海量的性状特征数据来量化分析基因型和环境因子的互作效应（genotype-by-environment interactions）及其对作物产量、品质、抗逆能力等生产指标的影响[1]，是精准设计育种和作物生产精准管理的重要技术支撑。当前，植物表型测量技术在高精度和高通量的需求引领下快速发展，表型数据急剧增长，面向智慧农业的植物表型研究具有多学科交叉、组学关系耦合、多尺度协同、多传感器融合和多源数据协同处理等特点。

伴随深度学习与大数据技术的快速发展，基于大数据和人工智能的植物表型交叉融合研究开启了植物表型智能化研究时代，本研究在概述主流深度学习方法的基础上，对近年来深度学习在植物表型研究的应用场景进行了总结、对比和梳理，以期为相关研究人员提供参考。

1 深度学习简介

人类之所以拥有智能，是因为人类拥有数量庞大的神经元以特殊方式互相连接和工作，而深度学习方法正是模仿了类似的构架，通过对大量数据的特征学习总结出数据特征中的高级抽象规律，以服务不同领域的应用需求[2]。经过多年发展，深度学习领域提出了一系列算法模型。

1.1 深度学习主流算法

总体来讲，目前已经在植物表型分析中应用的深度学习网络结构主要包括：卷积神经网络（Convolutional Neural Network，CNN）、受限玻尔兹曼机（Restricted Boltzmann Machines，RBM）、自动编码器（Auto Encoder，AE）、稀疏编码（Sparse Coding，SC）和循环神经网络（Recurrent Neural Network，RNN）等，本研究重点对以上几种广泛使用的算法进行介绍。

1.1.1 卷积神经网络

卷积神经网络（CNN）是最常见的深度学习方法之一。自20世纪80年代后期以来，CNN已应用于视觉识别与分类任务，特别是LeCun等[3]在1998年提出了LeNet-5，基于CNN的相关研究随即成为研究热点，伴随图形处理器（Graphical Processing Unit，GPU）计算能力的发展和大量标记数据集的出现，CNN在算法和架构上不断改进，在各个应用场景取得了突破。

图像分类是计算机视觉中的基本问题，通常使用特征提取和分类器判别的技术架构来解决图像的分类问题。传统图像分类方法的准确性在很大程度上取决于所提取的特征，往往存在特征设计困难、面向复杂任务具有局限性、特征间的层次关系设计困难进而导致算法的泛化性能较弱等弊端。近年来的研究表明，随着数据获取方式的简化和大数据集的出现，在GPU等芯片技术的快速发展，深度学习可以有效解决上述瓶颈问题[4]。2012年，Krizhevsky等[5]使用扩展了深度的CNN架构在ImageNet[6]大规模视觉识别挑战竞赛中取得了最佳的分类效果，随即CNN受到研究者们的重视，一系列网络模型的提出进一步推动了CNN的深入研究与广泛应用。目前，CNN已经成为大多数图像识别、分类和检测任务的领先架构[7]，越来越多的网络架构也相继问世，包括Alex Net[5]、Clarifai[8]、SPP[9]、VGG[10]、GoogleNet[11]、FCN[12]、U-Net[13]等。同时，梯度下降、参数优化策略、权重共享以及近年来神经网络架构优化（Neural Architecture Optimization，NAO）[14]和元学习（meta-learning）[15]等理论的迅速发展，使得CNN在复杂应用场景中的优势更加明显。新型的CNN神经网络架构表现出以多个网络或多种网络级联组合应用的新态势，神经网络形态的快速进化为纷繁复杂的科研领域提供了智能高效的数据分析手段。

1.1.2 受限玻尔兹曼机

受限玻尔兹曼机（RBM）是由Hinton和Sejnowski[16]在1986年提出的神经网络模型，具备两层结构、层间全连接和层内无连接的特点，适用于有效地提取数据特征以及预训练传统的前馈神经网络，可明显提高网络的判别能力。其可见层所描述的是观察数据一个方面或一个特征，约束条件是可见单元和隐藏单元必须构成二分图。这种机制可用于组建更加有效的训练算法，特别是基于梯度的对比发散算法。用RBM可以组成以下深层模型：深度置信网络（Deep Belief Network，DBN）[17]、深度玻尔兹曼机（Deep Boltzmann Machines，DBM）[18]和深能模型（Deep Energy Models，DEM）[19]，适用于特征提取、数据编码、构建用于监督学习的分类或回归学习模型，以及初始化神经网络等场景。

1.1.3 自动编码器

自动编码器是一种特殊类型的人工神经网络，用于从数据中学习有效的特征。最初也是由Hinton[20]在2006年提出。自动编码器的几个重要变体包括：稀疏自动编码器（Sparse Auto Encoder，SAE）、去噪自动编码器（Denoising Auto Encoder，DAE）和收缩自动编码器（Contractive Auto Encoder，CAE）。在图像处理领域，原始图像像素值作为初级特征表达通常维度很高，且大多情况下存在数据冗余，因此需要采用合适的方法对图像数据进行降维或特征提取等预处理，进而得到更加简洁而有效的特征表达，以提高数据分析效率和精度，自动编码器多用于高维数据的降维处理和特征提取。

1.1.4 稀疏编码

稀疏编码（Sparse Coding，SC）最早由Olshausen 和Field于1996年提出[21]，用于解释大脑中的初期视觉处理（比如边缘检测）。稀疏编码通过训练和学习来构建对输入数据的描述函数，通过训练来找到一组“超完备基向量（an over-complete set of basis vectors）”来表示输入数据的算法，超完备基向量能更有效地找出隐含在输入数据内部的结构与模式来重构原数据[22]。稀疏编码的优点主要体现在：1）可以使用高维特征，对不同类别的特征更加易于分类；2）稀疏性可以捕获图像的显著特性；3）具备与生物视觉系统类似的认知方式。稀疏编码算法被广泛应用于语音信号分离、视觉图像处理、生物DNA（DeoxyriboNucleic Acid）微阵列数据分类和模式识别等领域。

1.1.5 循环神经网络

循环神经网络（Recurrent Neural Network，RNN）是一类用于处理序列数据的神经网络，与“人的认知是基于过往的经验和记忆”类似，通过使用特定形式的存储器来模拟基于时间的动态变化，RNN不仅能考虑当前的输入，而且赋予了网络对前序内容的一种“记忆”功能。这种网络结构能够直接地反映系统动态变化过程中的高度非线性和不确定性，因此适用于对时序数据规律的学习与未来变化趋势的预测，但该方法存在梯度消失与梯度爆炸问题[23]。1997年，Hochreiter 和Schmidhuber[24]提出了长短期记忆（Long Short-Term Memory，LSTM）网络，成功解决了这一问题。LSTM可以保持前序信息的长期存储，在语音识别、信息检索、文本分类等应用中被广泛使用，现已成为实际应用中最有效的序列模型。

1.2 不同算法的特点

为了系统地介绍深度学习核心算法的优缺点，本研究对以上几种常见的深度学习算法进行了对比。表1所列出的5种常见的深度学习算法均具备一定的泛化能力，CNN和SC支持数据增强，可通过对训练数据进行旋转等处理来减少一定数据采集和标记的工作量。在无监督学习、特征学习和支持生物学解释方面，各算法表现各异。不同类型的深度学习算法表现出各自不同的特点，在实际应用场景中，研究人员需要根据特定科学问题及应用场景，选择合适的算法来构建相关模型。

表1 不同深度学习算法的特点

注：+表示对属性的支持，++表示对属性很好的支持，-表示对属性不支持。

Note: + means the normal capability of the property, ++ means the effectively capability of the property, - means the disability of the property.

理论上，深度学习算法是通过海量数据来解决复杂问题的机器学习方法，通常在海量数据的支持下，深度学习方法的潜力才被充分释放和发挥出来，在数据量相对较小情况下，普通的机器学习方法即可满足数据建模与预测的应用需求，因而在具体应用中通常需要根据特定研究目标的数据量与应用需求来选取合适的算法。

就目前已经发表的相关研究来看，图像仍然是植物表型研究的主要数据格式，基于深度学习的植物表型图像处理与应用当前正呈现出快速增长的趋势，凭借强大的特征提取和建模能力，深度学习为数据分析的特征表达能力不足和维数灾难等问题给出全新的解决思路，特别是卷积神经网络（CNN）[25]，其性能在很大程度上超越了传统的机器学习方法，成为表型大数据分析的常用算法。本研究主要围绕CNN及其与其他算法融合的网络架构在作物形态结构鉴别与分类、胁迫判别与预警、精准育种与精准生产管理、产量测定与预测等方面的代表性研究与进展进行讨论。

2 深度学习在植物表型研究中的具体应用

2.1 基于植物形态特征的表型鉴别与分类

植物的形态结构在农业生产和研究中有着重要的生物学意义，是对植物进行科学研究的重要特征，借助机器视觉技术、图像分割和深度学习等技术来准确地对植物的重要特征进行采集和分析是育种和生产过程管理的重要技术手段，植物表型研究中的图像分析主要涉及到对作物形态结构的鉴别与监测[26]。

传统的植物识别与分类方法多依赖于专家经验来分析植物的外观形状、纹理、颜色等形态特征表型，具有主观性且准确性不高。在育种工作中，育种学家通常需要精确测量大量的表型数据来筛选优良性状[27]；在农业生产实践中，对作物不同物候期的特定形态结构的有效识别与监测进而实现对作物全生长周期长势监控与水肥智能化调控，并提高智慧农业生产管控与智能化管理水平，都需要更加强大的表型数据分析方法[28]。

借助深度学习在特征提取上的优势，一系列人工智能算法在植物特定形态结构的分类与识别应用上表现出较高精度与稳健性，为植物表型的智能化识别提供了稳健的解决方案。在表2中列举了深度学习算法在基于植物表型研究中具有代表性的一些最新工作。总体来看，大多数表型数据以图像数据为主，通过深度学习算法进行表型特征提取进而完成表型鉴别。所列的研究工作涉及组织-器官-植株不同尺度的表型分析，数据类型来自实验室数据集和开放数据集两大类，研究目标涵盖了多种作物及其不同生长阶段的识别分类，研究层面囊括了不同基因型的表型差异分类与鉴别。

在不同种质资源识别研究中，相关研究的主要目标在于如何提高对作物本身或作物特定表型的识别率以及算法的泛化能力，近年来各主流深度学习算法均有研究成果发表，特别是CNN网络架构，应用层面与普适性得到了极大的拓展。在深度学习理论与方法发展早期，研究人员尝试使用多种方法来解决特定情景下的表型分类与识别问题，但受限于方法本身的局限性，早期的解决方案中需要对图像数据进行不同程度的预处理，如二值化、图像分割等，然后将纹理特征和形态特征的组合再进行特征提取与分类判别，虽取得了较好的分类结果（如Liu和Kan[30]、Zhu等[32]），但是方法本身需要多个数据处理环节，可移植性与稳健性有限。

随着CNN网络架构的不断演变与发展，其本身对图像特征的抽象学习能力得到了充分释放，因而在基于图像的表型相关研究中取得了一系列进展，并表现出较其他深度学习方法更普适的解析能力。Grinblat等[31]采用叶脉纹理特征通过深度学习算法将豆科作物不同品种的识别率提高到96.9%±0.2%，较Larese等[39]提出的算法提高了1.8%。

表2 基于作物形态结构的分类与识别举例

在基于植物图像的表型识别方面，Liu和Kan[30]通过改进的深度置信网络和多特征融合的叶片识别研究，将220种不同植物的叶片分类精度提高到93.9%；2017年，Zhu等[32]基于多通道稀疏编码特征提取方法，对图像进行了尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）后，再进行多通道稀疏编码获得了近100%的分类效果。Taghavi等[33]通过卷积神经网络与长短记忆网络的耦合算法（Convolutional Neural Network Combined Long Short-Term Memory Network，CNN-LSTM），对不同品种的拟南芥顶部视角照片组成的数据集进行了识别与分类，成功地将拟南芥的识别与分类工作提高到93%，较卷积神经网络与条件随机融合（Convolutional Neural Network Combined Conditional Random Fields，CNN-CRFs）算法87.6%的平均识别率提高了5.4%。Liu等[34]利用卷积神经网络融合循环神经网络的算法架构（Convolutional Neural Network Combined Recurrent Neural Network，CNN-RNN）以观察者视角的图像数据对植物进行了识别，以作物各部分结构或器官以顺序方式对植物图像进行建模，探索并实现了通过多个局部特征来提高整体表型识别率的可行性。夏威夷大学马诺阿分校Krause等[35]利用卷积神经网络通过多器官形态特征构建了用于在自然图像中精准识别植物的系统WTPlant（What's that plant?）（图1），依据植物分类学体系，该系统可对夏威夷大学马诺阿分校中的100种不同植物进行识别。在微观层面的作物表型识别与计数应用上，不少研究聚焦在作物生长生产过程中密切相关的微观生理结构分析上，以此来评价作物生理学运行机制。叶片是植物进行光合作用的场所，气孔是植物与外界环境进行气体与水分交换的重要结构，叶片气孔的大小与密度直接影响叶片与外部环境间的气体交换量，进而影响植物的光合作用、呼吸作用与蒸腾作用[40]。此外，气孔对植物生境的变化具有较强的敏感性，其形状、密度、大小等特征随温度、光照、CO2浓度以及降水等环境因子的改变而发生变化，因此大多采用植物叶片气孔参数（密度、大小、导度）来反应植物体对环境变化的响应，对气孔进行表型识别与评估有助于理解作物对环境变化的响应机制。在对气孔数量表型的研究中，如何对单位面积上的气孔进行准确识别与计数需要借助全新的研究手段，在完全自动化的气孔计数方法出现之前，研究人员只能依靠人工操作来完成计数，适用于少量研究样本的研究，易受主观影响引起误差。Fetter等[36]提出了一种使用深卷积神经网络的自动气孔计数系统StomataCounter（图2），来识别和统计显微图像中的气孔。结果表明该神经网络对银杏显微照片的识别准确率达到98.1%，模型在未经训练的其他作物气孔图像应用识别精度达到了94.2%，提供了针对作物微观表型智能化研究范例。

注：引自Krause等[35]。MIT图像情景解析器是堆叠卷积结构的图像分割功能模块。

注：引自Fetter等[36]。DCNN为深度卷积神经网络，SGD为随机梯度下降。

在基于图像视觉特征的农田杂草种子分类与识别研究方面，Wang和Cai[29]构建了深度学习网络PCANet，相比之前类似研究中对图像特征提取过程存在的噪声较大和有效特征丢失的问题，该网络表现出对噪声更好的抑制能力和对重要特征的更有效抓取能力，在对91种杂草种子图像的平均识别率也达到了90.96%，对其中的45种杂草识别率达到100%，为精细农业生产中的杂草鉴别提供了可借鉴方法。

总体来看，在深度学习算法与植物表型识别分类的应用场景中，深度算法在特征选取的优势表现的尤为明显，表现出很好的稳健性。在以上列举的代表性工作中，CNN网络架构对植物表型特征的提取能力较之前发表的特征提取方法表现出相当的优势，而且不需要对特征进行设计就可以实现对图像特征的提取。从植物表型分类的维度上来看，可概括为不同植物品种特定表型的分类以及融合多表型特征的分类。随着表型鉴别难度的增加，研究人员除通过选取合适的算法外，还对作物不同组织器官特征进行预提取，或根据不同器官组织特征分别进行特征提取等方法来解决实际表型分类问题。近期，研究人员尝试用传统特征提取与CNN特征提取相融合解决对作物表型特征的识别与分类（如Wang和Cai[29]），取得了比传统方法更好的效果。对比常见的研究视角，CNN在植物微观表型分类与识别上同样表现出适用性，CNN对不同尺度层面的表型研究均适用。

此外，结合深度学习各种算法发展的时间脉络分析可以看出（表2），在CNN网络发展初期，其他深度学习算法（如DBN、SC等）需要借助之前发表的传统特征提取方法（如SIFT），先对特定特征进行提取，然后通过进一步的特征提取来达到分类效果，同时需要借助传统的分类器（如SVM）来达到表型识别与分类效果。相关文献显示，自2017年以来，随着CNN算法架构的发展与特征提取能力的逐渐提高，CNN已成为图像特征提取与分类的主流算法，且随之出现了针对特定研究目标的优化方案，诸如Taghavi等[33]和Liu等[34]通过多种深度学习方法的融合，进一步提升了特定情景下植物表型鉴别的精度。较新的研究显示，除了通过深度学习方法的创新外，还可以通过多个表型特征的融合来改善分类识别精度，如Rzanny等[37]基于CNN最新网络架构，结合了花的侧视图和花的顶视图等多器官特征，极大地改善了最新CNN网络架构的分类结果。Nguyen等[38]利用CNN及迁移学习能力通过灵活的数据收集方式构建了适应植物在不同地区分布不均的普适型作物识别系统，并评价了AlexNet（该网络是2012年ImageNet竞赛冠军获得者Alex Krizhevsky设计的，并由此命名）[5]、VGG（系列架构由牛津大学视觉几何小组 Visual Geometry Group提出，名称来自该研究小组名称缩写）[41]和研究人员构建的CNN算法架构在作物不同器官特征下的分类识别效果，结果显示，所设计的算法架构与迁移学习的结合可以提取到比之前发表的特征提取算法更加丰富可靠的特征，为未来深度学习数据收集与算法设计提供了借鉴。

2.2 深度学习在植物胁迫分析中的应用

植物的生长受到多种环境因素的影响，其生长生产过程中需要应对多种生物胁迫和非生物胁迫的考验。总体来讲，农业生产受到不同程度自然灾害的影响，严重的高温、低温、干旱、洪涝、虫害、病害等自然灾害一旦发生，往往对农业生产造成不可逆转的损失[42]。从全球范围来看，非生物胁迫因素中的干旱与生物胁迫中的病虫害是影响世界粮食产量的两大主要因素。在作物受到胁迫且未形成不可恢复损伤之前通过对受胁迫部位的精准识别来定性胁迫种类，判定胁迫程度，为有效启动植保作业赢得宝贵时机是智慧农业植保工作的目标。

在生物胁迫方面，虫害和病害是造成作物减产的主要因素。世界范围内的林木、果蔬、观赏和药用植物以及主粮生产作物等都可能受到不同程度、不同类型的虫害病害侵袭，对相关产业产值收益造成重大损失。在植物胁迫表型识别与定性定量的系列研究中，众多文献对不同植物在相应典型生物胁迫下的表型性状进行了分类与识别、定性与定量的相关研究工作，表3列举了部分代表性文献，涉及到大豆、香蕉、玉米和油菜等作物的典型生物胁迫的识别与鉴定，算法以卷积神经网络为主，通过数码图像对作物的病害种类进行了鉴定，对病害程度进行了定性与定量分析。

在实际大田生产中的生物胁迫研究中，DeChant等[43]就玉米的真菌性病害叶枯病（Northern Leaf Blight，NLB）叶片图像进行了识别、定性及定量分析，NLB病原为，是子囊菌的一种，感染该病的玉米叶片会呈现出绿灰色坏死病斑，未及时处理会影响植株生理健康进而引起减产。研究结果显示，通过CNN算法对控制变量情景下的玉米病害识别与分类精度较之前 Mohanty等[49]发表的结果有大幅提高，在对作物叶片是否染病的判别分类结果达到99%以上的高精度，而在对作物品种与病害类型同时进行分类与识别准确度一举提高了23%，该模型可在低空遥感和田间生产服务的作物高通量表型的快速获取与研究中发挥作用。Ferentinos[45]采用开放数据集对作物病害的识别诊断给出了解决方案，采用不同的深度学习方法对包含25种作物的58种病害图像数据进行了分类鉴定，识别分类结果精度可达99.53%。He等[46]通过在互联网和田间两种途径收集的包含12种典型油菜病虫害数据集就油菜病虫害的识别分类进行了研究（图3），所构建的模型将油菜虫害分类识别的平均精度提高到了77.14%，由此集成的手机应用程序表现出良好的环境适应性、响应速度和准确性，并且具有成本低廉和操作简单的优点，适合于无人机和物联网（Internet of Things，IoT）的有害生物监视任务。

表3 深度学习在植物生物胁迫分析中的应用举例

胁迫研究的目标是尽早发现胁迫症状而采取相应的应对方案，因此对作物在受到胁迫后未显症或早期显症时进行图像数据采集需要把握恰当的时机，对图像的标记需要专家经验的支持，构建高质量的作物胁迫数据集需要专业人员付出相当的精力。值得研究人员注意的是，近年来CNN深度学习模型对非生物胁迫表型的识别表现出对胁迫种类的无关性，不少研究已经表明对非生物胁迫的定性可以考虑采用迁移学习或改进现有的网络架构（Kamal等[47-48]）在减少网络参数，缩短训练时间的同时不影响模型的预测能力，特别是以VGG、Inception v3、ResNet、DenseNet和SENet等成熟应用的网络架构，在适应性和可迁移性方面都有稳定的表现。

在非生物胁迫方面，温室效应导致全球变暖日益加剧，不同程度的自然灾害时有发生，严重威胁到农林牧业的稳定生产和自然生态环境安全。表4列举了近年来深度学习在植物非生物胁迫分析中的一些代表性工作，研究对象多聚集在主粮作物和经济作物。

注：引自He等[46]。白色方框中为算法对害虫的识别。

表4 深度学习在植物非生物胁迫分析中的应用举例

干旱作为影响主要经济作物生产的关键影响因素之一，每年都会在全球范围内造成巨大的经济损失。通过培育对非生物胁迫具有更强抗性的优良品种等[55]手段是实现在干旱和半干旱地区提高作物产量的可行技术路线。在通过对抗旱基因型-表型的筛选来培育抗旱品种的相关研究中，Sun等[53]利用叶绿素荧光成像动态监测盐分过度敏感（Salt Overly Sensitive，SOS）突变体在干旱条件下的时间序列响应（图4），并提取拟南芥SOS突变体在干旱胁迫下的荧光指纹图谱。通过深度学习算法 SAE 神经网络提取时间序列叶绿素荧光特征，然后将其用于对SOS11、SOS23和Col 0三个基因型的拟南芥叶绿素荧光指纹图谱的识别，准确度可达95%。该项研究的结果为了解干旱基因在SOS通路中的功能提供了一种有效的观测手段，同时也为提高作物抗性育种效率提供了新思路。

注：引自Sun等[53]。ChIF为叶绿素荧光，PCA为主成分分析，SFS为序列前向选择，LDA为线性判别分析，KNN为K最邻近算法，NB为朴素贝叶斯，SVM为支持向量机。

Ghosal等[52]通过25 000幅大豆叶片生理胁迫损伤和营养缺乏症（如除草剂胁迫损伤、缺钾等）图像对大豆非生物胁迫下的症状进行了深度学习分类鉴别（图5），所训练的模型对于输入图像扰动具有稳健性。训练后的模型可以部署在移动平台（如无人驾驶飞机和自动地面侦察机）中，可实现快速，大规模的大豆植保侦察，也可以部署成移动应用程序来实时检测大豆的非生物胁迫类别。

注：引自Ghosal等[52]。

快速预测作物水分含量是实现作物水分供应智能管控的前提。温度，湿度，日照量和植物繁殖力等因素均可能影响植物的生理过程而形成水分胁迫。Kaneda等[51]提出了一种使用多模式新型植物水分胁迫预测方法（图 6），所提出的基于滑窗的支持向量机回归（Sliding Window-Based Support Vector Regression，SW-SVR）算法用于监测不同时期植物在水分胁迫下的生理变化，对比研究结果表明所提出的模型在植物水分胁迫预测上更胜一筹。

注：引自Kaneda等[51]。白色方框展示了算法对植株受水分胁迫后形态变化的识别效果，对照正常情况图6a，相同高度h1和h2下，图6b中的植物在相应位置的组织受水分胁迫出现了萎蔫现象。

冻害是造成作物生产重大损失且不可逆转的灾害之一。无损光谱图像是对作物内部生理结构变化进行有效分析的一种技术，通过光谱差异可以反映植物生长发育过程中生理结构、生理参数的变化，并已广泛用于高通量表型育种筛选。Yang等[54]使用卷积神经网络（CNN）模型根据多个基因型玉米在可见-近红外范围内光谱特征对玉米冻害进行的判别效果与化学值判别结果表现出较好的相关性。

玉米产业是很多国家的支柱产业，玉米生长过程中的氮素供应直接影响玉米的产量，因此尽早发现其氮素利用状况以便及时调整氮素供给以最大程度地保证玉米产量是生产中的客观需求。Condori等[50]通过预训练CNN模型，提出了一种简单的迁移学习方法，从已经训练好的CNN网络中来学习到玉米氮素缺乏诊断函数，并将其结果与传统纹理方法对氮素缺乏的识别效果进行了比较。在包含不同生长阶段和不同水平的氮肥水平的玉米叶片数字化图像数据上的测试结果表明，基于深度学习的描述比传统的纹理方法效果更佳。

总之，人工智能算法与作物胁迫的融合为相关研究提供了特定情景下优选的解决方案，然而，相关研究仍需要解决以下几个矛盾。其一，对网络架构的设计规模与训练代价方面的权衡，还需要考虑所要解决问题的复杂程度和神经网络需要学习的特征丰度来设计或选用特定的神经网络架构，也可以在现有工作的基础上，为类似的问题通过迁移学习的办法来实现更加快速的参数调整进而得到需要的解决方案。其二，对胁迫症状的有效识别需要考虑症状类别数、训练集和测试集中图像之间的特征相似性以及图像背景特征及其多变性。显然，胁迫类别数越多，模型对胁迫判别的准确度越低。而深度学习模型只能学习到训练集中的特征，如果训练集与测试集中的图像特征相关较小，势必会影响到模型的准确性，因此，大数据集有助于提高模型对胁迫判定的准确度，同时，特定试验模型在实际生产中的应用仍需要大量引入实际数据或从实际数据集构建识别模型。而图像拍摄条件也会对模型泛化能力造成一定影响，不同的背景可能对模型预测结果产生相当的影响，特别是在真实生产环境中采集的数据集，而实验室数据通常是在相对统一的拍摄条件下得到的数据集，这也成为影响模型预测准确性的重要因素，因此，研究人员可以尽可能包括实际生产环境中的多种背景来构建更加稳健的智能诊断模型。其三，如何通过相关智能算法对胁迫后未显症或隐现症状进行有效识别。文献查阅显示，目前深度学习对常见作物的生物及非生物胁迫通常仅仅局限在常见症状的典型症状数据进行识别与量化，而如何通过多源传感器数据在作物胁迫后未显症或胁迫症状隐现阶段进行有效识别的研究尚不多见，相关研究也是智慧农业生产管控的重要技术支撑之一，是本领域的重点与难点，尚有不少问题需要解决，以光谱成像等传感数据与深度学习方法来对作物胁迫进行深入分析为例，面临的问题有高维数据冗余、数据采集费时耗力，缺少成熟的面向光谱图像训练的深度学习模型等，需要开展多学科交叉融合与深度合作。

2.3 深度学习在作物产量预测方面的应用

在深度学习算法还未取得重大突破之前，关于作物生产过程的产量预测建立在果实目标有效识别的前提上，在不同物候期对作物进行产量评估多依赖经验，缺乏科学依据，特别是对作物果实目标的有效识别往往受制于不同生长期果实性状的动态变化性，包括果实颜色、形状、纹理、空间位置和大小等。此外，对不同成熟期的果实识别多依赖于阈值选取范围，且特定算法通常只能对特定生长期的果实进行识别，一定程度上，对于外观尚小的、成长期不一致的情况，增大了产量预测误差。

计算机视觉结合深度学习算法通过对颜色、几何形状、纹理以及多种表型耦合特征的提取和分类，极大地提升了产量预测的准确度。在产量测定和预测方面，深度学习算法在各种主粮作物以及经济作物产量评估中兼有研究成果，大致可分为以下3种应用场景：基于果实识别与计数的经济类作物产量预测，基于无人机低空遥感的田间作物产量预测以及基于多尺度、多源数据、多因素复合的多维度产量预测。深度学习在作物产量方面的应用举例表5列举了近年来深度学习在作物生产方面的典型应用，其中，CNN类算法被广泛用于基于果实识别与计数的经济类作物产量预测，而LSTM则被用于时序产量的多因素、多维度预测。Rahnemoonfar和Sheppard[56]通过24 000张合成的照片，在Nvidia 980Ti GPU的硬件支持下，借助谷歌（Google）深度学习框架（Tensorflow）完成了模型训练，并通过2 400张合成照片和100张Google随机搜索到的成熟番茄照片对模型进行了验证，结果表明，对随机搜索图片表现出91%的准确率，算法在应对叶片茎部阴影、遮挡或果实部分重叠情况下依然表现出稳定的性能，可以推广到果实特征相仿的其它水果产量预测中，但该研究并未对绿熟期和转熟期的果实识别与计数进行研究。

表5 深度学习在作物产量方面的应用举例

在寻求提高作物产量的过程中，往往需要对大量种群样本进行产量相关的表型数据分析与评估[61]。通常的做法是通过品种、建园、整形、施肥、防病及植物生长调节剂的综合应用来提出改进品质、提高产量的经验途径和方法，评估过程多依赖于专家经验[62]。此外，在作物产量的评估研究中，不同类型的作物对产量的评估通常需要有针对性的方法，当前大多情况下的作物的产量表型数据主要是通过人工进行测量，效率低且可靠性差。最近的一些研究中，有研究人员通过生产管控数据科学地完成这些工作是近年来深度学习融合表型数据探索的方向，产出了一系列研究成果。

在浆果类作物产量评估研究方面所构建的模型需要满足现场实时使用的需求，一方面，在实验室条件下，以簇为单位估计浆果数依赖于图像分析技术[63]，考虑到作物实际生产环境下的各种生长形态以及实验室或现场条件下表型信息采集速度与基因分型速度的不一致，浆果计数的研究遇到了瓶颈[64]。因此，不少学者近年来提出了在真实不受控条件下的产量预测的图像分析算法。Aquino等[57]提出了一款智能手机应用程序（图7），通过人工智能算法提出了浆果实时计数方案，利用计算机视觉在不同物候期对葡萄果粒数量进行了估测，最高精度可达95%，借助该应用，葡萄种植者可以简单高效地获取葡萄的表型信息，也为相关研究者快速获取和评价浆果类作物表型信息提供了一种借鉴。

大田作物的生长过程监控和产量评估是保障粮食安全的基础，近年来，遥感信息与作物生长模型的耦合应用被用来解决作物长势监测和产量预测等一系列农业问题，越来越受到相关研究人员的关注，遥感数据与作物生长模型的主流方法有强迫法和同化法[65]。然而这些方法的处理模型（作物生长和辐射传递）处理过程相对复杂，耦合过程数据处理存在积累误差，此外，驱动模型运行的各种初始数据、遥感反演作物参数以及同化算法的不完备性，相关方法还存在技术瓶颈，无法在实际中应用[66]。东京大学的Kuwata和Shibasaki[67]提出了利用气候数据和其他环境数据结合深度学习方法来估算作物产量的新思路。该方法使用快速特征嵌入的深度学习架构对美国伊利诺伊州（State of Illinois）的玉米产量进行了预测，取得了0.81的相关性系数，均方根误差（Root Mean Square Error，RMSE）为6.298，表明深度学习在大尺度估测作物产量的可能性。相比作物生长模型需要预先确定严格的输入数据，其应用范围和使用场景非常有限，而深度学习方法提高了作物产量特征提取的稳定性，由此为进一步提升产量预测的精度提供了可能。因此，即使在数据获取有限的地区，深度学习在估算作物产量的表现也比之前的方法表现出优势。Aich等[58]建立了3个深度学习模型，分别就航拍小麦大田图像进行作物部分图像切割、作物植株计数和生物量预测。结果显示，论文所做的工作较之前发表论文中的田野植株生物量估计、植株计数和叶片计数模型都表现出更高的准确率。

注：引自Aquino等[57]。

此外，Jiang等[59]以美国县级玉米生产带2006—2017年共7 232条观测数据借助LSTM算法对玉米产量预测进行了研究，数据集包括玉米生产的5个生长期的降水、积温、高温积温和植被指数及产量数据，凭借LSTM算法在时序依赖、信息选择性传递和非线性拟合等优势（图 8），结果表明该模型较岭回归和随机森林模型明显提升了玉米估产的精度和鲁棒性。该研究工作为探究气候变化下的作物生长监测提供了一种多源数据驱动的研究方法。此外，Sun等[60]为县级尺度下大豆产量预测提出了一个深层卷积-长短记忆网络（CNN-LSTM）模型，模型通过对天气数据，中等分辨率成像光谱仪（Moderate Resolution Imaging Spectroradiometer，MODIS）测得的地表温度和地面反射率作为输入数据，以大豆历史产量数据为标签，基于Google Earth Engine，将数据合并转换为基于直方图的张量以进行了模型训练，结果显示，模型的结果均优于单纯使用CNN或LSTM模型。

图8 基于物候的长期短期记忆（LSTM）模型的结构

Fig.8 Structure of the phenology-based Long Short-Term Memory (LSTM) model

在高通量产量性状监测方面，计算机视觉和人工智能是主要的技术路线，与传统的人工方法相比，人工智能的引入可以有效提高估测效率和通量，在模型稳健性和效率上也明显胜出。

在基于作物重要组织或器官的目标识别进行的产量预测方面，不少研究在现有的网络架构上进行了改进或调整来达到对产量的预测，通常并不需要为实现多类别多目标识别计数的网络深度，因此研究人员需要根据自己的研究情景来构建或调整成熟的网络来实现相应的研究目标。近年来针对目标检测的框架可分为基于候选框（anchor-based）类和不依赖候选框（anchor-free）两类，前者又可分为基于边框回归的一步判别法和首先生成候选框再进行目标判别的二步法。概括来讲，一步法检测速度较二步法快一些，但是二步法可为多重特征分类识别提供更高的识别准确率。此类算法在基于植物形态特征的表型鉴别与分类中已有大量应用采用该类算法架构，该类算法在基于果实表型识别与计数基础上的产量预测较多种表型鉴别分类而言，需要鉴定的类别在特征层面上由相似特征鉴定转变为特定表型精准识别，应用情景略有差异，但是后者算法的相关研究将在实际生产应用中表现出更大的潜力。此外，对基于作物的历史产量数据，兼顾考虑农作物生长环境、长势、物候等的大范围产量预测情景中，需要融合空间异质的作物物候数、遥感和气象数据等多源数据实现在不同生长期对作物产量预测。最近在该领域进行的试验表明，CNN在探索更多的空间特征方面具有显著优势，而LSTM具有揭示物候特征的能力，这两类算法优势的融合将进一步提升基于多源生产数据对大田作物产量预测的灵活性和可靠性。

2.4 表型人工智能和大数据支撑的精准育种与精准管理应用

作物生产力和生态适应性是粮食作物新品种选育的重要评价指标[55]，基因组学和表型组学的交叉融合为深入探究植物对环境扰动的复杂生物学反应机制提供了新思路，然而，目前的传统算法与应用多集中在解决单组学数据集的明确任务，如何将基因型与表型联系起来仍然是相关研究的瓶颈[68-69]。表6列举了在基于表型大数据和人工智能支撑的精准育种和精准管理方面的代表性工作，在面向现代先进育种和田间管理智能化管理领域，表型大数据与人工智能的融合为应对相关领域内的难点问题提供了方案。

表6 人工智能和大数据支撑的精准育种与精准管理应用举例

人工智能技术为解决跨多模态集成数据支持的现代育种研究提供了可行性，基于基因型-表型的大数据人工智能育种是现代育种研究的新方向，基于基因组数据指导的育种选择将从基因组-表型组的融合视角大幅度提高育种效率。基因组选择（Genomic Selection，GS）是一种用于植物育种选择的新方法，它通过基因组预测（Genomic Prediction，GP）机制来加速育种过程。大多数GP模型使用的线性方法忽略了基因之间相互作用的影响和高阶非线性的影响，而深度学习可以有效避免传统模型在基因组预测上的局限性。Rachmatia等[77]的研究通过DBN深度学习算法（图9），利用全基因组单核苷酸多态性（Single Nucleotide Polymorphisms，SNP）作为训练和测试数据构建了基因组预测模型（GP），结果显示，在具有非叠加性特征的情况下，DBN的性能优于其他传统方法，在[-1,1]范围内的相关性可达0.579。

注：引自Rachmatia等[77]。SNP为重新编码的全基因组单核苷酸多态性；Stacked RBM指堆叠受限玻尔兹曼机。

Baweja等[72]使用配备高分辨率立体成像仪的地面机器人Robotanist来捕获高粱植物实验地块的密集图像数据，通过快速的区域卷积神经网络（Faster-Regions with CNN Features，Faster-RCNN)算法构建了茎杆数和茎宽的测量算法（图10），结果表明，这种新型方法产生的2为0.88、平均绝对误差2.77 mm，大幅度提升传统测量效率，该研究对许多一年生作物（如高粱、甘蔗、谷物、玉米）有借鉴意义。

在现代育种工作及生产实践中发现，种子活力具有很强遗传性，且存在母体效应，种子活力的高低不仅决定后期植株优良形态的建立，而且是作物高产的基础，因此，高活力的亲本是育种工作的重要种质资源[69]。如何快速高通量地实现对种子活力进行分级是智能农业面向生产应用中需要解决的问题之一。Przybyło和Jabłoński[73]构建了一种基于计算机视觉和深度学习方法的橡子种子生存力预测方法（图11），实现了智能高通量的橡子种子活力预测模式，预测准确性达到85%，与人类专家预测效果相当或略高于专家预测准确率。

深度学习方法已成为解决复杂生产环境下应用问题的重要方法，在现代农业生产过程中，田间除草工作一直以来都备受关注，传统方法中以人工除草和化学除草为多见，但人工除草劳动成本高，化学除草环境不友好，甚至干扰生态平衡，引起一系列环境问题；此外，传统图像处理方法在田间复杂环境下的泛化能力有限，智能除草成为田间除草的新思路。基于最新的CNN模型，Sarker和Kim[75]提出了一种基于区域的全卷积网络（图 12），该研究评估了算法在田间杂草识别的性能。为了避免过拟合，研究人员在算法架构中引入神经元丢弃技术（dropout），结合数据增强技术，在实际测试中表现出领先的田间杂草识别准确率为81%。

注：引自Baweja等[72]。红色方框为算法对玉米茎杆的识别效果，数字为对玉米茎秆的识别得分。

注：引自Przybyło和Jabłoński[73]。Conv表示神经网络中的卷积层，ReLU为线性激活函数，Norm为归一化，Max pooling为最大池化，FC为全连接层，Recognition（good/bad）为识别结果输出。

与田间除草互补的理念是通过对作物的精准识别来实现大田生产环境下的作物智能化管控，特别是在考虑到杂草及作物长势因时而变，且杂草种类多、密度大、长势猛的实际生产环境中，如何对作物进行精准识别来实现对大田作物全生长周期的精准管理，也是大田生产管控智能化的重要目标。就发表的文献来看，研究思路多凭借机器视觉捕获的图像特征入手，借助作物与杂草乃至农田背景等对象类别在颜色、形状或纹理方面的差异性，通过单个或多个特征组合来解决具体应用场景下的作物精准识别，涉及到的代表性特征提取方法包括主成分分析法（Principal Components Analysis，PCA）以及Bay等[78]提出的加速稳健特征算法（Speeded Up Robust Features，SURF）等，这些方法在特征提取上较前人的特征提取方法虽然取得了相对领先的优势，但是当面对作物与杂草不同的生长习性、在高密度多种类杂草和较大的日照强度变化等复杂的田间生产条件，这些方法并不能有效应对这些挑战。

注：引自Sarker和Kim[75]。红色方框中为算法对杂草的识别效果，数字为对杂草的识别得分。

深度学习方法对特征的提取思路与传统方法有着本质的不同，它可以依靠不同的功能来对数据特征进行转换，可以对数据特征进行分层表示，且能适应密集型图像计算任务。Abdalla等[76]在数据增强基础上，对VGG的2个网络重新进行了初始化，结合迁移学习思想，分别在数据增强技术和无数据增强技术的数据集上，评估了改造后的VGG16和VGG19在高密度杂草环境下油菜图像精准分割的性能（图13）。结果显示，基于迁移学习的深度特征机器学习分类器（Deep Feature-Machine Learning Classifier，DF-MLC) 对高密度杂草环境拍摄的油菜作物图像像素分割获得了96%的准确度，所提出的方法不但减少了训练数据集规模，而且节约了训练时间，训练好的模型在单幅图像实现油菜精准分割的响应时间小于0.05 s，为复杂农田生产环境下的作物精准分割与定位等相关产业应用提供了可借鉴的解决方案。

作物的生长生产需要具备相对稳定的水肥气热光等基础条件，其中温度变化会对温度敏感作物的生长和生产形成制约。很多应季蔬菜的特定生产季节较短，如何提高其耐热性以延长生长期，同时可减少由于气候变化而造成的经济损失是育种与生产实践中需要解决的问题。Jiang等[71]开发了一种基于深度学习和热成像技术测量田间植物温度的方法（图14），通过高通量表型系统（GPhenovision）收集作物热图像，将60张标记的热图像随机分为2个子集：50张用于训练的图像集和10张用于测试的图像集。通过基于掩模的快速区域卷积神经网络（Mask Faster-Regions with CNN Features，Mask RCNN）和基于阈值的方法进行植物定位，对图像进行分割和阈值温度提取。研究表明，Mask RCNN优于传统阈值分析方法，显着提高了提取的植物不同区域温度识别的准确性。这种改进极大地减少了由于传感器测量而引起的误差，降低了数据分析误差。相关研究可以促进耐热基因型的育种计划和遗传学研究，大大提高了提取植物温度的准确性。

注：引自Abdalla等[76]。VGG16和VGG19为VGG网络的2个形态。

基于作物特定表型的精准识别是实现表型大数据和人工智能精准育种和精准管理的基础，本质上可以将其归纳为目标检测计数与量化指标预测、复杂生产环境下目标分割与量化指标评估两大类，面向这两类的相关网络架构正在从兼顾提升目标检测的效率和精度转向对特征表达的增强研究，相继提出了诸如混合特征图、特征金字塔等思想，取得了一系列进展。从深度学习发展的现状来看，已经有一大批成熟的网络架构可供表型研究人员选择进而解决实际问题，不少的研究情景可以考虑使用迁移学习等技术来解决研究问题。考虑到深度学习通常需要一定的硬件条件和运行时间，研究人员需要在模型训练的代价与模型应用效果上追求相对的平衡，就自己的研究来选择或构建自己的深度学习模型来解决特定的研究问题。

注：引自Jiang等[71]。

3　总结与展望

本研究对近年来深度学习在植物表型研究领域的最新进展进行了总结梳理。总体来看，深度学习在表型识别与分类方向上取得了比人工识别和分类更好的效果，且近年来的深度学习方法正在不断克服人工识别与分类易误判、依赖专家经验、耗费人力物力等缺点；在不同应用场景和不同研究尺度上，深度学习解决了传统方法无解或性能差等问题，特别是在不同尺度的应用研究中，深度学习为植物表型的研究拓展了全新的研究视角，深度学习算法精度不断提高，为促进表型与基因型组学的不同尺度关联研究带来新的机会。本研究列举了以特征提取分类、目标识别计数、复杂背景下目标分割等植物表型的相关研究，从应该场景上介绍了4大研究应用场景，通过列举代表性文献分析了深度学习在植物表型相关研究的最新进展。

在植物表型识别与分类研究中，深度学习依然依赖大量的训练数据来提取识别目标特征，而且在面向特定作物的算法，在不同生长周期的识别需要提供不同的训练数据，而且对训练数据特征有一定的要求，尽管不少作物表型的图像可以通过互联网搜索得到，但是面对不少非常见植物的表型图像数据，仍然需要研究人员采集一定量的数据作为深度学习的数据源，在未来的表型识别与分类研究中，预测结果精度可进一步提高，有望为相关产业应用带来更多机会。

在植物胁迫相关研究领域，在生物胁迫和非生物胁迫两方面，均有不少成果。相关研究表明，对植物胁迫的有效识别与分类有助于科学家对基因组学和表型组学的关系进行深入研究，在培育高抗品种、保障粮食安全方面有着重要意义。在胁迫监测研究方面，如何将深度学习应用于不同物候期或不同胁迫程度下的作物胁迫反应前兆信息感知进而对生产过程中的异常情况及时进行预警，有待研究人员进行更深入的研究。

在产量预测方面，从预测效果的层面来看，基于对图像特征的提取和识别能力，较传统研究方法而言，深度学习方法对产量预测的精度呈现出不断增长的势头，但目前的研究水平还处在初级应用阶段，这主要由于作物产量受作物品种特点、气候差异、生物和非生物胁迫等诸多因素的影响，作物产量的精准预测需要考虑的因素很多。在已经发表的研究中，只能将部分因素作为数据来驱动深度学习模型的建立，大多只完成了对成熟果实的产量预测，对于果实全生长期特征差异性较大的作物进行有效的产量预测还需要融入专家经验、知识图谱等技术推进本领域的研究。

从深度学习与植物表型的交叉研究与应用层面来看，有一系列问题值得关注，在监督式算法的表型、胁迫识别、分类、精细农业生产管控过程中的表型数据采集等应用场景中，通常需要对大量图像数据进行标记，以此来训练深度学习网络，而通常这些工作是由人工完成的，意味着很大的工作量。在表型数据分析与育种研究方面，已经取得了一定的突破，同时也表现出一定的局限性，如何就特定基因型-表型进行深入的研究，还需要跨学科研究人员的协作配合。

在表型人工智能和大数据支撑的精准育种与精准管理应用方面，基于海量表型数据与基因、环境的耦合关系是未来表型研究指导选种育种的前沿领域，伴随植物表型技术和现代育种技术的快速发展，基于基因型-表型育种研究的数据量和复杂性急剧增加，将催生更加深入的多学科融合研究工作，将物联网、机器学习、数学、物理学、统计学、遗传学和定量遗传学以及生物信息学等学科整合在一起应对面向未来的科学育种，以统计数据分析和深度数据挖掘的神经网络方法将在以谱系、基因组和环境协同变量结合到统计遗传预测模型中发挥巨大潜力。基因组选择与谱系育种在深度学习的支持下如何把控复杂性状的遗传增益，如何进一步提高表型预测准确性，进而通过缩短繁殖周期来加速遗传增益仍然是未来育种工作的巨大挑战。此外，基于深度学习等一系列人工智能与农业生产交叉研究成果可以更加精准地指导农业生产，提高农业生产力和生产水平。

综上所述，深度学习为植物表型的研究带来了巨大的机遇，人工智能技术的发展将为植物表型相关研究与应用提供新思路。同时应当看到，随着表型研究在角度、尺度、时间、空间等维度的深度融合，对未来深度学习技术提出更高的要求，只有智能技术的更进一步发展才能有效促进多学科交叉融合下的多维度数据分析，从而推进基因型与表型研究向着更多维度的智能高通量方向发展，为构建智能化的农业生产管控提供技术保障。总之，人工智能在农业生产中的普适化应用仍需要业界同仁久久为功。

[1] Tester M, Langridge P. Breeding technologies to increase crop production in a changing world[J]. Science, 2010, 327(5967): 818-822.

[2] Guo Yanming, Liu Yu, Oerlemans A, et al. Deep learning for visual understanding: A review[J]. Neurocomputing, 2016, 187: 27-48.

[3] LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[4] LeCun Y, Bengio Y, Hinton G E. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[5] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Proceedings of the 25thInternational Conference on Neural Information Processing Systems, Siem Reap, Cambodia, 2012: 1097-1105.

[6] Jia Deng, Wei Dong, Socher R, et al. ImageNet: A large-scale hierarchical image database[C]//2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2009), Miami Beach, USA, IEEE, 2009: 248-255.

[7] Rawat W, Wang Zenghui. Deep convolutional neural networks for image classification: A comprehensive review[J]. Neural Computation, 2017, 29(9): 2352-2449.

[8] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//European Conference on Computer Vision, Zurich, Switzerland, 2014: 818-833.

[9] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 37(9): 1904-1916.

[10] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2014-09-04]. https: //arxiv. org/abs/1409. 1556.

[11] Szegedy C, Liu Wei, Jia Yangqing, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2015, 10(1): 1-9.

[12] Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651.

[13] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation[EB/OL]. [2015-05-18]. https: //arxiv. org/abs/1505. 04597.

[14] Luo Renqian, Tian Fei, Qin Tao, et al. Neural architecture optimization[EB/OL]. [2018-08-22]. https: //arxiv. org/abs/1808. 07233.

[15] Finn C, Abbeel P, Levine S. Model-agnostic meta-learning for fast adaptation of deep networks[EB/OL]. [2017-03-09]. https://arxiv. org/abs/1703. 03400.

[16] Hinton G E, Sejnowski T J. Learning and relearning in Boltzmann machines[J]. Parallel Distributed Processing: Explorations in the Microstructure Of Cognition, 1986, 1: 282-317.

[17] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554.

[18] Salakhutdinov R, Hinton G E. Deep boltzmann machines[C]//Proceedings of the 12thInternational Conference on Artificial Intelligence and Statistics (AISTATS 2009), Clearwater, USA, 2009: 448-455.

[19] Ngiam J, Chen Zhenghao, Koh P W, et al. Learning deep energy models[C]//Proceedings of the 28thInternational Conference On Machine Learning (ICML-11). Bellevue, USA, 2011: 1105-1112.

[20] Hinton G E. Reducing the dimensionality of data with neural networks[J]. Science, American Association for the Advancement of Science, 2006, 313(5786): 504-507.

[21] Olshausen B A, Field D J. Learning efficient linear codes for natural images: The roles of sparseness, overcompleteness, and statistical independence[J]. Human Vision and Electronic Imaging, 1996, 2657: 132-138.

[22] Sun Xiaoxia, Nasrabadi N M, Tran T D. Supervised deep sparse coding networks[EB/OL]. [2017-01-29]. https: //arxiv. org/abs/1701. 08349.

[23] Lipton Z C, Berkowitz J, Elkan C. A critical review of recurrent neural networks for sequence learning[EB/OL]. [2015-05-29]. https: //arxiv. org/abs/1506. 00019.

[24] Hochreiter S, Schmidhuber J. LSTM can solve hard long time lag problems[C]//Proceedings of the 9thInternational Conference on Neural Information Processing Systems. Singapore, 1996: 473-479.

[25] 常亮，邓小明，周明全，等. 图像理解中的卷积神经网络[J]. 自动化学报，2016， 42(9)： 1300-1312. Chang Liang, Deng Xiaoming, Zhou Mingquan, et, al. Convolutional neural networks in image understanding[J]. Acta Automatica Sinica, 2016, 42(9): 1300-1312. (in Chinese with English abstract)

[26] Granier C, Vile D. Phenotyping and beyond: Modelling the relationships between traits[J]. Current Opinion in Plant Biology, Elsevier Current Trends, 2014, 18: 96-102.

[27] Araus J L, Kefauver S C, Zaman-Allah M, et al. Phenotyping: New crop breeding frontier[J]. Encyclopedia of Sustainability Science and Technology, 2018: 1-11.

[28] Mahlein A K. Plant disease detection by imaging sensors-parallels and specific demands for precision agriculture and plant phenotyping[J]. Plant Disease, Am Phytopath Society, 2016, 100(2): 241-251.

[29] Wang Xinshao, Cai Cheng. Weed seeds classification based on PCANet deep learning baseline[C]//2015 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA). Hong Kong, China, 2015: 408-415.

[30] Liu Nian, Kan Jiangming. Improved deep belief networks and multi-feature fusion for leaf identification[J]. Neurocomputing, 2016, 216: 460-467.

[31] Grinblat G L, Uzal L C, Larese M G, et al. Deep learning for plant identification using vein morphological patterns[J]. Computers and Electronics in Agriculture, 2016, 127: 418-424.

[32] Zhu Heyan, Huang Xinyuan, Zhang Shengping, et al. Plant identification via multipath sparse coding[J]. Multimedia Tools and Applications, 2017, 76(3): 4599-4615.

[33] Taghavi N, Esmaeilzadeh M, Najafi M, et al. Deep phenotyping: Deep learning for temporal phenotype/genotype classification[J]. Plant Methods, 2018, 14(1): 66-80.

[34] Liu Xuanxin, Xu Fu, Sun Yu, et al. Convolutional recurrent neural networks for observation-centered plant identification[J]. Journal of Electrical and Computer Engineering, 2018: 1-7.

[35] Krause J, Sugita G, Baek K, et al. WTPlant (What’s that plant?): A deep learning system for identifying plants in natural images[C]//Proceedings of the 2018 ACM on International Conference on Multimedia Retrieval. 2018: 517-520.

[36] Fetter K C, Eberhardt S, Barclay R S, et al. StomataCounter: A neural network for automatic stomata identification and counting[J]. New Phytologist, 2019, 223(3): 1671-1681.

[37] Rzanny M, Mäder P, Deggelmann A, et al. Flowers, leaves or both? How to obtain suitable images for automated plant identification[J]. Plant Methods, 2019, 15(1): 77-88.

[38] Nguyen T T N, Le T L, Vu H, et al. Towards an automatic plant identification system without dedicated dataset[J]. International Journal of Machine Learning and Computing, 2019, 9(1): 26-34.

[39] Larese M G, Namías R, Craviotto R M, et al. Automatic classification of legumes using leaf vein image features[J]. Pattern Recognition, 2014, 47(1): 158-168.

[40] Taylor S H, Franks P J, Hulme S P, et al. Photosynthetic pathway and ecological adaptation explain stomatal trait diversity amongst grasses[J]. New Phytologist, 2015, 193(2): 387-396.

[41] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2014-09-04]. https: //arxiv. org/abs/1409. 1556.

[42] Singh A K, Ganapathysubramanian B, Sarkar S, et al. Deep learning for plant stress phenotyping: Trends and future perspectives[J]. Trends in Plant Science, 2018, 23(10): 883-898.

[43] DeChant C, Wiesner-Hanks T, Chen Siyuan, et al. Automated identification of northern leaf blight-infected maize plants from field imagery using deep learning[J]. Phytopathology, 2017, 107(11): 1426-1432.

[44] Abdullahi H S, Sheriff R E, Mahieddine F. Convolution neural network in precision agriculture for plant image recognition and classification[C]//2017 Seventh International Conference on Innovative Computing Technology. Luton, UK, IEEE, 2017: 1-3.

[45] Ferentinos K P. Deep learning models for plant disease detection and diagnosis[J]. Computers and Electronics in Agriculture, 2018, 145(1): 311-318.

[46] He Yong, Zeng Hong, Fan Yangyang, et al. Application of deep learning in integrated pest management: A real-time system for detection and diagnosis of oilseed rape pests[J]. Mobile Information Systems, 2019: 1-14.

[47] Kamal K C, Yin Zhendong, Wu Mingyang, et al. Depthwise separable convolution architectures for plant disease classification[J]. Computers and Electronics in Agriculture, 2019, (165): 104948-104954.

[48] Kamal K C, Yin Zhendong, Li Bo, et al. Transfer learning for fine-grained crop disease classification based on leaf mages[C]//Workshop on Hyperspectral Image and Signal Processing, Evolution in Remote Sensing. Amsterdam, The Netherlands, IEEE Computer Society, 2019: 1-5.

[49] Mohanty S P, Hughes D, Salathe M. Using deep learning for image-based plant disease detection[EB/OL]. [2016-04-11]. https://arxiv. org/abs/1604. 03169.

[50] Condori R H M, Romualdo L M, Martinez Bruno O, et al. Comparison between traditional texture methods and deep learning descriptors for detection of nitrogen deficiency in maize crops[C]//2017 Workshop of Computer Vision (WVC), Natal, Brazil, IEEE, 2017: 7-12.

[51] Kaneda Y, Shibata S, Mineno H. Multi-modal sliding window-based support vector regression for predicting plant water stress[J]. Knowledge-Based Systems, Elsevier, 2017, 134(15): 135-148.

[52] Ghosal S, Blystone D, Singh A K, et al. An explainable deep machine vision framework for plant stress phenotyping[J]. Proceedings of the National Academy of Sciences, 2018, 115(18): 4613-4618.

[53] Sun Dawei, Zhu Yueming, Xu Haixia, et al. Time-series chlorophyll fluorescence imaging reveals dynamic photosynthetic fingerprints of SOS mutants to drought stress[J]. Sensors, 2019, 19(12): 2649-2666.

[54] Yang Wei, Yang Ce, Hao Ziyuan, et al. Diagnosis of plant cold damage based on hyperspectral imaging and convolutional neural network[J]. IEEE Access, 2019, 7: 118239-118248.

[55] Sánchez-Martín J, Keller B. Contribution of recent technological advances to future resistance breeding[J]. Theoretical and Applied Genetics, 2019, 132(3): 713-732.

[56] Rahnemoonfar M, Sheppard C. Deep count: Fruit counting based on deep simulated learning[J]. Sensors, 2017, 17(4): 1-12.

[57] Aquino A, Barrio I, Diago M P, et al. VitisBerry: An Android-smartphone application to early evaluate the number of grapevine berries by means of image analysis[J]. Computers and Electronics in Agriculture, Elsevier, 2018, 148(1): 19-28.

[58] Aich S, Josuttes A, Ovsyannikov I, et al. DeepWheat: Estimating phenotypic traits from crop images with deep learning[EB/OL]. [2017-09-30]. https: //arxiv. org/abs/1710. 00241.

[59] Jiang Hao, Hu Hao, Zhong Renhai, et al. A deep learning approach to conflating heterogeneous geospatial data for corn yield estimation: A case study of the US corn belt at the county level[J]. Global Change Biology, 2020, 26(3): 1754-1766.

[60] Sun Jie, Di Liping, Sun Ziheng, et al. County-level soybean yield prediction using deep CNN-LSTM model[J]. Sensors, 2019, 19(20): 4363-4384.

[61] Ghanem M E, Marrou H, Sinclair T R. Physiological phenotyping of plants for crop improvement[J]. Trends in Plant Science, 2015, 20(3): 139-144.

[62] Smart R E, Dick J K, Gravett I M, et al. Canopy management to improve grape yield and wine quality-principles and practices[J]. South African Journal of Enology and Viticulture, 1990, 11(1): 3-17.

[63] Liu S, Whitty M, Cossell S. A lightweight method for grape berry counting based on automated 3D bunch reconstruction from a single image[C]//International Conference on Robotics and Automation (IEEE), Workshop on Robotics in Agriculture. 2015: 4-8.

[64] Houle D, Govindaraju D R, Omholt S. Phenomics: The next challenge[J]. Nature Reviews Genetics, 2010, 11(12): 855-866.

[65] Wójtowicz M, Wójtowicz A, Piekarczyk J. Application of remote sensing methods in agriculture[J]. Communications in Biometry and Crop Science, 2016, 11(1): 31-50.

[66] Yue Jibo, Yang Guijun, Li Changchun, et al. Estimation of winter wheat above-ground biomass using unmanned aerial vehicle-based snapshot hyperspectral sensor and crop height improved models[J]. Remote Sensing, Multidisciplinary Digital Publishing Institute, 2017, 9(7): 708-727.

[67] Kuwata K, Shibasaki R. Estimating crop yields with deep learning and remotely sensed data[C]//2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS). IEEE, 2015: 858-861.

[68] Harfouche A L, Jacobson D A, Kainer D, et al. Accelerating climate resilient plant breeding by applying next-generation artificial intelligence[J]. Trends in Biotechnology, 2019, 37(11): 1217-1235.

[69] Washburn J D, Mejia-Guerra M K, Ramstein G, et al. Evolutionarily informed deep learning methods for predicting relative transcript abundance from DNA sequence[J]. Proceedings of the National Academy of Sciences of the United States of America, National Academy of Sciences, 2019, 116(12): 5542-5549.

[70] Peerlinck A, Sheppard J, Maxwell B. Using deep learning in yield and protein prediction of winter wheat based on fertilization prescriptions in precision agriculture[C]//14thInternational Conference on Precision Agriculture (ICPA), Montreal, Canada, 2018.

[71] Jiang Yu, Shuang Lanshuan, Li Changying, et al. Deep learning for thermal image segmentation to measure canopy temperature of Brassica oleracea in the field[C]//ASABE 2018 Annual International Meeting, Detroit, USA, 2018: 1-11. doi: 10. 13031/aim. 2018 00 305.

[72] Baweja H S, Parhar T, Mirbod O, et al. StalkNet: A deep learning pipeline for high-throughput measurement of plant stalk count and stalk width[C]//Field and Service Robotics, 2018: 271-284.

[73] Przybyło J, Jabłoński M. Using deep convolutional neural network for oak acorn viability recognition based on color images of their sections[J]. Computers and Electronics in Agriculture, 2019, 156(2): 490-499.

[74] Peng Yinshu, Wang Yi. Prediction of the chlorophyll content in pomegranate leaves based on digital image processing technology and stacked sparse autoencoder[J]. International Journal of Food Properties, 2019, 22(1): 1720-1732.

[75] Sarker M I, Kim H. Farm land weed detection with region-based deep convolutional neural networks[EB/OL]. [2019-06-05]. https: //arxiv. org/abs/1906. 01885.

[76] Abdalla A, Cen Haiyan, Wan Liang, et al. Fine-tuning convolutional neural network with transfer learning for semantic segmentation of ground-level oilseed rape images in a field with high weed pressure[J]. Computers and Electronics in Agriculture, 2019, 167: 105091-105102.

[77] Rachmatia H, Kusuma W A, Hasibuan L S. Prediction of maize phenotype based on whole-genome single nucleotide polymorphisms using deep belief networks[J]. Journal of Physics: Conference Series 2017, 835(1): 012003-012009.

[78] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

Current status and future perspective of the application of deep learning in plant phenotype research

Cen Haiyan, Zhu Yueming, Sun Dawei, Zhai Li, Wan Liang, Ma Zhihong, Liu Ziyi, He Yong

(1.,,310058,; 2.,,310058,; 3,,310027,)

Accurate plant phenotyping is important for gaining a fundamental understanding of phenotype-genotype-environment interaction and is also critical for plant breeding and agricultural precision management. With the development of accurate and high-throughput plant phenotyping techniques, big phenotypic data of various plants especially image data can be collected. There is an urgent need to develop effective approaches to dealing with large-scale image data analysis to explore the biological and physiological mechanisms which can be eventually used from the laboratory to the field. This research was entering a new era called ‘smart phenomics’. Deep Learning (DL) provided an opportunity to extract useful traits from the complicated phenotypic dataset, which could bridge the knowledge gap between genotype and phenotype for fundamental research and engineering applications in a breeding program and precision farming. Recently, a series of phenotyping related research supported by DL had been published all around the plant fundamental mechanism as well as the agricultural engineering applications. This study investigated the latest publications focused on phenotyping relating to the following algorithms: Convolutional Neural Network (CNN), Restricted Boltzmann Machines (RBM), Auto Encoder (AE), Sparse Coding (SC) and Recurrent Neural Network (RNN), both of the achievements and problems were introduced and summarized in the following aspects. The published researches involved the phenotypic identification and classification over various crops from tissues, organs, and plant scales singly or combined. Not like DBN, SC, or other earlier algorithms, CNN could extract the features without image preprocessing or feature design, its capability also grew rapidly since it was proposed and now had been the first-choice for image identification and classification scenarios. While deep learning applications in biotic/abiotic plant stress analysis mainly focused on the identification and classification of different phenotypic traits of various common crops under typical stresses. Recent studies CNN showed the most potential capability for stress identification and classification, and the predictions by CNN was an irrelevance to the type of stress. Studies also found that the qualitative analysis of abiotic stress could be diagnosed by transfer learning to reduce training time without affecting the prediction capability of the model, especially network architectures with mature applications scenarios manifested stable performance in terms of adaptability and migration based on CNN or integrated with CNN, Besides, yield prediction accuracy had been greatly improved through color, geometric shapes, textures and multiple phenotypic coupling features, which could be divided into the following three scenarios, including fruit yield prediction based on fruit identification and counting, field crop yield prediction by Unmanned Aerial Vehicle (UAV) remote sensing and multi-dimensional yield prediction based on multi-scale, multi-source, and multi-factor data. Moreover, deep learning had shown the potential for precision breeding and precision management. The precise identification of crop-specific phenotypes is the basis for accurate breeding and phenotypic management, and it can be summarized as two categories, including quantitative index counts after target detection and target segmentation under complex field conditions. In summary, a large number of proposed network architectures applied in plant phenotyping have been reviewed, and future efforts should be made on improving the efficiency and accuracy in production scenarios. Finally, the trend and future perspective in the multi-disciplinary research field of deep learning in plant phenotype research were also discussed.

plant; phenotype; management; deep learning; identification and classification; crop breeding

岑海燕，朱月明，孙大伟，等. 深度学习在植物表型研究中的应用现状与展望[J]. 农业工程学报，2020，36(9)：1-16.doi：10.11975/j.issn.1002-6819.2020.09.001 http://www.tcsae.org

Cen Haiyan, Zhu Yueming, Sun Dawei, et al. Current status and future perspective of the application of deep learning in plant phenotype research[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 1-16. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.09.001 http://www.tcsae.org

2019-12-18

2020-02-24

国家自然科学基金（31971776）；国家重点研发计划课题（2017YFD0201501）

岑海燕，博士，研究员，主要从事农作物光学成像与智能传感技术及装备、高通量植物表型技术、无人机低空遥感等方面的教学与科研工作。Email：hycen@zju.edu.cn

10.11975/j.issn.1002-6819.2020.09.001

TP183

A

1002-6819(2020)-09-0001-16