基于高光谱图像的龙眼叶片叶绿素含量分布模型

岳学军 凌康杰 洪添胜 甘海明 刘永鑫 王林惠

(1.华南农业大学南方农业机械与装备关键技术省部共建教育部重点实验室， 广州 510642； 2.华南农业大学电子工程学院， 广州 510642； 3.华南农业大学工程学院， 广州 510642)

0 引言

光合作用直接影响植株生长和叶绿素含量，进而影响其叶色。叶色是氮素营养诊断最常用指标[1]，也是诊断植株染病与抗病能力的辅助指标[2]，获得准确的叶色诊断指标是植株精确定量施氮施药的基础[3]。利用计算机视觉技术识别叶色，以此鉴别农作物长势已成为研究热点与难点[4]。龙眼具有药用价值[5 - 6]，是我国福建、广西、广东和海南等地支柱性经济树种。龙眼的叶斑病、褐斑病、叶枯病等能导致叶片叶绿素含量分布变化，降低光合效率，进而影响龙眼的品质与产量。龙眼急性病如急性炭疽病易引起幼苗部分叶片枯死，导致果树落花落果，该龙眼病初期病理特征不明显，但叶绿素含量却变化显著[7]。快速无损检测龙眼叶片叶绿素含量及其分布对龙眼树的栽培管理、病害早期快速监测防治、实时精确控制水肥灌溉等具有重要意义。

传统的植物叶片叶绿素含量检测常用分光光度法和高效液相色谱法(High performance liquid chromatography，HPLC)，存在耗时、费力、时效性差和损坏样本等弊端。近年来，随着高光谱技术的发展和应用的成熟，国内外研究者针对水稻、冬小麦、玉米等一体化大田植物做了大量研究，但对龙眼等个体化果树的叶绿素含量估测和分布研究甚少。岳学军等[8]分别采用了主成分分析-支持向量机回归(Principle component analysis-support vector regression，PCA-SVR)和小波去噪-偏最小二乘回归(Wavelet denoising-partial least square regression，WD-PLSR)算法建立柑橘叶片叶绿素含量估测模型，其模型决定系数分别达到了0.871 3和0.867。KALACSKA等[9]、ZHAO等[10]、SHI等[11]采用PCA、连续小波变换(Continuous wavelet transform，CWF)、多元线性回归(Multiple linear regression，MLR)、神经网络等建模方法分析了GNDVI、mNDVI705、MSAVI2、PSRI等10余种光谱指数与农作物叶绿素浓度的相关性，建立了高光谱图像数据对叶绿素含量估测及其分布模型。邹小波等[12]研究了黄瓜叶片高光谱图像450～850 nm波段，建立以特征波长与对应的光谱反射值植被指数关系模型，结果表明基于695～709 nm和750～800 nm波段下的(R695-709)-1-(R750-800)-1模型预测具有最优效果，其校正集和预测集相关系数分别为0.841和0.828 6。孙俊等[13]对生菜叶选取了390～1 050 nm可见光-近红外波段的高光谱图像，分别采用特征波段和基于灰度共生矩阵纹理特征建立SVR模型，最优特征模型决定系数为0.996，均方根误差(RMSE)为0.034。

数据量大、波段多、混合像元间关系复杂是高光谱图像处理中的难点，且图像中精细光谱特征受目标光谱变异性、背景信息分布与模型假设差异性、图像亚像元小等问题的影响，传统机器学习模型无法适应这种特征，需要新的信息提取模型与方法[14]。

本文采样地点为广州市郊华南农业大学红满堂龙眼园(23°09′N,113°21′E)，样本树为20株长势相当的龙眼树，采用HyperSIS高光谱成像仪分别采集嫩绿、浅绿、深绿共3种不同生长状态的龙眼叶高光谱数据，先进行Savitzky-Golay滤波，再获取PCA降维高光谱图像，使用卷积神经网络(CNN)提取特征，最后分别使用粒子群优化-支持向量回归(PSO-SVR)和独立成分分析-深度神经网络(ICA-DNNs)建立龙眼叶片叶绿素含量预测及其分布模型。

1 材料与方法

1.1 样本采集与处理

选取华南农业大学红满堂龙眼园内20株长势相当的处于采果期的龙眼树为样本，采集数据时间为2016年8月23日08:00。龙眼叶分嫩绿、浅绿和深绿3种，从每棵龙眼树冠的上、中、下3个部位和东、南、西、北4个方位分别均匀随机采集龙眼叶共15片，共300个龙眼叶样本，每种颜色100个。其中嫩绿、浅绿、深绿3种状态是指叶片SPAD均值分布区间为(9，25]、(25，41]、(41，57)的叶片，叶龄分别是7～27 d、28～48 d和49 d以上。叶片新鲜、无明显病斑和破损，将采集的样本保存于冰袋中，避免叶绿素高温见光分解。所有样本编号后立即带回实验室进行高光谱信息采集及叶绿素含量化学测定[15]。

1.2 高光谱图像获取和标定

该实验所用的高光谱成像仪(HyperSIS，Zolix，中国)主要由4个卤光灯、CCD相机(Gilden Photonics Ltd，UK)、样品移动台等部件组成。成像仪光谱波长范围369～988 nm，分辨率1.2 nm。高光谱成像仪控制及图像校正软件为SpectraSENS。按照文献[16]的方法采集龙眼叶片的高光谱图像。

为了防止基线漂移，需打开卤素灯，等待30 min后对300个样本进行扫描。由于光源强度分布不均匀以及暗电流噪声存在，需要在扫描生成高光谱图之前，对每个样本进行黑白标定。先将龙眼叶片平铺在移动台的白纸上，CCD相机曝光时间设置为15 ms，平台移动速度为4.5 mm/s。再次关闭相机快门，盖上CCD相机镜头扫描获取反射率为零的全黑标定图像B，对白板扫描获取反射率接近100%的全白标定图像W，设Rraw为未标定的样本图像，Ic为标定后的高光谱图像，则Ic的计算公式为[17]

(1)

1.3 叶绿素含量测定

采集完龙眼叶片的光谱信息后，立刻使用分光光度法测定每片叶子的叶绿素感兴趣区(Region of interest，ROI)含量。在叶脉附近逆时针均匀选取6个ROI点，每个点选取0.5 g的ROI新鲜龙眼叶组织，去除叶脉，再剪成细丝，置于研钵中，加入少量石英砂、碳酸钙粉及体积分数为80%丙酮溶液2～3 mL，研磨至组织变白，于室温(25℃)下暗处静置10 min。经过滤、反复冲洗研钵和研棒，确保叶片色素全部进入容量瓶。用紫外-可见分光光度计分别测量波长为663、645、652 nm处的吸光度，最后依据叶绿素a和叶绿素b的浓度与吸光度关系计算出总的叶绿素含量[18](表1)，叶绿素含量用叶片叶绿素质量比表示。

1.4 高光谱图像预处理

1.4.1ROI智能选取

由图1可知，在519 nm波段附近，构成龙眼叶主体的叶脉和叶肉部分的反射率明显比背景和阴影的高。高光谱图像中，背景和阴影的反射率在波长419～619 nm波段范围内较为平稳，没有明显波峰起伏。阴影区域的反射强度低于背景区域反射强度。基于该特征，采用自动二值化去除背景和阴影部分，提取整片叶子。

表1 不同叶片状态下龙眼叶片叶绿素含量统计数据 Tab.1 Descriptive statistic of chlorophyll content during different growth states mg/g

图1 叶片图像中不同区域的光谱特征图 Fig.1 Spectral characteristic of different regions in longan leaves

1.4.2图像去噪与特征波长选取

高光谱数据在获取过程中，往往受到仪器噪声等因素的影响，存在吸光度的非线性、基线变动和附加散射变动[19]，不可避免的产生误差，为了减少噪声对模型的干扰，采用基于时域局部多项式最小二乘法拟合的Savitzky-Golay滤波方法，具有运算速度快，保留极大值、极小值和宽度等分布特性的优点[20]。由于高光谱图像波段多且连续，数据量大，相邻波段间存在较大的相关性，本文采用基于SVD的PCA降维后特征值所占能量比来确定主成分数目。在300个样本中，每个样本降维后选取前3个主成分图像PC1、PC2、PC3。每个样本的前3个主成分图像的总能量贡献率均大于其全部主成分图像总能量的95.8%。再根据所有样本下PC1、PC2、PC3中的各波长平均权重选取8个特征波长。由于403、821 nm处光谱噪声较大，模型中去掉这两处的光谱，对300个龙眼叶样本提取483、518、625、631、642、675 nm处共6个对应波长下的光谱图像纹理信息作为样本光谱特征，结果如图2所示。

图2 前3个主成分图像下各个波段平均权重系数 Fig.2 Mean coefficient of all wavelengths for the first three principle component images

1.4.3图像纹理信息提取

作物中叶绿素含量变化会导致生长趋势发生变化，进而影响叶片中的纹理特征[21]。本文采用灰度共生矩阵GLCM提取纹理特征，利用卷积神经网络进行CNN纹理提取。基于GLCM纹理特征，提取距离参数设为1个像素，方向依次为0°、45°、90°和135°，分别对ROI区域进行包括能量、对比度、相关性、同质性[22]4种纹理特征进行提取。基于预训练AlexNet[23]神经网络提取主成分图像和特征波段下的高光谱图像的纹理特征。对300个样本分别提取主成分图像，共得900幅主成分图像，以此作为模型训练数据。

1.5 建模原理和方法

本文的PSO-SVR算法[24-25]是利用粒子群优化算法选取SVR中最优核参数γ和正则参数c，基本思想是将低维空间数据根据某种非线性变换(通过核函数实现)映射到高维特征空间，在高维特征空间内进行线性回归计算，γ和c分别控制模型的偏差(Bias)和方差(Variance)[26]，对于总数为n的样本集，设回归模型f(x)中核函数为K，偏置量为d，满足[27]

(2)

(3)

xi——第i个支持向量

x——未知样本的特征矢量

ICA-DNNs是深度学习(Deep learning，DL)模型[28]，是近年来人工智能领域最热门的研究方向之一，其主要原理是逐层经过深度神经网络和反馈传播，自动提取数据中的特征[29-31]。设网络权重矩阵为V，偏置向量为b，样本总数为m，网络总层数为nl-1，假设函数h，网络层号为l(l=1,2,…,nl-1)，第l层总神经元数为sl，权重衰减因子为λ，最小化损失函数J为

(4)

pi——第i个输入样本向量

yi——第i个输出向量

hV,b——参数为V和b的假设函数

为了避免模型过拟合问题，本文均对目标函数进行L1正则化[32]处理。每个批次样本随机选取80%的数据作为校正集，用于建模，剩下20%作为验证集，用于评估模型的性能[33]。建模评估采用模型决定系数R2和均方根误差(RMSE)两个指标。每个模型方案独立运行30次，取性能指标结果的均值作为实验结果。

2 结果与分析

2.1 特征光谱建模

针对嫩绿、浅绿和深绿3种不同龙眼叶生长状态，分别采用PSO-SVR和ICA-DNNs进行建模实验，评估结果如表2所示。经过实验，PSO种群数量设置为20、权重衰减因子为0.9时，获得最佳参数性能。DNNs层数设置为6层，隐藏神经元数为20—10—10—20。从表2可知，由于仅在特征光谱建模下ICA-DNNs的验证集R2均小于0.8，故其性能较差，泛化能力较低，全期校正集和验证集的决定系数分别为0.806 1和0.796 4，PSO-SVR在4种不同叶片状态下均有良好表现，模型稳定性较高，嫩绿、浅绿、深绿、全期状态下的验证集的决定系数分别为0.793 8、0.806 6、0.805 7、0.815 2。

2.2 GLCM纹理与CNN纹理特征建模

对DNNs采用随机梯度下降(Stochastic gradient descent，SGD)法训练网络，每幅图像统一尺寸为224像素×224像素，经卷积(Convolution)和池化(Pooling)处理后得到特征数为60。每个样本采集6幅特征光谱图像和3幅主成分图像，共得到特征光谱图像1 800幅，主成分图像900幅。采用4种纹理特征，每种特征采集方向依次为0°、45°、90°和135°，得到16维GLCM纹理，AlexNet提取160维CNN纹理，总共有176维纹理特征。两种图像纹理特征分别导进PSO-SVR和ICA-DNNs模型，调节参数最优，分析结果如表3所示。

表2 龙眼叶在不同生长状态下的模型性能评估结果 Tab.2 Models evaluation result for longan leaves in different growth states

表3 基于纹理特征模型分析结果 Tab.3 Analysis results of models based on texture features

从表3可知，PSO-SVR效果较优，校正集和验证集模型决定系数分别为0.640 5和0.574 2，分别高于ICA-DNNs模型校正集和验证集模型的决定系数0.553 7和0.509 1。从表3可知，基于GLCM纹理与CNN纹理特征建模总体效果差，说明纹理特征与叶绿素含量相关性不大。

2.3 多特征融合建模

将光谱特征数据与GLCM纹理特征、CNN特征进行融合优化，核参数与惩罚因子设置不变，分别建立基于特征光谱与纹理特征数据融合模型，特征光谱与CNN纹理特征数据融合模型，特征光谱与GLCM纹理特征和CNN纹理信息融合模型。在训练过程中，采用早停止方法选取最佳迭代次数，方法如图3所示。

图3 基于早停止方法的DNNs网络训练迭代次数与 模型性能评估 Fig.3 Model evaluation with number of epochs based on early stopping method

由图3可知，采用早停止方法选取迭代次数为2 600次时，验证集的模型决定系数达到最大，均方根误差达到最小，模型性能综合最优。将3种融合特征分别导入PSO-SVR和ICA-DNNs模型中，每次训练都采用图3中早停止方法选取最佳迭代次数，将每种融合特征对应的每个模型的30次性能指标输出取平均，得多特征融合的结果如表4所示。

表4 3种融合模型对叶绿素含量的预测性能 Tab.4 Performance of three fusion models for prediction of chlorophyll content in longan leaves

3种融合特征在ICA-DNNs模型中效果最优，此时校正集和验证集R2分别为0.835 8和0.821 0，RMSE分别为0.162 1和0.168 6。在PSO-SVR中，特征光谱与GLCM纹理融合模型效果最优，与2.1节仅使用特征光谱建模相比，基于特征光谱与GLCM纹理、特征光谱与CNN纹理特征的建模性能有所下降，可能是由于龙眼叶在不同叶绿素含量分布下，叶片状态与结构发生改变性不明显，图像纹理特征与叶绿素含量相关性较差，相当于引入部分不相关信息，加上PSO-SVR整体迁移融合能力不强，融合模型变差。龙眼叶片叶绿素含量与特征光谱、GLCM纹理特征、CNN纹理信息特征相关性依次递减。ICA-DNNs在融合包括特征光谱、图像纹理特征等多种数据信息下，模型稳定性得到了提高，泛化能力得到了一定的提升。

2.4 龙眼叶叶绿素含量验证与分布反演

根据上述结论，建立基于多源特征融合的ICA-DNNs模型预测龙眼叶叶绿素分布，将每个像素点对应的高光谱曲线全部导入ICA-DNNs模型，每个像素点和与它相关点的高光谱信息可预测该点的叶绿素含量，进而得到整块叶片的叶绿素分布，分布结果如图4、5所示。

图6 不同建模方法下叶绿素含量实测值和预测值的比较 Fig.6 Comparison of real and predicted chlorophyll contents by different modeling methods

图4 基于最优参数的ICA-DNNs龙眼叶绿素含量分布 Fig.4 Image of chlorophyll content distribution for longan leaves based on ICA-DNNs with optimum parameters

图5 3种不同生长状态下龙眼叶片叶绿素含量分布 Fig.5 Distribution of chlorophyll content in three different growth states

由图5可知，嫩绿叶片叶绿素含量主要分布于靠近叶根叶肉部分。浅绿叶片叶绿素含量开始从叶根扩展至侧脉附近，叶子脉络清晰，叶绿素平均含量增大。叶片为深绿时，叶脉、叶肉均有比较大的叶绿素含量，分布均匀。主脉叶绿素含量在3种叶片状态下均比较低。

为了验证ICA-DNNs模型的可靠性，随机选取每种状态叶片30个，共90个，每个样本随机选择2个点，用TYS-B型叶绿素测定仪测定叶片叶绿素相对含量(SPAD)，共得到180组测量值，同时由ICA-DNNs叶绿素反演模型得到预测值，SPAD值与预测值建立拟合关系，得回归方程y=0.053 4x-0.460 6，R2=0.917 2，说明该模型具有可靠性和准确性。

2.5 其他模型建模对比分析

本实验将最优的基于多源特征融合的ICA-DNNs与多元线性回归(Multiple linear regression，MLR)、偏最小二乘法回归(Partial least square regression，PLSR)、广义神经网络(General regression neural networks，GRNN)、最小邻域回归(Nearest neighbors regression，NNR)模型进行对比，将融合后的光谱特征导入这4个模型，模型参数分别调到最优，其训练结果如图6所示。

将这4种模型建模结果与表4相比较，得到相对ICA-DNNs模型性能百分比，结果如表5所示。这4种传统模型的实验结果表明，本文提出的ICA-DNNs模型效果最优，校正集和验证集R2分别为0.835 8和0.821 0。其次取得较好效果的是偏最小二乘法回归模型，训练集上效果最差模型为最小邻域回归模型，验证集模型决定系数比ICA-DNNs性能下降8.15%。这4个模型均有不同程度的预测偏离数据点，主要是因为建模中涉及模型的偏差-方差(Bias-variance)矛盾，模型复杂度不够，提取到的有效特征不足或与原始数据并不完全相关，从而影响了模型的鲁棒性和泛化能力。ICA-DNNs模型能够较好进行多源特征融合，因此ICA-DNNs模型具有较高的预测精度和泛化能力。

表5 不同建模方法下的模型性能分析 Tab.5 Results of performance based on different modeling methods

3 结论

(1)基于特征光谱的PSO-SVR模型预测效果最佳，嫩绿、浅绿、深绿和全期的验证集模型决定系数分别为0.793 8、0.806 6、0.805 7、0.815 2。

(2)基于纹理特征的模型性能次之，纹理信息与叶绿素含量之间相关性较低，与ICA-DNNs模型相比，PSO-SVR模型性能较优，校正集和验证集模型决定系数分别为0.640 5和0.574 2。

(3)在多特征融合建模中，特征光谱与GLCM纹理融合在PSO-SVR模型中效果最优，校正集和验证集R2分别为0.816 8和0.795 9，RMSE分别为0.172 4和0.178 6。对比MLR、PLSR、GRNN、NNR传统模型，融合3种特征在ICA-DNNs模型中效果最优，校正集和验证集R2分别为0.835 8和0.821 0，RMSE分别为0.162 1和0.168 6。ICA-DNNs在融合包括特征光谱、图像纹理特征等多种数据信息下，模型稳定性得到提高，泛化能力得到了一定的提升。对比PSO-SVM，深度学习模型ICA-DNNs计算复杂度较高，但具有较强的特征提取和融合能力，适合大批量数据。在多特征融合中，该模型具有较强稳定性和泛化能力。深度模型的精度比单一传统简单模型更高。

(4)从嫩绿、浅绿到深绿的龙眼叶叶绿素含量分布规律是从局部到整体，从不均匀到均匀。嫩绿叶片的叶绿素主要分布于靠近叶根的叶肉部分，叶绿素平均含量较小。浅绿叶片叶绿素开始从叶根扩展至侧脉附近，叶绿素平均含量增大。深绿叶片的侧脉、叶肉分布均匀，叶绿素平均含量进一步增大。主脉叶绿素含量在嫩绿、浅绿和深绿这3种叶子状态下均较低。