多结构参数集成学习的设施黄瓜病害智能诊断

高荣华，李奇峰，孙 想，顾静秋，彭 程

（1. 北京农业信息技术研究中心/北京市农林科学院，北京 100097；2. 国家农业信息化工程技术研究中心，北京 100097；3. 农业农村部农业信息技术重点实验室，北京 100097；4. 北京市农业物联网工程技术研究中心，北京 100097）

0 引 言

互联网与多媒体技术的发展，使得以图像等为载体的多媒体信息在设施农业中迅速增加，以多种方式进行信息交换的多种媒介具有集成性、交互性等特点[1-5]。当前知识传播方式越来越具有多源、多形态、多属性等特性，这些从不同渠道获取的不同形态的媒体信息描述共同的知识，使得信息的产生、发展、传播跨越互联网等多种信息来源，跨越从不同渠道获取的文本、图像等多种信息形态，因此，如何从形态多变、分布零散、属性复杂的海量媒体资源中对有价值的知识进行获取和表达成为亟待解决的问题。

环境、病害图像、病害知识等多结构参数数据在作物生产、保护方面的智能诊断研究已取得显著成果[6-8]，Scott 等[9]在英国植保生物学信息技术大会上，提出利用数据库、分类学、多媒体等技术，实现植病流行学模拟与预测模型、植病诊断与管理专家系统，实现了结合多媒体与文本知识的智能诊断，但仅是逐步递推的诊断过程；Chesmore 等[10]通过对图像的特征提取实现真菌诊断，但因受光照、遮挡影响造成特征提取不准确而导致诊断不具有鲁棒性。Brahimi 等[11]对9 种西红柿叶片病害进行分析，获得较好的识别效果。

日本九州佐贺县的全自动蔬菜工厂[12]，实现蔬菜安全的监管，作物生长周期比较漫长，保存了大量的多媒体数据，但对于如何有效融合多媒体数据与其他结构数据，提取有价值信息，还没有相关研究。联邦农业教育研究所对小麦品种的水肥条件、品种特性、产量品质、抗病虫害等能力进行评估，利用计算机辅助诊断系统为农民提供病害防治服务[13-15]，但没涉及图像等非结构化知识数据，完全依靠专家知识模型进行诊断，不具备较好的智能性。随着“物联网+大数据+互联网”模式在农业信息化中的发展，越来越多的研究者将图像处理和机器视觉技术引入农作物病害识别诊断中，取得了大量研究成果[16-18]。

中国多媒体技术分析与诊断在各领域研究已取得一定成果[19-22]，利用多媒体技术开发了各种农作物病虫害诊断咨询系统[23-24]，将各类病虫害症状、形态和病理特性可视化、图形化，将复杂的病虫害识别与诊断过程简单化，如郭小清等[25]利用多尺度识别模型构建了番茄叶部病害图像识别系统，识别率为89.2%；刘洋等[26]在手机端开发了植物病害叶片检测系统，实现葡萄病害叶片共38 类26 种病害在线识别；马浚诚等[27]基于图像和深度学习技术，构建了温室黄瓜病害识别系统，在图像分割的基础上，有效识别黄瓜霜霉病、白粉病。

农业专家系统方面，将多媒体技术与物联网、数据库管理、人工智能、农业专家系统、知识库、推理机等技术相结合，开发智能诊断支持系统[28-30]，如基于物联网的荔枝专家诊断系统[31]、多媒体水稻病害专家系统[32]等已被广泛应用到农业生产中，并产生巨大的效益。中国农业大学采用多媒体、超媒体与人工智能等技术，研制开发“北京蔬菜生产管理与植保辅助诊断系统”与“植物害虫图文信息与鉴定辅导系统”，推动多媒体技术在农业生产信息化中的应用。

上述的农业智能诊断系统，多数仍停留在对专家知识的推理或单一的多媒体特征识别与特征匹配方面，很少涉及到多结构、多形态、多参数数据[33]。单一特征不能很好的描述病害的典型特征，蔬菜的病害与其生长环境参数（土壤温湿度、pH 值、空气温湿度等）、种植参数密切相关。

本文以设施黄瓜病害智能诊断为实例，融合结构化生长环境参数与非结构化图像特征，提出一种多结构参数集成学习的设施黄瓜病害智能诊断技术，以图像视觉特征与环境特征之间的典型相关性分析为基础，对实时采集到的环境参数进行监测、分析，并将其与图像特征融合，分析黄瓜典型病害相关性，实现不同环境参数下，设施黄瓜易发病害的智能诊断分析。

1 多结构参数数据分析

1.1 数据多路径分组传输

传感器密集分布的实时嵌入式设施农业物联网，通过无线传感器节点，实时采集作物生长环境中各种影响因子的数据信息、图像等，并将数据发送给计算资源，计算资源根据实体信息做出决策[34-36]，而不同结构数据，由于单一的传输协议不能很好地适应异构的数据结构，传输过程中更容易受到噪声或干扰的影响。

为确保所接收的多结构数据正确可靠，本文基于多媒体传感器网络感知模型，提出一种多路径分组传输方法保证多结构数据传输可靠性，采集得到的多源异构数据不像传统多路径方法那样对每份数据沿多条路径传输，而是首先将数据按照不同数据类型（土壤温湿度、土壤pH 值、空气温湿度等）分组，确保每组内的数据段等长，且分别赋予不同组标识：组0，…组N。在感知节点和汇聚节点之间构建多条路径，将不同类型、不同结构的数据组沿多条路径同时传输，提高吞吐量与数据传输的可靠性。 如图1 所示，将采集到的多结构数据进行分组标识后，通过多路径对同类型的数据参数进行传输。

图1 物联网实时数据传输流程Fig.1 Real-time data transmission flow of internet of things

假设无线多媒体传感节点组为Mi，在多路径数据传输中，数据源节点组根据应用的期望可靠性以及信道传输状况，将采集数据进行分组并沿着多条路径输出。采集数据通过感知节点向基站发送数据前，首先对采集数据按照结构类型分组描述，节点组内包括节点ID、数据类型、数据分组字节大小size( data )等字段。每组数据输出时间为Ti，

式中Vi是从采集数据到输出数据的各段路径所允许的数据传输速率，Hi为第i组数据从采集节点到输出节点最多所允许的链路值。

通过分组传输，可以避免数据丢失，并节省传输时间，有效提高数据采集的准确率。

1.2 数据关联分析

多结构参数的一个重要特点是数据之间存在复杂多样的关联性，这种关联性能够较好的提高智能诊断的正确性。由于多结构参数中蕴含着多种多样的数据，同模态数据中存在着关联，如文本（专家知识）与文本，图像（病害特征）与图像等，存在内容上的关联；不同模态的数据，如图像与文本间存在跨模态关联，连续固定的环境参数会产生作物在图像上的可视化内容。多结构数据间存在着结构关联，尽管关联类型多样，但不同类型的关联关系不能统一量化表达，无法进行有效病害预测。如图 2 所示，文本（专家知识）、图像、种植环境实时数据等异构互补的媒体形态共同表达了黄瓜白粉病，通过构建映射关系，将异构模态信息映射到共享子空间，在一个表达框架下直接对异构数据进行相似性度量，从而推断未知异构数据的关联关系。

多结构参数具有多源异构的特性，传统图遍历方法导致对其访问的效率比较低，本文提出一种集成式多结构参数索引结构，以文本（专家知识）、图像（非结构化数据）、种植环境（结构化数据）构成的黄瓜病害描述为例，选取其中的几种典型病害，定义病害模型函数，并将描述其病害的专家知识、病害图像、种植环境信息定义为子函数之间的病害模型f与多结构参数i之间的映射关系C，其中每种不同结构的参数体均与病害模型存在关联关系，即C(fi, Ω ) = {病 害类别} 。当输入数据为黄瓜病害类别时，通过匹配病害类别与多结构参数之间的关联关系函数，分别从文本、图像、结构化的环境数据内搜索与病害类别匹配内容，最后以多种结构展现的形式，从文字、视图多角度描述黄瓜病害，实现数据的快速读取、病害种类的智能诊断。

图2 多结构参数一致性表达Fig.2 Consistent representation of multi-structural parameters

2 多结构数据集成学习的病害智能诊断方法

为掌握不同生长（如开花期、结果期）对生长环境的需求，采用周期性自动采集的方式汇聚空气温度、湿度和土壤温度、湿度的数据，采用连续特定时间采集方式汇聚作物生长监控与病害图像数据，从而造成结构化环境数据与非结构化多媒体数据采集时间、数据类型不同，需要融合“环境+图像+病害知识（文本）”，分析推理病害特点以实现病害种类的准确描述，及时获得病害类型、营养缺素种类等信息，避免因贻误最佳病害防治时机而导致损失。

2.1 多结构数据学习向量化与特征最优组合

本文以设施黄瓜白粉病、角斑病、炭疽病、菌核病等典型病害为例，研究多类别融合的学习向量量化神经网络算法，将输入层“环境实时物联网数据、作物病害图像数据、专家知识文本数据”三类不同类别数据特征进行融合，如图3。

图3 多类别学习向量量化与特征最优组合Fig.3 Multi class learning vector quantization and optimal combination of features

根据组合权重向量，确定m个识别方案的总的离差平方和最大值，通过离差平和与最大值判断得到多结构数据最优组合。

2.2 数据训练

本文以黄瓜白粉病、角斑病、炭疽病、菌核病 4 种病害为样例，采用设施温湿度传感器实时采集 4 种病害发生时连续一个月空气温湿度值 3 000 条；采用手持式SONY 相机拍摄 4 种病害叶片图像，每种病害图像数量如表 1 所示，图像大小为 1 536×1 152 像素，图像格式为JPG；采用网络爬虫技术，爬取4 种病害的专家知识文本描述内容，每种病害包含3 条专家知识。4 种病害的3类结构的病害特征描述均经过了人工识别，确保类别标签的可靠性。

将上述 3 类数据作为输入层，计算连续一个月内的平均空气温湿度、提取病害图像的纹理与sobel 特征、提取专家知识关键词，利用2.1 节中多结构数据学习向量化与特征最优组合方法，计算每类特征的属性集进行特征融合，对融合后的特征进行学习训练，如图4。

表1 病害数据集Table 1 Disease data sets

图4 3 类不同结构黄瓜典型病害数据训练Fig.4 Data training of three different cucumber diseases

根据病害种类分类正确与否调整获胜神经元权值，对输出层4 种类别神经元进行再次学习，得到黄瓜病害种类白粉病［1 0 0 0］、角斑病［0 1 0 0］、炭疽病［0 0 1 0］、菌核病[0 0 0 1]。

2.3 多结构数据集成学习诊断

与单一文本数据因果推理不同，本文将其他形式的数据转换为文本形式（自然语言或形式化语言），然后利用基于文本的因果推理技术，实现多结构参数融合的因果推理。为多结构数据建立统一事件表示模型和方法，令各不同结构数据单元的特征空间表示方式：文本表示为矢量，图像表示为矩阵，同一多媒体中的图像、文本可以通过多任务稀疏表示、流行对齐、深度学习等机器学习方法，映射到一个共享的新特征空间中，避免多媒体信息必须转换为文本模式的困难和稳步模式本身的限制；同时，在同一模态媒体数据因果推理模型基础上，利用部分媒体之间具有同源性和对应性，把分立的单一模态媒体因果推理模型组合成异构的多结构参数因果推理模型。

不同类型数据之间存在语义鸿沟，建立语义关联，将数据转化到同一个空间中，利用平行向量场的流行对其进行对齐，保持不同类型数据流行上的度量，在流行对齐过程中，不同类型数据之间的语义关系投影到潜在的语义空间中，语义关联随之确定下来，然后在对齐后的流行上做因果推理。

3 试验仿真与分析

作物的生长发育与温室环境因子密不可分，生长发育进程明显受到温度的影响，而病害发生又与温湿度有较大联系。将采集到的海量实时数据进行分析，提取有价值知识，本文通过在线监测生产环境的气候因子、土壤理化性质因子，结合设施黄瓜生理生态特点，精准把握农药和肥料施用时机、施用量、灌溉时机和灌溉量，减少农药、肥料施用量，避免环境污染；通过在线监测生产环境的气候因子，加强冻害、涝害和病虫害灾害预警功能，及时采取应对措施，建立灾害预警系统，减少损失。

病害智能诊断构建需要大量且描述准确的诊断知识，主要来源于植保专家、植保专业技术人员和各种资料。对知识进行特征提取，将其标准化，如黄瓜霜霉病可以表示如下：

蔬菜作物：黄瓜

发病时期：成株期

发病部位：叶片

病害症状：病斑形状（多角形）；病斑大小（严重时病斑大连片）；发病部位（多从中下部叶发病）；病斑颜色（浅黄色至褐色）；病部特征物质（潮湿时有紫黑色霉层）。

诊断知识赋值方法：病害的特征症状对病害诊断作用大小不同，其权重值不同，使用评估学中的多比例法获取权重值。

依上述定义和用户所选症状匹配后，进行计算，将 0ω与条件阈值E进行比较，如果ω0>E，则系统会按照概率由大到小进行排序，对符合条件的所有病害进行显示。

采用正反向混合推理方式，深入诊断的病症信息搜索及权重值的计算使用最佳优先搜索法作为搜索策略，对北京市房山蔬菜示范园区内13 个大棚，随机取样黄瓜病害图像20 000 张，由 5 名专家（包括植保技术人员）对黄瓜霜霉病、白粉病、枯萎病、灰霉病、立枯病、根腐病、猝倒病等典型病害进行诊断，分析得到不同温湿度环境下，易患病害的种类，如表 2 所示，同时选取典型的 4 种进行多结构参数集成学习的病害诊断，具体识别情况如表3，

表2 环境与病害种类的关系Table 2 Relationship between environment and diseases

表 3 中，环境参数为连续半个月内的物联网采集的温室内的环境温湿度参数，以每一分钟采集一次数据为例，一天获取到的温湿度信息为4 213 条，由于传输过程中的参数丢失且去掉一些冗余数据，连续半个月的环境参数在5 000 多条与6 000 多条之间；图像样本为连续半个月人工采样的数据，同一样本源数据方向、角度、时间不同，分别采集了霜霉病图像3 452 幅，白粉病4 332幅，枯萎病2 895 幅，角斑病4 213 幅，炭疽病2 341 幅；每类病害均对应若干条专家知识描述，将其组合得到每种病害的专家知识描述的数量；本文选取50 个样本作为测试样例，利用多结构参数集成学习的方法对病害种类进行诊断，样本识别率79.4%～93.6%，其中白粉病由于图像特征明显、且环境与病害关系明确，识别率比较高，枯萎病病害特征与炭疽病图像特征具有相似性，所以识别率与其他病害识别率相比较低。

表3 4 种病害具体识别情况Table 3 Identifications situation of four kinds diseases

为验证本文算法的鲁棒性，分别选取卷积神经网络、深度迁移学习下的单纯图像识别技术应用在上述 5 种黄瓜典型病害识别，识别效果对比如表4。

表4 识别效果对比分析Table 4 Comparison of recognition results

通过试验分析，卷积神经网络图像识别方法，识别率与本文方法相近，但是由于需要对病害图像数据进行降维与分析工作，所以后台识别时间高于本文方法；深度迁移学习的图像识别方法，需要大量的图像数据输入深度学习网络进行学习，而现实中病害图像的数量不足以满足深度学习的要求，因此识别率会因为样本的不充分而降低；本文方法借助少量图像数据，同时结合环境与专家知识资源，采用多结构参数集成学习的方法进行病害识别，在较少识别时间的基础上确保识别的准确性。

4 结 论

随着蔬菜复种指数的增加，病虫害发生越来越严重，且冬暖棚及温室等保护为设施蔬菜生长发育创造适宜的小气候条件同时，也给蔬菜病害交叠发生提供了条件，使得病害防治越来越难。

本文以黄瓜白粉病、角斑病、炭疽病、菌核病 4 种病害样本数据为实例，融合结构化作物生长环境参数与非结构化图像等多结构数据，通过智能化的物联网，对实时采集到的环境参数进行监测、分析，并将其与图像特征融合，研究多结构数据学习向量化与特征最优组合，实现对设施黄瓜在不同环境参数下，易发典型病害的智能诊断分析，样本识别率79.4%～93.6%，同时结合环境与专家知识资源，通过子空间映射解决了不同模态数据特征异构性问题，在较少识别时间的基础上确保识别的准确性。