农业大数据平台的研究进展与应用现状

时间：2024-05-23

王丽娟信丽媛贾宝红原少辉

摘要：农业大数据与农业产业深度融合，为农业生产经营决策提供科学指导，成为推进农业现代化的关键要素。农业大数据平台依托大数据技术，采集、整理、储存、挖掘农业数据，展示数据分析成果，为农户精准生产、产品追溯、市场监测、综合服务提供解决方案。本文梳理现有文献，系统分析农业大数据平台建设的体系框架、关键技术、重点应用领域以及在我国的应用实践，旨在为科学设计农业领域的大数据平台提供借鉴。

关键词：农业大数据；平台；Hadoop

中图分类号：G250.74 文献标识码：A DOI 编码：10.3969/j.issn.1006-6500.2018.10.003

Abstract： Deep integration of agricultural big data and agricultural industry， which provided scientific guidance for agricultural production management， and became the key factor to promote the modernization of agriculture. Through the big data technology， the platform of agricultural big data collects， organizes， stores， and mines agricultural data， at last displays the results of data analysis， in order to provide solutions for farmers about precision production， product tracing， market monitoring， and comprehensive services. This paper combed through the existing literature， systematically analyzed the system framework， key technologies， key application fields and application practices in China for the purpose of providing reference for scientifically designing the big data platform in the field of agriculture.

Key words： agriculture big data； platform； Hadoop

在“互聯网+”的现代化信息时代，大数据已成为发现知识、创造价值的新型服务业态。随着我国农业信息化的推进，农业农村大数据正与农业产业全面深度融合，并逐渐成为指导农业生产和管理的有利工具，成为助力智慧农业发展的核心要素。运用大数据对种植作物种类、数量进行宏观调控，让农民生产出符合消费者实际需求的产品，实现产销衔接顺畅；运用大数据的预测功能，让农民知晓变幻莫测的价格变化，增强市场上的话语权、定价力和影响力。“用数据说话、用数据管理、用数据决策、用数据创新”是农业生产经营科学决策的必然选择。农业大数据要发挥作用，必须以平台或系统为载体。本文从文献角度梳理农业大数据平台建设的必要性，阐述农业大数据平台创建的技术框架体系和重点应用领域以及在我国的实践应用，旨在为科学设计农业相关领域的大数据平台提供借鉴和指导。

1 农业大数据平台建设的必要性

农业大数据是利用大数据的理念、技术和方法，解决农业或涉农领域数据的采集、存储、计算与应用等一系列问题，是大数据的理论和技术在农业上的应用与实践[1]。农业大数据具有丰富的内涵：农业数据集成共享平台取代关系型数据库成为数据存储与管理的主要形式，农业大数据在平衡产业链各环节的效应更加突出[2]。

农业大数据使得农业内部的信息流得到了延展和深化[3]，对于挖掘农业价值，为生产者制订生产计划和获取利益最优化具有重要意义。农业大数据为政府决策当智囊，为企业管理做支撑，为学科发展建平台，为管理升级供手段[4]。为了全面、规范、及时地采集农业大数据，在第一时间对大量的、异构的农业数据进行分析，需要建立一个农业大数据平台[5]。推动智慧农业发展进程，需要全面、及时掌握农业的发展动态，需要依托农业大数据及相关大数据分析处理技术，建设一个农业大数据分析应用平台[1]。

2 农业大数据平台的创建研究

2.1 总体设计

文燕[6]构建以Hadoop为计算处理中心，HDFS和HBase为数据存储中心的农业大数据管理平台；结合当地示范园实际情况，设计平台架构，提供了农业大数据存储中心和计算处理中心设计方案和基于Map/Reduce农业数据挖掘解决方案。郭雷风[7]将农业大数据系统设计成5层：与农业相关的各种资源、环境，数据采集网络，农业大数据中心，数据价值发现，农业大数据研究与应用，构建现代农业。孟祥宝等[8]从服务、管理、应用、资源和技术5个方面提出了农业大数据SMART应用架构体系，设计了一个农业大数据智能分析平台。李瑾，顾戈琦[9]从设计原则、思路、框架及功能模块对农业大数据平台进行设计。

2.2 技术架构

目前，在云计算环境下，Hadoop、Storm和Spark是大数据处理的工具，但农业大数据应用在技术体系架构上主要采用基于Hadoop分布式处理系统，这是由于农业大数据的特点及存储应用所需要具备的各种功能特征所决定的。Hadoop是谷歌大数据平台的开源实现，在大数据处理和应用中非常典型。陶佰睿等[10]提出利用Hadoop和WSN技术构建基于云端的低成本农业大数据采集预处理系统，为多源异构农业生产数据提供实时监测、传输和海量数据的存储与管理方案，并且设计针对大数据量算法的MapReduce实现对数据的处理。李竹林等[11]对比当前主要的大数据处理工具特点，详细阐述Hadoop的部署思路及详细的命令。

2.3 关键技术

按照平台建设流程，农业大数据的关键技术包含四类：一是大数据采集、预处理、存储、管理技术，其中数据存储与处理技术包括云计算、MapReduc、分布式文件系统和分布式数据库；二是大数据计算与挖掘分析技术，数据挖掘技术有机器学习、虚拟化和资源管理技术等，其中深度学习是当前大数据技术主要研究热点之一，深度学习（Deep Learning）是机器学习的一种实现方法，是神经网络理论发展的重要突破；三是大数据可视化分析与呈现技术；四是大数据隐私与安全技术。

从文献看，吴重言等[12]详细分析了云技术、MapReduce、分布式文件系统、分布式数据库，提出农业大数据存储、农业大数据分析的解决方案。韩家琪等[13]利用空间数据仓库在空间数据处理上的优势，从数据采集、数据集成处理、数据分析和数据应用4方面对农业大数据进行研究。米春桥等[14]分析了农业大数据清洗技术、尺度转换技术、融合技术、关联分析与预测技术、可视化技术。

3 农业大数据平台应用的重点领域

3.1 精准农业生产决策支持

近年来，随着大数据技术的推进，人们意识到农业大数据提供的海量信息将为农业生产种植决策提供科学依据，并有利于农户发展精准生产，减轻“市场中信息不对称带来的深切痛楚”。因此，更多的学者或企业致力于利用大数据技术为种植者提供决策方案。国外农业大数据与精准农业结合，帮助农场主生产决策，类似应用较为成熟且取得了良好的效益。迪尔（Deer）公司、孟山都公司、先锋（Pioneer）公司都已广泛使用农业大数据系统[15]，这些系统助力农业资源利用、作物育种、农田和肥料管理等。还有学者利用C4.5算法分别建立了雨季和旱季的决策树，模拟如何在泰国北部地区选择作物种植来达到环境效益和经济效益的平衡。

国内的相关研究不多见。薛文龙等[16]利用空间数据挖掘技术，以土壤肥力预警为例，构建基于大数据的农业安全预警体系。齐鲁[17]利用企业级WebGIS构建平台ArcGIS Server，开发了适合寿光区域土壤条件的蔬菜安全生产决策支持系统。天津市无公害研究中心开展“大数据驱动的放心菜基地效益分析模型”研究，依托天津市放心菜质量安全监管平台，利用聚类分析、关联分析、决策树挖掘等分析方法，对基地800万条数据进行挖掘，构建蔬菜生产企业效益分析模型[18]。

3.2 农产品市场监测预警

大数据技术推动了农产品监测预警在监测内容和对象、数据快速获取技术、信息智能处理和分析技术、信息表达和服务技术等方面的创新[3]。目前，国家和各省市都开展了农产品市场监测工作，积累了相当数量的信息数据，为农产品价格预警工作奠定了基础。中国农业科学院农业信息研究所搭建的中国农产品监测预警系统在机理分析过程中实现了仿真化与智能化，做到了覆盖中国农产品市场上的953个主要品种，可以实现全天候即时性农产品信息监测与信息分析，用于不同区域不同产品的多类型分析预警。

4 農业大数据平台在全国的实践

4.1 精准农业生产决策平台

山东省科技厅立项支持建立“渤海粮仓科技示范工程大数据平台”，促进粮食的增产增效。“基于大数据的山东省小麦、玉米主要虫害特征数据采集与预警平台建设”，为抵御因虫害降低粮食产量，找到治理虫害的duice提供科学依据[19]。“首都农业大数据中心”开展大数据技术研究与应用，旨在为政府涉农部门以及首都农业龙头企业，提供数据支撑和服务[20]。北京精禾大数据科技有限公司开发的“遥感、模型、算法驱动型精准农业大数据决策系统”，为农户提供从种到收的40多个主要生产精准决策。

4.2 质量安全追溯平台

京东与科尔沁牛业联合打造全流程追溯体系，科尔沁牛业利用区块链技术将智能化生产线的产品数据与京东供应链追溯系统的数据打通，用户扫描二维码，即可知产品来源牛场及屠宰加工、仓储物流配送等信息。天津农学院设计开发“肉鸡生产监测与产品质量可追溯平台”，实现了肉鸡从生产、屠宰加工、冷链储运到销售所有环节信息的可追溯，保证肉鸡产品安全。

4.3 农产品市场大数据平台

海南省基于Hadoop分布式文件系统和并行计算方法设计的“大数据背景下海南农产品价格分析平台”，针对海南农产品历史价格信息及气候或自然灾害等影响价格波动的因素进行大数据分析，并预测未来几天的价格波动趋势，从而达到价格预警的作用，为相关部门提供决策支持[21]。重庆商投建立了重庆市农业大数据协同创新中心和重庆市农业大数据平台，从数据采集、数据共享、建立数据模型、进行可视化展示等方面，进行全方面的数据建设，致力于解决农贸行业供需匹配与食品安全的困局。

4.4 综合信息服务平台

山东农业大学建成“农业大数据应用云平台”，平台整合权威机构发布的宏观经济、农业、农村、畜牧业、气象等相关涉农数据，提供数据资源互助共享、价格监测、专题分析、企业地图可视化、企业信用监测定制等功能。南京市农业委员会基于大数据技术，整合资源，提炼分析数据，构建知识库，创建智慧农业中心，推进大数据技术在农业智慧管理中的应用[22]。天津市以大数据、云计算技术为手段，探索搭建“三农大数据平台”，致力于政务管理。上海市推进建设全市统一的农业公共信息化平台，旨在精准化控制重要农业信息[23]。辽宁省12316平台，建立全方面的信息服务体系，能够迅速感知三农焦点热点，为全省农民提供多维度的农业综合信息服务。

北京市农林科学院农业信息与经济研究所开发“‘农科云农业全产业链大数据平台”，为农户提供方便、快捷、高效的农业全产业链管理服务。农业生产经营主体只需要注册账号登录平台，便可以享受从产前生产指导，到产中决策管理，再到产后销售服务的一条龙涉农信息服务[24]。国家农业信息化工程技术研究中心与思远农业共同设计开发了“农保姆”管理系统，并于2017年6月上线，该系统以思远农业社会化服务模式为原型，分别开发了社员版和社长版手机APP，其中农保姆APP（社员版）包括农学院、微农、标准化种植和个人中心四大板块，可实现标准化种植学习、在线提问、经验分享等功能[25]。

参考文献：

[1]孙忠富，杜克明，郑飞翔，等.大数据在智慧农业中研究与应用展望[J].中国农业科技导报，2013（6）：63-71.

[2]王文生，郭雷风.农业大数据及其应用展望[J].江苏农业科学，2015，43（9）：1-5.

[3]许世卫.农业大数据与农产品监测预警[J].中国农业科技导报，2014，16（5）：14-20.

[4]温孚江.农业大数据研究的战略意义与协同机制[J].高等农业教育，2013（11）：3-6.

[5]郭承坤，刘延忠，陈英义，等.发展农业大数据的主要问题及主要任务[J].安徽农业科学，2014，42（27）：9642-9645.

[6]文燕.基于Hadoop农业大数据管理平台的设计[J].计算机系统应用，2017（5）： 74-79.

[7]郭雷风.面向农业领域的大数据关键技术研究[D].北京：中国农业科学院，2016.

[8]孟祥宝，谢秋波，刘海峰，等.农业大数据应用体系架构和平台建设[J].广东农业科学，2014，41（14）：173-178.

[9]李瑾，顾戈琦.基于“互联网+”的农业大数据平台构建[J].湖北农业科学，2017（ 10）： 1947-1952.

[10]陶佰睿，李春辉，苗凤娟，等.基于云端的农业大数据采集与管理系统浅析[J].工业和信息化教育，2016（9）： 81-89.

[11]李竹林，须晖，江红霞，等.农业云计算环境下大数据处理软件的选型与部署[J].农业网络信息，2017（5）：90-94.