大数据技术在农业领域的应用研究*

冯 敏，樊 昕，吕 刚

（1.山东第一医科大学（山东省医学科学院）医学信息工程学院，山东 泰安 271000；2.泰安市科学技术情报研究所，山东 泰安 271000；3.山东农业大学 信息科学与工程学院，山东 泰安 271000）

当前，随着社会信息化程度的大幅度提高，农业领域每天产生大量的相关数据，但是这些数据没有得到有效地利用，因此，研究开发一个适合的农业大数据应用系统平台显得尤为重要和关键，它对提高我国农业领域大数据的有效利用发挥至关重要的作用[1]。农业大数据是融合了农业地域性、季节性、多样性、周期性等自身特征后产生的来源广泛、类型多样、结构复杂、具有潜在价值，并难以应用通常方法处理和分析的数据集合。农业大数据保留了大数据自身具有的规模巨大（volume）、类型多样（variety）、价值密度低（value）、处理速度快（velocity）、精确度高（veracity）和复杂度高（complexity）等基本特征，并使农业内部的信息流得到了延展和深化[2]。农业大数据是大数据理念、技术和方法在农业的实践。农业大数据涉及到耕地、播种、施肥、杀虫、收割、存储、育种等各环节，是跨行业、跨专业、跨业务的数据分析与挖掘，以及数据可视化[3]。因此，为有效利用农业大数据，各相关单位和个人都在开发和研究农业大数据平台的关键技术。

为了不断推进农业经济的优化，实现可持续的产业发展和区域产业结构优化，进一步推动智慧农业的建设进程，需要全面及时掌握农业的发展动态，这需要依托农业大数据及相关大数据分析处理技术，建设一个农业大数据分析应用平台[1，4-5]。该大数据应用平台功能涵盖以下方面：（1）实现数据库的交互；（2）根据农业大数据研究的个性化需求，形成一系列相关公开发布数据的采集机制，将数据采集的相关程序设计并编写完善，部署此套机制在平台上周期运转；（3）数据的浏览，对数据进行查询、展现和基础统计分析等初步应用；（4）实现农业大数据分析人员的交流平台。本文简要介绍了农业大数据发展的背景和发展农业大数据的意义，总结了大数据的含义。同时，对农业大数据在农业资源管理、农业生产过程管理、农业产品和农业食品安全管理、农业生态环境管理等方面的主要应用进行了总结和分析[6-7]。在实验部分，本文设计并实现了一个基于Hadoop的农业大数据系统平台。

1 方法

1.1 什么是大数据

大数据没有固定的标准化定义，即便如此，我们也不会否认它对社会发展的重要影响，但在不同的国家，它对不同的对象有着不同的价值体现，其核心作用是不可替代的[8]。数据的多样性和差异性决定了它能够根据不同的环境作出准确的判断，具有很大的应用价值。大多数人都熟悉结构化数据，但实际使用的数据多为非结构化数据，例如，文本处理和电子邮件传输都是半结构化数据，这些数据属于过渡数据，真正的大数据集中体现在互联网和电子商务应用上，如文档、网页、报告、图片、音频和视频等各种数据类型。

1.2 大数据技术在农业领域的应用

从全球来看，农业大数据技术对农业的现代化发展都起到了至关重要的作用，当然对我国的农业发展，也必将起到关键作用。通过对数据来源的分析，我国目前应用大数据技术的主要领域有[9]：

（1）农业生产过程管理数据：农业信息化的第一步在于生产，这一联系涉及水产养殖、种植业和农业，在生产过程中，首先要保证数据能够准确地检测出多因素的环境因素，以便开展种植。第二，我们必须有一个果断而明智的生产决策计划，因此，必须在规章制度和管理上进行合理配置，以便尽快解决问题。

（2）农业资源管理数据：可持续发展是经济增长最基本的前提。与上个世纪相比，我国农业资源稀缺，因此必须继续根据当前的发展形势和生态环境的多样性来使用数据，完善农业生产，统筹规划，提高农业资源的有效利用率。

（3）农业生态环境相关数据：农业生态环境是指直接或者间接影响农业生存和发展的土地资源、水资源、气候资源和生物资源等各种要素的总称，是农业生存和发展的前提，是人类社会生产发展最重要的物质基础。

（4）农业和食品安全管理数据：农业生产的最终目的是满足人民群众最基本的生存保障。农业和食品安全问题已成为消费者关注的主要问题。为了降低生产成本，农民把所有的精力都花在农产品上，有时有意无意地破坏了食品安全。针对这种情况，农业有关部门要加强对农作物产区、生产车间和市场流通区环境的管理。

（5）农业设备设施大数据监测：农业生产环境要与资源、市场相匹配，并应进行适当地监测，以促进农业信息的处理和有效利用[10]。

1.3 什么是Hadoop

Hadoop是一个用于开发和操作大规模数据的软件平台，它是一个用Java语言实现的Apache开源软件框架，用户可以开发分布式程序，充分利用当前热门的集群处理的强大功能来实现大数据的海量存储和高速计算，而不必过分关注具体细节。我们借助平台Hadoop实现了一个分布式文件系统（Hadoop分布式文件系统），称为HDFS，HDFS具有很高的容错性，并且被设计为部署在廉价的硬件上；此外，它还提供了访问应用程序数据的高吞吐量，并且适用于具有非常大的数据集的应用程序。

2 实验过程

2.1 系统架构

作为一个大数据系统，首先需要解决的问题是数据捕获问题，然后对数据进行清理和预处理，然后用Hadoop离线分析数据，最后用可视化软件Echarts显示数据分析的结果。系统主要包括五个模块：数据爬虫模块、数据清洗模块、Hadoop离线分析模块、Hbase数据库持久化模块和Web数据可视化模块，最底层是数据刮取模块。农业大数据主要来源于农业大数据应用云平台、布莱克农业数据网站及其他相关网站。获取原始数据后，需要对原始数据进行排序和清理，去除不合理的值，然后进入数据离线分析阶段，这个阶段主要基于Hadoop MapReduce编程模型，编写多个MapReduce任务，并将最终结果本地存储；然后是数据持久化阶段，即使用MySQL数据库，对离线分析后的文本文件进行解析，然后存储在MySQL数据库中；Web数据可视化模块直接面向用户，用户可以通过这个Web界面轻松看到数据分析结果。数据报表包括使用直方图、饼图等，显示数据分析结果。

2.2 实验环境

本文的实验主要是在Windows10操作系统上搭建一个Hadoop开发调试环境，然后利用Vmware14.0软件搭建一个分布式Hadoop环境。

3 讨论

3.1 实验结果与分析

对于读取性能测试，我们在数据库中分别设计了以下的记录条数：10000条、100000条、1000000条和10000000条，然后测试分别从以上数据表中查找10条、100条和1000条记录所耗费的响应时间。实验结果如表1和图1所示。

图1 实验结果图

表1 实验结果明细表

3.2 智慧农业发展建议

3.2.1 农业种植的智能控制

农业智能控制系统无论是灌溉还是施肥都是根据传感器决定的，比如通过土壤湿度传感器监测土壤水分，当土壤水分低于标准值，就打开灌溉系统，土壤湿度达到了标准值，就自动关闭灌溉系统，施肥也是同样的原理。它也可以直接按照指令下达使用，如灌溉和施药等。传统的农业种植中对于灌溉、施肥都是凭经验控制，传统的无论是灌溉和施肥必然会存在浪费或者不合理的情况，然而使用智能农业控制系统本身是根据土壤湿度和养分来控制，可以在保证农作物需求的前提下，最大限度节约灌溉水和施肥，据了解，智能物联网大棚可以节约灌溉水60%以上，节约化肥50%以上[11]。通过自动化的控制灌溉，施肥环境信息，可以最大限度地减轻种植者的工作内容，可以一个人轻松管理几十亩的种植，因此很大程度地节省了种植的人力。智能农业控制系统对于环境要素，都是根据传感器反馈实时数据决定的，因此可以有效地改善农作物生长的环境，从而达到提高农作物的品质和产量的目的。

3.2.2 农业信息的有效利用

在传统农业生产过程中，由于各方面的不确定因素，比如：市场需求、自然条件等，难免会出现意外情况。而通过大数据技术平台的高度整合和相关信息的快速收集，比如：农业生产活动信息、农产品市场供求等信息，对这些信息进行数据挖掘，得到有用信息，从而达到有效规避农业风险的目的[12]。

3.2.3 农业管理方面

智慧农业管理优越性主要体现在以下几个方面：（1）可以有效实现农业生产过程的智能化管理。在这个过程中，需要通过相关大数据平台实时采集和整理农业数据。具体问题具体分析，根据相关数据得到所需信息，并进行有效利用和使用[13]。（2）合理协调农业资源。农业资源是农业自然资源和农业经济资源的总称。农业自然资源含农业生产可以利用的自然环境要素，如土地资源、水资源、气候资源和生物资源等。农业经济资源是指直接或间接对农业生产发挥作用的社会经济因素和社会生产成果，如农业人口和劳动力的数量和质量、农业技术装备、包括交通运输、通讯、文教和卫生等农业基础设施等。可以利用农业大数据技术进行农业领域的全面调查，整合各种农业资源，优化农业资源结构。（3）重点保护农业生态环境。农业生态环境是指直接或者间接影响农业生存和发展的土地资源、水资源、气候资源和生物资源等各种要素的总称，是农业生存和发展的前提，是人类社会生产发展最重要的物质基础[14]。通过对农业生态环境的全面检测和实时监测，利用农业大数据技术来实现农业生产精细化、精准化管理。（4）通过智慧农业相关技术保证农业生产设施安全。我们可以利用系统平台收集到的大量数据，及时分析研判，实时掌控设施的正常运转，保证农业生产的效率。

4 结束语

随着农村电商的发展，农业上下游的农资销售、农业生产、农产品流通数据，以及与农业关联的土地流转、气象、土壤、水文等数据，均获得大规模积累沉淀，这些大数据将成为农业决策的“大脑”。农业大数据市场还是一个充满机遇、有待开发的市场。为此，需要政府部门、涉农企业、大数据企业和农业生产经营主体多方合力，共同推进农业大数据的示范与推广。