1种农业物联网大数据平台架构

周湘超 陈义明 朱幸辉

摘要随着计算机和物联网技术的发展，农业信息化的程度不断提高，智慧农业的发展成为历史的必然。针对当前农业物联网功能单一和数据收集、利用不充分的现状，分析了在当前农业物联网，特别是发展大规模智慧农业的物联网基础上农业大数据收集、存储和分析利用的潜力，提出了1种切实可行的农业物联网大数据软件平台架构，解决了农业物联网大数据收集、存储、分析和展示的问题，对农业物联网数据的收集、存储和深度利用具有借鉴价值。

关键词智慧农业;物联网;大数据;农业信息化

中图分类号S126文献标识码A

文章编号0517-6611（2019）02-0241-05

doi：10.3969/j.issn.0517-6611.2019.02.071

2017年，中央一号文件继续关注三农问题，着重强调不断以科技改革和创新，在数据的基础上推动传统农业向智慧农业转变，这也意味着以农业物联网和农业大数据为中心的智慧农业时代已经到来[1]。因此，如何深入推进农业物联网和农业大数据的结合，挖掘农业数据新价值，推动新型农业发展已成为当前新型农业研究的热点。但由于传统农业的限制，目前农业物联网和数据的分析利用还存在多方面的问题。鉴于此，笔者针对当前农业物联网功能单一和数据收集、利用不充分的现状，分析了在当前农业物联网，特别是发展大规模智慧农业的物联网基础上农业大数据收集、存储和分析利用的潜力，提出了1种切实可行的农业物联网大数据软件平台架构，解决了农业物联网大数据收集、存储、分析和展示的问题，对农业物联网数据的收集、存储和深度利用具有借鉴价值。

1目前农业物联网存在的问题

1.1规模小，结构单一，智能化程度低

研究表明，目前我国农业物联网的应用规模普遍较小，如小型温室和小型养殖场。不仅如此，当前农业物联网平台均以单一功能的方式发展，如温室大棚温湿度控制系统、小型智能灌溉系统、智能监测检测系统等。这些系统虽然部署了大量的传感器，但系统内传感器类型单一。受农业发展现状的限制，当前农业大都还采取未成规模、未成体系的生产方式。从智能程度来讲，当前农业物联网的智能化水平仅限于简单的调控，如根据当前环境控制温湿度、光照强度等[2-3]。

1.2农业物联网数据利用程度低

农业物联网数据是一种典型的时间序列化数据，其数据的价值密度十分低，发现某个因素的发展趋势或者几个因素之间的相关关系需要从传感器收集很长一段时间的数据。目前，大部分农业物联网平台仅仅收集很小规模的数据，并简单地将数据应用到一般控制系统，实现简单的调控功能。

1.3数据管理不完善

目前，物联网技术与农业生产结合越来越紧密，通过物联网收集的农业数据越来越多。但各种传感器的差异性导致数据种类繁多且结构复杂，这加大了农业数据的存储和开发利用的难度[4-5]。多年来，由于缺乏对农业数据的统一管理意识，各种农业数据自成体系，呈孤岛式发展。

总之，受目前农业生产组织形式的限制，当前的农业物联网普遍规模小、功能单一、数据收集量小且分析利用程度地低，显然无法适应集约化、精细化、规模化和智能化现代农业发展的要求。

2智慧农业、农业物联网、农业大数据的相关技术

2.1智慧农业

发展智慧农业是推进现代化农业、实现智慧经济的重要途径。在传统农业的基础上，充分发挥物联网和信息化技术，促使传统农业向智能化方向转型，便于控制和管理[6-7]。例如，农业信息化、农业电商、农产品溯源、智能预警等都是智慧农业的具体表现形式[8]。

一般而言，智慧农业包含大量数据采集、计算、分析以及存储。例如大型农场的各类温湿度等传感器数据需要实时监控、智能分析和预警;食品安全中实现农产品溯源，从农业生产到顾客消费中各个环节的监控、管理与全透明展现。

2.2物联网

物联网（Internet of Thing）是用特定的协议将感知设备连接在一起，将各种信息传感设备接入互聯网，并组成信息交换和传递的巨型网络系统。一般来说，物联网技术是在互联网的基础上进行了一定的扩展和延伸[9-10]，主要由4层体系结构组成，即感知层、传输层、处理层、应用层[11]。

2.2.1感知层。感知层即物联网系统中的神经末梢，主要负责数据的收集和获取。感知层由用于各类数据采集和识别的感知终端构成，如各类型的传感器、摄像头等设备。

2.2.2传输层。传送层即物联网系统中的神经系统，主要负责数据信息传递。传输层利用互联网、通信网络等设备及时有效地实现远程传送。

2.2.3处理层。处理层即物联网系统中的神经中枢，主要负责数据存储、处理和控制等操作。

2.2.4应用层。应用层即物联网系统中的大脑和感知，主要负责数据的处理、挖掘和决策等，利用各种信息化技术和方案，满足业务需求，实现智能化。

2.3大数据

随着人类社会的进步和科学技术的发展，互联网世界迎来了大数据时代[12]。大数据具有容量大、种类多、产生速度快和价值密度低等特点，需要海量的存储和强大的分析计算能力[13-14]。为了构建满足存储和计算需求、廉价且伸缩性和容错性都满足需求的大数据平台，谷歌公司提出了大数据平台的三大核心技术：

（1）Hadoop分布式文件系统。Hadoop Distributed File System，简称HDFS，是一种以通用存储介质为基础的虚拟文件系统[15]。其特点为

容错性高、存储与处理数据量大、存储和部署介质廉价、数据访问吞吐量高。

（2）Bigtable。Bigtable是一种支持大规模数据量存储的非关系型分布式存储系统，支持PB级数据存储，具有适用性广、可用性高、拓展性强、数据量大、性能优等特点[16]。其典型代表有HBase。

（3）MapReduce。MapReduce是一种分布式并行计算引擎，其并行计算达到TB级。MapReduce首先将计算任务进行划分并分布到各个结点，并行计算完成后，汇总各结点上的结果作为整个计算任务的结果。由于MapReduce在计算过程中需要大量的磁盘输入输出，因此其计算性能受到影响，目前正被Spark取代。Spark是一种基于内存的开源大数据计算引擎，不仅具有Hadoop MapReduce的所有优点，还在运行性能上大大优于前者。此外，Spark拥有丰富的机器学习库，可以完美结合机器学习和数据挖掘[17]。

在大数据核心平台之上有一些处理大数据的专门模块，如流处理模块Kafka、机器学习和数据挖掘模块MLlib和搜索引擎模块ElasticSearch等，形成整个大数据存储和计算的生态环境。

3农业物联网中的大数据收集和利用的必要性

当前的农业物联网规模小、功能单一、数据利用率低，似乎没有大数据的用武之地。然而，当前农业物联网潜力的深入挖掘以及未来大规模智慧农业都需要农业大数据。

3.1数据智能分析和决策需要大数据

每个传感器收集的是典型的时间序列数据，是影响农业生产的一种因素。对这些数据所做的智能分析，包括单因素变量的时间变化规律和多因素变量的相关分析，都需要大数据的支持。即使是功能单一且规模小的物联网平台，为数据分析和智能决策所收集的数据也是海量的。

对于文本类型的消息数据，假定农场中有个传感器设备，收集周期为T，信息的长度为L，那么该农场的数据量volume计算公式为：

volumn=N×T×L

由上述公式可知，若每个传感器以每秒收集1次数据的频率收集数据，消息的长度为96 B（这是一个古典的保守估计消息长度），则单个传感器每年的数据收集量大致为3.03 GB。

对于视频流数据，假定1个视频采集器以100帧/s的帧率、300像素×400像素的RGB格式采集数据，则它每天收集的数据量大致为3.11 TB数据。

3.2现代智慧农业需要大数据

目前，由于科学的不断进步和互联网技术的不断发展，传统的手工劳作生产方式已逐渐被以物联网、云计算和大数据等技术为中心的现代化生产方式替换，生产模式也逐渐由粗放型向集约型和智能型方向转变[18-19]。未来的农业物联网将是目前单一物联网的集成，贯穿于生产、管理和市场等整个农业全产业链，为智慧农业提供了海量数据（图1）。

农业物联网大数据能够为智慧农业带来如下好处：

①精准生产。

近年来，由于现阶段农业生产现状的限制和供求信息的不对称，先后出现多起农产品滞销和脱销现象。一方面不断涌现诸如“蒜你狠”“姜你军”等网络热词;另一方面出现农户的农产品被贱卖或烂在地里的“贱菜伤农”事件。因此，为了实现合理的“供需平衡”，需要不断汇总农业数据，打通和建立消费者和农户之间的信息通道。例如通过大数据采集和分析某地某农产品的供需情况，形成消费者和农户之间的供需报告，结合供销市场进行分析，便能够及时有效地规划农业生产，促进供销市场的平衡。

②自动化生产。随着物联网技术的发展，农业生产过程中物理传感器的应用越来越广泛。通过传感器不断采集作物成长过程中各项指标的实时数据，如温度、湿度、光照强度等，并结合历史数据进行分析。不断提高农业生产效率、作物生产质量以及农业监控能力，如用湿度传感器不断收集某大棚中土壤湿度情况，就可以智能控制土壤湿度，确保作物正常生产;通过不断收集某农场中的气候数据，并结合历史气候数据进行科学合理的气象预测，从而有效规避由于气象变化带来的灾害，提高农业生产。

③供应链追踪。随着人们生活水平的提高，食品安全问题逐渐被关注。据统计，在发达国家，每年患上食源性疾病的人口占国家总人口的1/3以上，这也就意味着公共卫生问题日益严重[20]。如何对农产品从生产、加工、储运到销售，实现農产品供应链全方位的监控、追踪与管理变得尤为重要。通过物联网和大数据等技术追踪到农产品从田园到餐桌的每个环节，实现基于RFID农产品溯源，构建安全健康农产品供应链。

④智慧化农业。不断推进物联网和大数据技术在农林牧渔等产业农业生产中的应用，不断采集、汇聚和分析各个本体感知数据，不断完善农业智能检测、分析、调度与管理能力，优化农业生产产业结构，提升农业生产效率，从而实现农业生产、加工、储运、销售的一体化。

4农业物联网大数据平台框架的构建

4.1应用场景

该架构设计主要针对具有一定规模的农场，实现智慧农业的相关场景，而对于小型农业自动化以及信息化不做阐述。例如大规模农场中实时智能监控管理;智能分析、决策和预警;以及农产品溯源等实际场景。

如在大型农场中，需要实现农场的自动化管理，包含对农作物生产中的温度、湿度、病虫害等已经加工生产销售等一系列流程进行管理、监控及决策。需要在农场中设置大量的传感器等信息采集设备，如温湿度传感器、光线强度传感器、电子监控设备等。通过这些设备实时采集数据，并上传到云端，提供云端服务的决策支持。由于智慧农场一般占用面积较大，且需要全方位、实时监控整个农场数据，如温度，湿度、光照强度以及实时画面等信息，所以需要一整套高效架构，以支持智慧农场数据的采集、存储和分析。

4.2物联网架构

为了支持智慧农场数据的高效采集，设计物联网架构如图2所示。该架构主要分为物理层、云服务层，数据服务层三大模块。通过各个层次的紧密配合，实现智慧农业数据的高效收集、存储和利用。

4.2.1物理层。

4.2.1.1传感器。信息收集设备，可以将物理信息转换成数字信息，如温度传感器、湿度传感器、光照强度传感器等。

4.2.1.2传感器面板。主要负责数据的传输，一般由微型控制器实现，如Arduino2;通常情况下，1个传感器面板链接多个信息采集设备。

4.2.1.3网络桥。网络桥负责连接多个传感器面板，不同的传感器面板通过物理连接的方式（如USB）或者通过无线协议（如Zigbee3）与网络桥连接在一起。网络桥通过网络协议与互联网相连，收集到传感器数据后以一定的格式和方式组装数据，并输送到目的地或云端。

47卷2期周湘超等1种农业物联网大数据平台架构

4.2.2云服务层。

4.2.2.1中间件。中间件是物联网云服务层的核心部分，主要负责物理层采集数据的收集与存储，以及整个系统中参数的配置与存储。该架构中通过设计多种类型API的方式，通过网络API与底层网络桥实现数据交换，包含物联网数据的收集和确认、平台配置数据和路由数据的相关传送。通过配置API实现管理员动态管理和配置整个物联网平台。通过数据API与数据需求方实现交互。由图3可知，当中间件在接收到文件后，需要由收集器对收集到的数据进行认证校验，并将数据按照预定的规则拆分打包，再推送到消息队列中，等待消息处理模块的处理消费，再按照一定的存储规则实现数据的存储。

4.2.2.2网络API。网络API是一种信息交互接口，主要连接着中间件和网络桥，实现两者之间序列化数据和配置数据的传递与交互。为了兼容多种数据类型、解决数据的异构性，必须设计一个统一机制标准化数据。针对数据的特征，拟采用通用的数据格式JSON格式来实现数据的编码，并且规定数据中必须包含多个特征值：

id（传感器的唯一标识符）、timestamp（时间戳，也就是数据收集时间）、target（目的地，数据传送的目的地）、value（数据的测量值）、type（数据类型）、数据存储（数据存储即持久化所收集的序列化数据）。其存储介质包含传统的数据库（如MYSQL），也包含分布式文件存储（如HDFS、MongDB等）。

4.2.3架构优越性。

该软件架构高效兼容多种数据结构，通过采用多种类型的信息采集设备，如传感器、实时图像采集设备可以采集多种多样的实时数据。并通过统一的存储格式以及传输协议实现不同数据类型的兼容，对于传感器的异构性也有较强的兼容能力。不仅如此，通过互联网和网络设备、系统管理员自我配置模块，使平台具有良好的可拓展性，对以存储为目的的垂直扩展和以处理为目的的水平扩展都可以通过修改配置参数和修改物理线路的方式实现扩展。另外，为了充分发挥和挖掘数据的价值，该架构通过接口的方式，向用户和三方应用提供数据服务。

4.3大数据框架

鉴于存储大量的时间序列化数据，传统的数据存储系统已经无法满足，因而设计基于分布式存储系统。其大数据系统架构如图4所示。

该大数据平台主要包含数据接入、数据存储、数据计算以及数据检索与展现多个部分。

4.3.1数据接入。Kafka和Flume是可靠性和可用性的分布式数据收集组件。该系统架构中，引入Kafka和Flume组件，实现对实时数据高效接入，如对实时视频流数据的接收，传感器系列化数据的接收都有良好的可操作性。

4.3.2

数据存储。该架构中主要引入分布式存储系统HDFS实现数据的存储。系统借助于HDFS的多格式支持和良好的压缩率，实现多种格式数据的大量存储。

4.3.3数据计算。基于内存的分布式计算引擎—Spark，可以通过SparkStreaming完美收集与处理流式数据。针对智慧农业中大量的预测系统和病虫害分析系统可以借助于Spark生态中的MLlib进行训练与分析，得出准确率较高的预测模型。

4.3.4数据检索。该架构借助于检索性能十分强大的ElasticSearch，实现高效准确的在大量数据中检索所需要的数据信息。

该大数据处理架构的建立不仅支持大量的异构性数据的存储，还对实时数据的接收、分析与处理有著良好的兼容性。针对多种数据类型，如文本数据和图片视频等数据也有着较好的兼容性。且基于分布式文件系统，其存储量大、稳定性强、可拓展性好。另外，该系统架构通过Spark计算引擎，利用机器学习组件和图算法等实现多种复杂的模型训练和构建，以支持智能化管理、决策以及应用。通过分布式搜索引擎ElasticSearch实现数据的高效检索与查询。

5总结和展望

随着科学技术的不断进步和人们生活水平的不断提高，传统农业向智慧农业转型的步伐不断加大。在农业生产中，科技化含量不断的提高;现代农业模式逐渐朝着农业生产智能化、农业服务精细化、农业管理简约化的方向发展。农业生产数据的收集、分析和处理也成为现代化农业生产的必然。在未来的农业生产和人们的生活中，有大量的农业数据不断地从农场中产生，通过收集、存储和利用这些农业数据不断推出新型农业生产模型，从而指导农业生产，提升农业生产质量与品质。

该系统架构通过深入分析当前农业生产现状，把握当前农业和科技发展方向，以提升农业生产质量和农业管理水平为目的，以农业数据为中心，以提升人们生活水平和推动智慧农业发展为原则，提出适合当前发展趋势的农业物联网大数据平台架构。该系统架构不仅对农业数据的采集、组装以及传输细节进行详细描述，而且还对农业数据存储、分析和管理提出了详细的解决方案。结合智慧农业中相关应用场景与农业物联网数据的特性，针对一般性的农业描述数据、图片数据和视频流式数据进行深入探讨与分析，从而论证系统架构的可行性和必要性。该系统架构的设计不仅满足一般性的农业生产，而且对于大型智慧农业的生产模式具有一定的指导意义。

参考文献

[1] 张璠，滕桂法，周桂红.农业院校大数据专业课程体系建设研究[J].河北农业大学学报（农林教育版），2017，19（2）：23-26.

[2] 葛文杰，赵春江.农业物联网研究与应用现状及发展对策研究[J].农业机械学报，2014，45（7）：222-230.

[3] 葉宏宝，徐志福，石晓燕，等.设施农业环境智能监控管理平台设计与实现[J].浙江农业学报，2014，26（2）：467-472.

[4] STROHBACH M，ZIEKOW H，GAZIS V，et al.Towards a big data analytics framework for IoT and smart city applications[M]//XHAFA F，BAROLLI L，BAROLLI A，et al.Modeling and processing for next-generation big-data technologies.New York：Springer International Publishing，2015：257-282.

[5] 陈栋，吴保国，陈天恩，等.分布式多源农林物联网感知数据共享平台研发[J].农业工程学报，2017，33（S1）：300-307.

[6] 李国英.产业互联网模式下现代农业产业发展路径[J].现代经济探讨，2015（7）：77-82.

[7] 杨大蓉.中国智慧农业产业发展策略[J].江苏农业科学，2014，42（4）：1-2.

[8] 方晓航.物联网技术在农业信息化中的应用研究[D].长沙：湖南农业大学，2014.

[9] KANG Y S，PARK I H，RHEE J，et al.MongoDB-based repository design for IoT-generated RFID/sensor big data[J].IEEE Sensors Journal，2015，16（2）：485-497.

[10] BREUR T.Big data and the internet of things[J].Journal of marketing analytics，2015，3（1）：1-4.

[11] 徐海斌，王鸿翔，杨晓琳，等.现代农业中物联网应用现状与展望[J].江苏农业科学，2013，41（5）：398-400.

[12] 孟小峰，李勇，祝建华.社会计算：大数据时代的机遇与挑战[J].计算机研究与发展，2013，50（12）：2483-2491.

[13] 张引，陈敏，廖小飞.大数据应用的现状与展望[J].计算机研究与发展，2013，50（S2）：216-233.

[14] ANAGNOSTOPOULOS I，ZEADALLY S，EXPOSITO E.Handling big data：Research challenges and future directions[J].The journal of supercomputing，2016，72（4）：1494-1516.

[15] 邹振宇，郑烇，王嵩，等.基于HDFS的云存储系统小文件优化方案[J].计算机工程，2016，42（3）：34-40，46.

[16] 史晓丽.Bigtable分布式存储系统的研究[D].西安：西安电子科技大学，2014.

[17] 赵玲玲，刘杰，王伟.基于Spark的流程化机器学习分析方法[J].计算机系统应用，2016，25（12）：162-168.

[18] 杨静.大数据如何颠覆传统农业[J].农家书屋，2016（4）：18-19.

[19] 田宏武，郑文刚，李寒.大田农业节水物联网技术应用现状与发展趋势[J].农业工程学报，2016，32（21）：1-12.

[20] 徐粒子，金少华，陈志飞，等.安徽省2007～2010年食物中毒现况分析[J].安徽预防医学杂志，2012，18（1）：59-60，64.