基于精细农业的大数据应用平台构建研究

陶忠良　管孝锋　刘彦妮

摘 要 本文阐述了农业大数据的概念与特点及存在问题，然后针对用户对农业大数据平台应用服务的需求，设计了面向精细农业的数据分析平台，并详细介绍了数据平台的架构和功能服务。

关键词 农业 大数据 智能分析 平台构建

云计算、物联网、大数据技术的日益发展，对社会各个领域的技术变革都产生了重大影响，其在数据挖掘和智慧应用等方面表现出很大优势。本文基于大数据技术，分析了其在农业管理领域数据采集、处理、报告分析方面的应用服务，进一步推动农业信息化建设。

1 农业大数据发展现状

1.1 农业大数据的概念与特点

农业大数据是大数据技术在农业领域的具体实践，是将大数据技术运用到农业生产过程的多个环节中，[1]解决农业相关领域内多源数据的采集、处理和分析应用，最终为农业领域中不同用户群体提供个性化的数据分析报告和可视化报表展示。

农业大数据具有自身的特殊性和复杂性，不仅具有海量数据，而且数据来源广泛、数据即时性强、采集难度大等特点。首先，农业数据种类多样，还包含了图表、图片、视频等要素，其数据类型具有半结构化、非结构化数据类型特点。另外，农业生产过程中农作物易受温度、湿度、施肥、虫害管理等外界因素的影响，其存在着诸多差异。因此如何采集动态数据，并融合多源数据类型进行挖掘分析，进而提高农业数据个性化服务应用是农业数据服务的重要发展方向。

1.2 农业大数据应用中存在的问题

农业大数据在应用方面还处于初级阶段，不同企业机构、用户之间数据缺少共享，[2]其多将数据作为自有资源，未认识到数据共享的重要性。其次，信息平台扩展性较差，对多源渠道采集的数据未能很好地进行标准化处理。在农业数据应用服务方面，当前服务对象多为企业、政府机构等专业人士，而普通农户在数据信息服务方面的利用较低。[3]在农业数据个性化服务应用中，数据个性化定制化服务能力较弱。

2 农业大数据应用模式平台设计

2.1 平台设计原则与思路

农业大数据应用模式平台利用物联网、传感器等数据信息采集技术构建覆盖土壤数、肥料、气象、农产品价格等多类数据的信息平台，建立多源海量数据农业信息数据库，通过数据标准化处理的一系列操作，为数据平台用户提供农业数据个性化定制及可视化查询服务。

农业数据信息平台首先采用多源数据汇集的原则，利用大数据技术将与农业相关的各类结构化和非结构化的文本数据进行汇集。其次，农业数据平台对各类数据进行标准化处理，建立统一标准的数据库。最后，在数据平台应用中，需为用户提供个性化定制服务及可视化分析功能，实现用户的快速查询服务，同时，对数据平台中数据隐私权限进行多级设置，实现用户对数据的分级使用。

2.2 数据平台架构组成

农业大数据平台由基础设备层、采集层、处理层及应用层组成。基础设备层是大数据平台的基础，是平台进行数据采集、处理、挖掘分析工作的必备前提。此外，数据采集层可直接连接传感器系统，进行实时数据的采集。其后，数据处理层可将采集来的多源异构数据进行标准化处理。最后，由数据应用层提供不同种类的数据服务，进而满足不同用户群体的个性化数据需求服务。

3 农业大数据智能分析平台技术设计

3.1 平台总体架构

基于大数据存储及分析处理技术，构建面向精细农业的大数据智能分析平台，将农业领域中各类相关数据融入，综合形成农业数据信息一体化分析平台，为农业生产用户、涉农企业及相关决策管理部门提供服务应用。本研究基于基础设施即服务（IAAS）、平台即服务（PAAS）、软件即服务（SAAS）三种应用形式，设计了农业大数据智能分析平台的总体架构，如图1所示。

3.2 平台技术实现

3.2.1 关键技术框架

本文基于大数据技术，对农业智能分析平台展开研究，构建了包含元数据管理、ETL工具、设计工具、数据服务、预置应用和BI平台模块，平台模块框架如图2所示。

农业大数据智能分析平台包含了智能系统基础服务和运行框架，并能够综合管理各类BI工具、分析模型及相关资源。针对采集数据的多源异构的特点，设计多级分布式高速缓存文件对象存储系统，用以减轻数据源负载。面向农业大数据的多源数据接口与集成架构描述了数据从数据源到数据仓库过程中所遵循的规范和架构。针对农业多源数据量大，异构，缺失，冲突以及存在脏数据等特点，设计ETL数据加载、清洗和转换细则与流程。针对农业大数据环境下，农业数据采集、处理、挖掘过程等复杂问题，数据分析挖掘过程设计了精准生产、自动化生产、供应链追踪、智慧化生产等相关农业领域应用。

农业大数据智能分析平台中，本研究利用ETL技术实现多源异构数据的标准化处理、集成及数据仓库的构建，形成农业领域主要实践应用中的主题数据库。平台中设计工具部分可为系统用户提供农业相关信息快速查询分析，并构建农作物生长指标工具、动态数据监测、图文报告等功能。平台中预置应用可为农业管理者提供作物生长的综合评价参数、监控预警、预测优化等分析模型和数据分析参考。基于Portal技术BI门户实现了综合展板，可实现在同一界面中展示关键信息。

3.2.2 數据采集处理分析

精细农业智能分析平台的基础是对海量多源数据进行采集及标准化的整合处理。在数据采集过程中，研究所采用的ETL工具有抽取高效、性能稳定、插件框架的特点，其插件的可复用性较高，能够针对于不同主题数据源的采集需求，设计相应的数据采集插件。对于农业生产过程中的终端用户而言，无需复杂编程操作，便可简单快速的从智能平台获取可视化展示的数据报告。在主题数据库设计方面，可实现细节数据层、汇总数据层和应用集市层的三级服务。首先，根据默认的ETL抽取规则将临时存储区数据抽取整理到细节数据层。然后，将细节数据层抽取、整理、分析成面向业务应用主题的统计数据集，即汇总数据层。最后，将细节数据层和汇总数据层数据抽取整理成应用集市层，形成农业生产消费过程中相关主题对应的多维数据立方体。

3.2.3 BI分析平台

在农业大数据智能分析平台中，BI分析平台是运用多维数据服务，将复杂的专业数据，以图形等简单易懂的形式展现出来。用户可利用BI分析平台提供的多维分析工具，简单快捷地从数据立方体中对数据指标进行多维度的综合分析，精准掌握各指标的动态和变化趋势。此外，BI分析平台也提供数据报告展示功能，平台系统端可自动生成包含文字、数字、图表、图形等形式的数据分析报告。

4 结论

本研究分析构建了面向精细农业应用的大数据分析体系结构、设计思路及功能应用，对农业生产过程中产生的多源数据进行集成、挖掘分析，以实现大数据服务在农业领域的精准需求分析、自动化生产、产品追溯的应用。最终研究通过大数据技术的应用，实现农业生产及销售过程的一体化，将农业生产过程中种植、肥料供应与后期加工、运输、销售等各环节数据链接成一个综合数据信息平台，并对其环节中相关要素进行统一协调和控制，以增加农业生产过程中价值增值。

参考文献

[1] 蔡书凯.大数据与农业：现实挑战与对策[J].电子商务，2014.22（9）：1149-1151.

[2] 张浩然，李中良，邹腾飞，等.农业大数据综述[J].计算机科学，2014.41（S2）：387-392.

[3] 周子琦.制约我国农业大数据应用的因素及对策分析[J].商情，2015（4）：168.