基于云计算的吉林省黑土地(耕地)质量大数据平台设计与实现

陈怡兵张环宇杨松高晗吕世平

(1.吉林省土壤肥料总站，吉林 长春 130031；2.浙江托普云农科技股份有限公司，浙江 杭州 310000)

引言

农业大数据构成复杂、规模巨大且更新快，同时还融合了不同地域性、多样性以及周期季节性等特征，处理应用起来较困难。当前已有的耕地质量数据资源丰富，但储存分散、利用率低、无法共享，亟需建立统一、可共享、能开放的大数据平台。

吉林省黑土地(耕地)质量大数据平台将多类型且分散的数据存储、管理和使用起来，意义在于充分发挥大数据特点，充分利用3S技术等现代化手段，将耕地地力调查与评价数据、土壤墒情实时监测数据进行整理分析，并集成了物联网信息技术、测土配方施肥技术、农业资讯检索、肥料登记查询等应用模块，为领导决策和农业生产提供基础支撑，并提出为进一步管理和应用现有数据资源以及整合土壤墒情、主要作物、环境等后续数据资源的优化对策，提升黑土耕地质量建设与管理工作的标准化、数字化程度，促进耕地质量管理工作的技术水平。

1 大数据与云计算的概念

1.1 大数据

大数据是一种信息时代附带到价值的信息资产，通过采集、储存、发散、管理、分析，从而获取决策和洞察的能力。

1.2 云计算

云计算是借助数据计算、网络连接、存储功能优势，能够为使用者提供服务，形成完整的资源池。云计算属于数据面积性计算，能够实现存储、计算资源的虚拟化。

1.3 大数据与云计算的关系

云计算与大数据技术本身有着紧密的关联性。云计算技术拥有高精准、运算快、处理能力强、储存空间大的优势，可以为多元大数据处理提供平台；对于大数据而言，基于云计算的大数据处理技术，是一种高效的、可实时分析处理海量数据的强有力工具，云计算可以针对大数据处理的分布式数据库，能够可靠地对大数据进行实时处理，具有即时响应多用户并发请求的能力[1]。

2 设计方案

2.1 平台定义

以网络为基础，将黑土地(耕地质量)建设与管理相关的各类项目所形成的各类数据进行集中存储、统一管理，应用大数据技术深入挖掘，在对信息进行分析、加工的基础上，通过多种智能显示技术为各级农业行政管理、科研、技术推广机构及社会大众提供各类信息服务。

构建一套或者多套各级网络体系，平台应该是开放的共享平台。对农业部组织实施的，与耕地质量建设和管理相关的各类项目所形成的数据，以及耕地地力提升、肥料门市信息、肥料登记信息等数据有效收集起来，进行集中存储和统一管理。对黑土地(耕地)质量建设与管理相关数据进行必要的分析和处理加工，加强预警功能和数据成果转化功能。系统开发终端显示方式应该是多样化的，如PC、APP等。

2.2 总体框架

平台采用软件系统实现大数据资源共享，应用大数据技术、3S技术、网络通讯技术、系统集成技术和信息安全技术等，整合耕地质量、测土配方施肥、土壤墒情等数据，通过数据的标准化管理、高效云平台服务、多形式的信息发布模式以及安全运维管理机制，总体架构如图1所示。

图1 黑土地(耕地)大数据平台架构图

3 建设内容

3.1 基础数据

基础地理，主要包括行政区划、农业区划、地形分布。气候气象，主要包括≥0℃积温、年降水量。土地利用，主要包括土地利用现状、农用地地块。农田管理，主要包括耕地质量等级、基本农田、高标准农田。农田土壤基础，主要包括土壤类型、耕地质量监测点、耕地质量补充调查、测土配方施肥采样点、土壤墒情监测点。土壤理化指标，主要包括土壤pH值、土壤有机质、土壤全氮、土壤有效磷、土壤速效钾。土壤类型数据，对土壤类型属性数据进行整理，包括土壤类型编号、采样点编号、采样点经纬度等信息以及生成土壤空间数据。施肥分区数据，结合土壤类型、耕地养分水平、种植作物和产量以及施肥规律分区等，从而形成施肥分区。测土数据，对县域内采样点进行确定，对每个采样点进行编号，GPS定位经纬度信息附在每个采样点上。测土数据整理，对有机质、碱解氮、有效磷、速效钾、pH值5个测土参数数值进行整理，生成相关属性数据(mdb、dbf、sq等)，将属性数据导入GIS中,生成相关空间数据库。参数数据，对包括土壤类型、施肥分区、作物种类、有机质以及试验等内容进行整理，并剔除报表目标产量数据中异常高或异常低等歧义数据[2]。

3.2 应用管理功能

数据管理分为3个模块。权限管理，用于对用户的数据范围权限进行管理；文件管理，用于对用户上传的文件进行统一管理；数据库管理，用于管理数据库中的数据[3]。

3.3 查询功能

耕地资源管理单元工作底图由土地利用现状图、行政区划图和土壤图叠加而成，反映了全省耕地的分布情况，可以查询每一块耕地的位置、权属、面积、利用方式、土壤类型、地貌类型、立地条件、农田管理、土壤养分、耕地质量等属性。

4 平台实现

吉林省黑土地(耕地)质量大数据平台基于J2EE平台开发，通过Jfinal、undertow、jboot、Duboo、Zookeeper搭建的共享服务平台，用于RESTful、XL/JSON服务的快速开发、注册、发现等工作。大量的黑土地(耕地)大数据利用数据仓库Hive，进行提取→转换→加载→并行计算→分布式处理，建立文档库和异构索引库，完成非结构化数据信息的存储。

基于以上平台架构和整体设计思路，开发几种应用模块。

4.1 黑土地保护界面

包括黑土地分布、类型、面积及技术等数据信息，并汇总了10余套黑土地保护技术模式，如图2。

4.2 耕地质量评价界面

以调查评价点为基础，采集包括土壤有机质、耕层、pH值、养分等16项指标数据，依据土壤类型、有效土层、pH值、土壤肥力等调查和监测信息，自动生成耕地质量等级结果，进行图示化反应，提出有针对保护措施和科学施肥指导等，如图3。

图3 耕地质量评价界面

4.3 监测数据界面

主要依托具备“三区四情”功能的长期定位监测点，包括吉林省已建设的199个耕地质量监测点的耕地土壤有机质、pH值、养分等相关指标的变化趋势，并集成物联网技术实时监测耕地质量状况以及苗青、环情，然后通过采集的数据，完成整理分析，自动生成各级耕地质量监测报告，为耕地质量保护提供依据，科学指导农业生产，如图4、图5。

图4 监测数据界面

图5 物联网监测系统应用界面

4.4 墒情数据界面

主要依托自动墒情监测站数据，分析土壤墒情状况和发展趋势，指导适墒播种和抗旱防涝等。包括已建设的370个土壤墒情监测点的不同深度土层的温度、含水量信息以及气象信息。根据监测结果，自动生成墒情简报，及时发布墒情预警，指导农业生产活动，如图6、图7。

图6 墒情数据界面

图7 平台自动生成简报

4.5 信息服务模块

包括信息查询、专家服务、软件服务等相关服务功能，如图8。

图8 软件服务应用界面

5 结论

针对黑土地(耕地)质量数据信息存在多元异构、物理分散、利用率低等问题，运用大数据、云计算等现代信息技术手段，以大数据管理、应用为基础，研发了以问题为导向的农业资源大数据共享服务平台，打破了多元数据库系统之间的壁垒，实现了农业数据的有效共享和利用。为农业指导提供各种资源统计汇总“一张图”服务，实现了对地区耕地信息的快速、系统、全面的掌握，为政策制定和发展计划提供了良好的数据支撑。