基于大数据技术的高效节水灌溉应用研究

边晓南，李 楠，夏文君，张洪亮，张 雨，王 雯

（1.德州市水利局，山东 德州 253000； 2.德州城建工程集团有限公司，山东 德州 253000）

1 引 言

黄河流域是我国重要的农耕文明发源地，是小麦、玉米、棉花等典型北方农作物的主要产地。 然而，流域内降水时空分布不均、水污染严重、水旱灾害频发，严重制约当地农业生产和经济社会的持续稳定发展。 实现水资源供需平衡，推动水资源高效利用，满足农业灌溉需求一直是重要研究课题。 水利部在《“十四五”期间推进智慧水利建设实施方案》中明确提出提升农村供水管理信息化水平，建设灌区管理信息化平台，实现农作物需水预估和旱情监测、水资源调度等功能［1］。如何将大数据技术应用于农业水资源信息化建设领域，很多学者已做了深入研究，如：刘鑫等［2］构建了基于大数据的水资源动态配置模型，解决“水源分割”问题，统筹供水能力的统一调配；员青泽［3］提出了利用大数据技术获取农业生产全部数据，将人工智能准确应用到农业领域；马德辉等［4］构建了山东黄河时空大数据中心架构，探讨黄河流域山东区域多源、多维、多态的数据存储和数据支持服务；王军［5］开展了黄河流域空天一体化大数据平台架构关键技术研究，探究大数据技术在模型评估和预测等方面的应用前景。 以上成果为黄河流域高效节水灌溉提供了参考，但从水资源节约集约利用角度来说，通过先进信息技术实现对高效节水灌溉的水量统一调度和精准供水，目前还存在研究空白。 本文旨在通过对高效节水灌溉大数据技术应用进行研究，实现不同数据资源的有效整合，为节水灌溉提供数据分析支持，从而挖掘节水潜力，为推动黄河流域高效节水灌溉应用提供参考。

2 高效节水灌溉大数据平台设计

2.1 高效节水灌溉大数据平台所需数据

高效节水灌溉的基础是不同区域灌溉过程与农作物单位面积产量的关系分析，核心是全域可供水量约束下实施不同供水方案时各区域局部经济效益与整体经济效益的权衡。 高效节水灌溉的开展需要综合考虑黄河流域主要农作物用水需求、农业灌溉供水和农业生产经营情况，其中：农作物用水需求主要考虑各品种农作物生长阶段的需水量和生长环境，其相关数据是高效节水灌溉的基础数据；农业灌溉供水需要依据国民经济社会发展规划要求、流域水资源承载能力和节水灌溉建设要求，按照区域农业水资源分配量选择合适的节水灌溉技术和规模［6］，合理开展高效节水灌溉建设工作。 因此，为实现高效节水灌溉大数据技术的有效应用，需要从各级政府机关、农业、水利、气象、国土和统计部门、科研机构等多方面采集数据资源，并获得空间地理信息供应商、互联网企业等第三方大数据建设平台的数据支持。 高效节水灌溉大数据平台所需数据详见表1。

表1 高效节水灌溉大数据平台所需数据

数据资源具有实时性，数据更新和数据分享贯穿于整个农业生产过程中，根据数据的实时变化调整农业灌溉水量；数据资源具有不确定性，农业灌溉涉及海量、多样性的数据来源和应用需要，数据分析需要应用不同的模型和算法。 因此，要实现节水灌溉的数据融合和应用，必须利用大数据技术开展智能、科学、高效的数据管理［7］。

2.2 高效节水灌溉大数据平台设计方案

大数据是现代数据分析的前沿技术，旨在解决传统数据库中数据采集和数据处理效率低下的问题。 大数据具有4 个特征即海量数据规模、多样数据类型、快速数据流转和低价值密度，其在获取、存储、管理、分析数据方面远超出了传统数据库的能力范围。 通过构建高效节水灌溉大数据平台，将表1 内的农作物生育期、农作物生长环境、农业灌溉供水、政策法规、农业生产标准、农业经济、地理信息等形成数据采集体系，通过大数据技术从监测终端、互联网等采集数据信息，以大数据标准格式存入分布式结构的存储系统，进行数据分析和数据挖掘，最终提供数据应用支持［8］。 高效节水灌溉大数据平台结构见图1。

3 高效节水灌溉大数据平台功能实现

3.1 数据采集功能实现

对于节水灌溉相关的所有结构化和非结构化数据，数据量大、种类繁多、来源广泛，需根据不同的数据传输模式，采用不同技术进行数据采集。 数据采集按照获取方式分为实时数据同步、批量数据导入、网路爬虫采集和移动数据传输，需要将来自终端、互联网、水利业务系统、农业业务系统、网络知识库等的数据同步传输到大数据存储系统中。

3.1.1 数据类型和采集方式

（1）实时数据。 该类型数据主要涉及需要接入平台的农业和水利业务系统的日志采集、操作行为采集以及通过数据接口传输的实时数据，利用基于Hadoop的Sqoop 技术实现实时数据与传统数据库的数据传输［9］。

（2）批量数据。 批量数据主要是数据库和知识库中的静态数据，如农业、水利等相关业务系统的基础信息、第三方地理信息平台提供的地理区域图、农作物和水旱灾害基础信息等，这些数据来源于传统关系型数据库MySQL 和Oracle，利用基于NumPy 的Pandas 工具将静态数据以EXCEL、CSV、TXT、HTML 等方式快速批量导入大数据存储系统［10］。

（3）网络数据。 网络数据包括来自互联网的农业生产和农业经济信息、政府部门公开发布的政策文件、涉农法律法规、农业灌溉调查评价和水资源规划等信息，主要是通过网络爬虫技术从网页中抽取此类非结构化数据并存储到大数据存储系统［11］。

（4）移动数据。 移动数据的采集包括来自水资源远程在线监测系统和土壤墒情在线监测系统的水量、水质、土壤墒情等数据，气象部门监测站的降雨量、气温、气压、湿度等数据以及GPS 信号数据，利用物联网、5G 通信等移动传输技术实现此类数据的上传和存储。

3.1.2 数据预处理

采集的数据因类型、传输协议不同，需要将数据格式进行统一化处理，同时采集的数据存在不完整、重复传输、无效传输等情况，需要对数据进行有效化处理。利用数据仓库技术（ETL）对采集的数据进行抽取、清洗和装载，将分散零乱、标准不统一的数据整合到一起，再将这些异构数据流向统一目标数据，使统一目标数据成为高效节水灌溉大数据平台的基础。

3.2 数据存储功能实现

采用分布式结构（NAS／SAN 混合结构）将不同类型的数据分别存储于不同的功能服务器，同时采用云存储技术提高系统存储结构的构建效率［12］，具体存储结构见图2。 分布式存储的优点在于能够有效提高系统存储容量和数据吞吐量，采用分布式结构可以大大提高系统的扩展性，根据信息技术发展和功能需要对系统进行低成本升级改造。 在NAS／SAN 混合结构中，NAS（网络接入存储）提供文件级数据访问和共享服务，SAN（存储区域网络）实现海量、面向数据块的数据传输。 此外，采用基于Hadoop 的分布式文件系统HDFS 进行数据文件管理［13］，其中Hive 进行数据仓库的统计分析，HBase 管理分布式数据库、并行处理大量数据。

3.3 数据处理功能实现

数据处理功能是系统的运行核心以及实现系统应用功能的基础。 数据处理功能包括数据计算、数据分析和数据挖掘，其中：数据计算是对实时监测、用户访问、业务请求等动态数据以及基础信息、知识信息、模型调用等离线数据进行高速并行计算，利用云计算模式下的异构加速计算体系（CPU＋GPU 协同计算）满足数据处理需求［14］，利用GPU 进行模型计算、图形渲染计算和并行计算，可以提高数据计算效率。 数据分析通过对存储的标准数据进行解析来提取有用信息，开展描述性统计和推断性统计，具体过程是对系统样本数据（水量、土壤墒情、农作物价格）等有关变量之间的关系进行描述，利用样本统计值（某农业试验站农作物需水量、某灌区供水量、某市农业种植情况）推断总体统计值，从而形成统计结论，帮助系统使用者对数据开展详细研究和概括总结。 数据挖掘是对系统数据的关系和特征进行探索，经过算法检索从大批量的数据信息中找出未知的、可能有用的、隐藏的规则，并通过关联分析、聚类分析、时序分析等算法发现一些通过一般分析方法无法得出的深层次预测结果。 数据处理功能实现的关键技术见表2。

表2 数据处理功能实现的关键技术

数据分析和数据挖掘都是对数据进行有效处理，随着数据处理技术的不断优化，数据分析和数据挖掘的边界逐渐模糊。 数据分析更注重既定目标的结果分析，数据挖掘则是利用各种模型和技术对目标对象进行预测分析，通过两者结合来为使用者提供最直观和最优化的决策选择。 例如，在数据分析中，使用拉格朗日插值法和区间两阶段法可得出引水灌溉、土壤、气象等相关数据的连续变化趋势，数据挖掘则基于变化趋势使用BP 神经网络算法完成农作物需水量预报模型，从而预测农作物生长期不同阶段的需水量。 以某一小麦试验田为例，利用大数据处理技术得出的生育期需水量预测结果见表3。

表3 小麦生育期缺水量预测结果

3.4 数据应用功能实现

数据应用功能的实现是数据处理功能的可视化体现，采用B／S（Browser／Sever）和C／S（Client／Sever）相结合的服务模式向使用者提供对应的服务支持［15］。高效节水灌溉大数据平台中主要应用功能是围绕可视化的高效节水灌溉的各类监测功能模块（见图3），通过图形发现和数据规律，利用移动应用程序（APP）、PC 客户端、展示屏和公众服务平台等服务于农业水资源水量调度、高标准农田建设、农业灌溉区域节水评价等工作。 终端具体操作设计如下。

（1）移动APP。 高效节水灌溉APP 使用者可以是农业生产人员、农业技术人员和水利、农业管理人员，为使用者提供农作物生长需水量、生长环境变化情况、节水灌溉设备运行状态和农业水旱灾害预警等相关信息，使用者根据系统预测数据规划灌溉水量，从而实现农作物的精准灌溉。

（2）PC 客户端。 通过高效节水灌溉大数据平台的IE 客户端，进行系统基础信息处理和运行状态维护、开展应用端间的交互通信等操作；利用五大监测功能模块的实时分析图为水利、农业管理人员和科研人员提供农业政策、技术资讯、灌溉实时数据分析结果、区域农作物生长态势、农业生产态势以及经济分布态势等信息支持。

（3）展示屏。 展示屏可以快速、便捷地部署于黄河引水灌溉部门、黄河流域和各行政区水量调度部门、农业管理部门等，直观显示农作物长势监测图、区域农作物分布一览图、灌溉水量运行图、农业灾害状态分布图等，从而提高决策的科学性。

（4）公众服务平台。 利用微信公众号、专题网页等公共服务平台发布高效节水灌溉政策法规、区域建设情况与运行情况、区域内土壤墒情、农业生产等资讯，建立公众与管理者的通信渠道。

4 高效节水灌溉大数据技术的应用研究

4.1 农业水资源水量调度

水资源水量调度的意义在于对区域水资源可利用总量的有效分配，合理调整农业灌溉水量和居民生活用水、工业用水、服务业用水的比例。 黄河流域的农业灌溉仍未根除落后的“大水漫灌”高耗水模式，黄河下游多数区域为黄河水超载区和地下水超采区，对黄河水和深层地下水的使用有着严格限制，传统灌溉模式下用水需求量和许可水量之间的矛盾无法得到有效解决。 通过大数据技术的应用，结合各类农作物种植分布相关信息和需水量模型，能够对年度农业用水量开展科学合理地预测，水资源管理部门制定灌溉计划水量并根据水旱灾害情况及时调节灌区供水量，从而实现精准灌溉，推动地下水超采综合治理和水资源可持续利用。

4.2 高标准农田建设

高效节水灌溉是高标准农田建设的重要内容，高标准农田建设需要对农田数量、质量和分布利用情况进行专项清查，并结合区域水资源规划和高标准农田建设规划综合实施。 通过大数据技术可以将区域农业专项规划、水资源规划和高标准农田建设规划等进行有效融合，利用高效节水灌溉大数据平台实现数据处理和可视化操作，为高标准农田建设提供统一规划调度支持，进一步提升高标准农田建设质量和水平。

4.3 农业灌溉区域节水评价

农业灌溉区域节水评价是农业水资源管理和节水研究的重要内容，在农业灌溉用水的基础上，充分考虑区域农作物产出、农作物种类、种植结构、气候及土壤等因素，采用高效节水灌溉大数据平台中节水指数设定和模型计算，实现科学地农业灌溉节水评价［16］。 依据农业灌溉区域节水评价结果，尽可能减少灌溉水量投入，实现最佳经济、社会、生态环境效益。 利用大数据技术对农作物生长周期数据、农作物生长环境数据、农业生产和农业经营数据等进行有效采集，通过数据处理为节水评价提供详细、完整、全面的依据，为节水灌溉工程提供合理有效的科学决策方案。

5 结 论

通过建设高效节水灌溉大数据平台，可以提升高标准农田建设的信息化水平，将现有节水灌溉相关的资源和需求有效整合到系统中，打破“数据孤岛”的桎梏，形成完整的高效节水灌溉信息化体系。 高效节水灌溉大数据技术的应用，能够为水利管理部门和农业管理部门提供新的工作思路，推动农业节水技术改造、水资源高效集约利用，助力乡村振兴、农业农村现代化建设取得新成效。