水利大数据建设思路探讨

杨 宇，谈娟娟

（宁波弘泰水利信息科技有限公司，浙江 宁波 315000）

0 引言

信息技术在感应、传输和计算、业务应用和服务模式上，对水利工作产生变革性的深刻影响，在水文监测预警预报、水利工程运行管理、水资源监控调度、水生态监测保护、水土保持监测和水行政管理等领域得到广泛有效的应用，随着信息化技术的不断演进和发展，驱动当今社会变革的不仅仅是无所不在的网络，还有无所不在的计算、数据和知识[1]。“互联网 +”、大数据、云计算、物联网等先进信息技术及思想的不断发展和应用，为水利信息化的快速发展改革提供了强有力的技术支撑。

2015 年 8 月，国务院发布了《国务院关于印发促进大数据发展行动纲要的通知》[2]（国发〔2015〕50 号），提出“大数据成为提升政府治理能力的新途径”。2017 年 5 月，水利部已正式印发《关于推进水利大数据的指导意见》[3]，明确了将实施国家大数据战略作为“十三五”时期坚持创新驱动发展、培育发展新动力、拓展发展新空间的重要抓手。

随着信息技术的发展、国家政策的推动，大数据技术在水利领域发展和应用具有很大潜力和价值[4]。利用大数据分析手段，进一步探索大数据分析在水利管理中的应用方向，逐步拓展水利大数据体系，优化水利大数据分析平台，充分利用大数据分析技术推动水利管理模式转变。

1 水利大数据体系建设

随着我国水利信息化建设的开展，数据监测、采集、传输、存储与管理等方面的基础设施逐步完善，水利领域积累的数据量越来越大且每年仍大量增加[5]。此外，要适应社会经济发展和水利综合管理，水利大数据体系的构建必须进行关联性数据的扩充，包括相关行业及互联网数据。水利大数据整合模式如图1 所示。

图1 水利大数据整合模式

1.1 水利数据整合

水利行业数据涉及水利管理、水利工程设施、水文气象、基础空间地理等水利静态数据，还包括实时水情、水文水质、水闸泵站、水资源等动态数据信息，以及水利工程、水资源、防汛减灾、水政执法等大量水利业务管理数据。以现有的水利数据中心为基础，进行水利大数据体系的建设完善。

1.2 外部门数据整合

现有的水利管理，是以水利部门为主，环保、农业、国土等其他政府部门兼有职责[6]，提取与水利管理相关的外部门数据，进行水利大数据体系扩充。主要包括以下 5 类：

1）人口、GDP、城市绿地面积、水价、节水指标等统计数据；

2）降雨、气温、蒸发、湿度、历史台风数据等气象数据；

3）水质监测、排污、水土保持、污水治理等环保数据；

4）排水、供水、排涝、管网分布、雨污分流等市政管理数据；

5）灌溉面积、作物、养殖、农药化肥施用、农村饮用水等农林数据。

1.3 互联网数据采集

随着网络技术的不断发展，互联网在人们的生活和工作中的影响越来越大，社会其他部门、相关团体和公民也越来越多地通过互联网参与或涉及水利监督和管理[7]，由此而产生的与水利有关的（包括系统和非系统的、间接相关的）数据，比如通过互联网以网站、论坛、微信、微博和博客等方式发布的有关信息，可以被利用和挖掘，获取网上信息对大数据分析有着很大的意义。

2 大数据应用平台建设

2.1 平台框架设计

大数据应用平台以水利数据中心及高速互联网为基础设施，以互联网服务体系为架构，以Hadoop，Spark，BI（Business Intelligence）等关键技术及组件为支撑，通过大数据存储、处理、挖掘和交互式可视化分析为用户提供水利大数据存储、管理及分析服务，实现水利大数据潜在关系的深入挖掘，为水利管理提供大数据分析支持。总体框架如图2 所示。

1）资源层。依托水利数据中心，整合相关水雨情、工程管理、水利业务管理等水利数据；融合外部门相关数据，包括气象、环保、统计等数据；采集互联网上与水利相关的公众舆情、新闻动态等数据。

图2 水利大数据应用总体框架图

2）基础数据平台层。包括统一数据采集、基础数据存储和处理，上层应用数据及大数据清单查询等中心。

a. 统一数据采集。通过 Kafka 作为统一采集平台的消息管理层，灵活的对接、适配各种数据源采集（如集成 flume），提供灵活、可配置的数据采集能力。

b. 基础数据存储和处理。利用 Spark 和 Hadoop技术，构建大数据平台最为核心的基础数据的存储、处理能力中心，提供强大的数据处理能力，满足数据的交互需求。

c. 上层应用数据中心。为了更好地满足数据获取需求，通过 RDBMS（关系数据库管理系统），提供高度汇总的统计数据，满足常规的统计报表需求，降低使用门槛。

d. 大数据查询中心。对大数据明细查询需求，则通过构建 HBase 集群，提供大数据快速查询能力，满足对大数据的查询获取需求。

3）BI 应用层。构建统一的 BI 应用中心，通过基础报表、分析报告等形式实现数据的可视化展示满足业务需求，体现数据价值。

4）标准规范体系。包括大数据应用相关的国家和行业标准规范、GB/T 8567—1988《计算机软件产品开发文件编制指南》、GB 3453《数据通信基本型控制规程》、IEEE 802.3《网络技术标准》等内容。

5）信息安全体系。包括网络安全设备、数据存储备份机制和设备、数据的访问控制机制和数据加密存储等内容。

6）水利大数据分析。基于构建的大数据应用平台，结合水利管理实际业务需求，进行基础水情工情、防洪防旱、水资源供需、工程管理等分析。

2.2 应用平台搭建

基于本次构建的大数据应用框架，利用目前较为成熟的开源软件（Hadoop，Spark 等）自主研发水利大数据分析平台，实现水利大数据的存储、分析计算，以及应用成果的可视化展示。

1）大数据存储计算。Apache 软件基金会的Hadoop 项目已成为一个完整的生态系统，可以直接用于大数据存储分析计算[8]。Hadoop 是一个非常可靠、高效并且具有可扩展性的分布式软件开发框架，其可以在一个相对较短的时间内接受并完成大量的数据处理任务。Hadoop 集群是典型 Master/slaves 结构，由 1 个中心节点和多个子节点组成。中心节点 Master 是一个服务器，运行着负责管理文件系统的 NameNode 和管理任务执行的 Jobtracker。分布式子节点上运行着负责管理其附带的数据存储的DataNode 和负责任务执行的 Tasktracker。大数据应用平台的实现主要利用 Hadoop 的五大关键技术如下：

a. 分布式文件系统（HDFS）。它存储 Hadoop 集群中所有存储节点上的文件；

b. 资源管理任务调度（Yarn）。Yarn 以层级化队列的方式组织和划分资源，对资源进行统一管理和调度；

c. 离线计算（Map/Reduce）。Map/Reduce 不仅可以进行离线数据的大批量处理，也满足了实时在线数据处理的需求。

d. 数据仓库（HIVE）。HIVE 不是简单地对数据进行存储，而是对数据进行“再组织”，从源数据库文件中获得原始数据，按照决策的主题要求形成数据，有助于进行决策分析。

e. 数据查询（HBase）。HBase 技术用于实现海量数据的查询及高效发布。

2）大数据分析挖掘。Spark 作为 Apache 软件基金会的顶级项目之一，是 Apache 组织推出的一种分布式处理框架，Spark 跟 MapReduce 类似，用作大数据的分布式计算，在大数据并行计算上是无可匹敌的。Spark 具有 MapReduce 的优点，但与MapReduce 不同的是，Spark 可以将 Job 的中间输出结果保存在内存中，在下一个 Job 的计算中不需要再次读取 HDFS，从而能够加快计算的速度，因此Spark 更适合用来作需要多次迭代的计算，特别是数据挖掘和机器学习算法[9]。Spark 立足于内存计算，其性能和速度都优于 MapReduce，对于编程者来说更易于使用，更符合低延时、迭代计算的大数据应用。基于 Hadoop 的 Spark 分析结构如图3 所示，选用 Yarn 作为 Spark 集群的 Cluster Manager，HDFS 作为 Spark 集群的 Data Manager。

图3 基于 Hadoop 的 Spark 生态结构

3）大数据可视化展示。BI 在传统企业中，是一套完整的解决方案，将数据有效整合，快速制作出报表以作出决策[10]。BI 是达成业务管理的应用工具，因此，水利大数据应用分析可采用 BI 实现数据可视化展示。

BI 工具主要有 2 种用途：a. 利用 BI 制作自动化报表；b. 使用其可视化功能进行分析。BI 的优点在于它提供比 Excel 更丰富的可视化功能。面向水利大数据应用分析需求，基于 BI 实现各类水利统计报表、分析报告的自动生成，以及海量水利大数据、大数据分析成果等信息的可视化展示。结合水利业务管理应用，以区域水资源供需分析为例，水利数据大屏设计及展示效果如图4 和 5 所示。

2.3 平台部署

基于云环境构建分布式集群架构，集群架构可采用一对多的模式：1 个主节点，多个从节点，随着数据量的增加、计算能力的扩大，可在一对多的基础上进一步增加主节点及从节点个数，以满足数据存储及分布式计算需求。

图4 水利数据大屏设计

图5 水利数据大屏展示效果图

3 水利大数据应用方向

3.1 水利基础信息分析

利用大数据技术分析研究区水雨情特征，水利工程建设情况，为区域来水情况分析，区域汛情灾情预警预报，工程防洪和供水能力分析提供基础支撑。

1）水雨情分析。从研究区水情特征出发，应用大数据分析方法进行研究区内的水情分析，综合分析梅雨期降雨、台风影响及旱情影响等，辨识区域来水量的年内变化特征及变化趋势。

2）水利工程分析。从研究区工情特征出发，应用大数据分析方法进行研究区内的水利工程建设、运行、管理等情况分析，结合不同区域地形特点、水雨情特征及社会经济发展情况，辨识区域水利工程建设程度。

3.2 水资源管理分析

利用大数据技术预测研究区水文、水质、水环境变化，从水资源供需分析、调配决策、应急管理等方面进行研究区内大数据决策分析。为制定更加可行、合理的水资源政策和方案提供大数据分析支持。

1）水资源供需分析。利用大数据评估研究区内需水量，分析历史供用水数据，辨识研究区内水资源供需矛盾，结合供需矛盾进行各类用水预警分析。

2）水资源调配决策分析。通过对水量分配、水资源调度、用水户及水权交易等数据进行多维度的统计分析，可以实时调整水库蓄泄水量和供水分配，从而高效地协调政府与市场关于水资源配置问题的关系。

3）水资源应急管理分析。随着通信技术和移动互联网的发展，通过对公民在网站、论坛、微信、微博等发布的突发水灾害事件进行数据共享，关联分析和挖掘利用，能够为水资源监测和预警、水资源应急管理等提供依据。

3.3 防洪防旱管理分析

大数据在洪旱灾害管理方面可以通过研究区内预报预测模型的应用，对洪旱灾害进行预报预测，通过洪水调度、水资源调配实现水资源的合理分配，从而有效地减少未来洪旱灾害带来的损失。

1）防洪排涝调度决策分析。对研究区地形、水文特征、降雨、洪水、工程调度等进行大数据分析，根据降水预测来评估洪水流量、洪峰时间、洪灾影响，从大数据库中匹配相应的工程调度方案，以进行研究区内的洪水调度决策与管理。

2）抗旱调度决策分析。对研究区地形、水文特征、降雨、旱情、工程调度等进行大数据分析，在对旱情形势、旱情影响预测的基础上，从大数据库中匹配相应的旱情调度方案，以进行研究区内的抗旱调度决策与管理。

3.4 工程运行管理分析

通过对研究区地形、地质、气象、水雨情、蓄滞洪区空间分布，以及社会和经济等大数据进行分析，并构建面向水利工程分析主题的多维大数据库，实现水利工程大数据进行重组和综合，从而实现研究区内区域工程运行能力、管理效率等分析，为工程调度及运行管理提供决策支持。

1）工程运行能力分析。对研究区内历史洪涝灾害信息与工程调洪能力进行大数据匹配分析，辨识水利工程对研究区防洪能力的影响大小，对研究区内历史旱情信息与工程供水能力进行大数据匹配分析，辨识水利工程对研究区供水能力的影响大小，为水资源的优化配置提供决策支持。

2）工程管理效率分析。基于水利工程运行管理的台账信息、日志等，对工程运行管理水平进行分析，辨识各类水利工程的运行效率、工程信息化和标准化管理水平，促进水利工程发挥运行效益。

4 结语

从水利大数据应用分析的角度出发，探讨了水利大数据体系建设、水利大数据分析平台及水利业务应用分析的思路：1）以现有的水利数据为基础，融合外部门相关数据，采集互联网相关数据构建水利大数据体系；2）以 Hadoop，Spark，BI 等关键技术及组件为支撑，通过大数据存储、分布式处理、大数据挖掘和交互式可视化分析搭建水利大数据应用平台；3）从水利业务管理的角度出发，设计水资源、防汛防旱、水利工程等大数据应用管理场景，以实现基于大数据的水利业务管理及决策分析。通过数据体系、分析平台、业务应用 3 个层面的建设，促进信息数据的交互共享、数据潜在价值的挖掘，为水利管理能力的提升提供技术支持。

参考文献：

[1] 孟小峰，慈祥. 大数据管理：概念、技术、与挑战[J]. 计算机研究与发展，2013，50 (1): 146-169.

[2] 国务院. 国务院关于印发促进大数据发展行动纲要的通知[EB/OL].(2015-08-31)[2017-06-20].http://www.gov.cn/zhengce/content/2015-09/05/content_10137.htm.

[3] 中华人民共和国水利部. 关于推进水利大数据发展的指导意见[A]. 北京：水利部网络安全与信息化领导小组办公室，2017.

[4] 蔡阳. 以大数据促进水治理现代化[J]. 水利信息化，2017 (4): 6-10.

[5] 程益联，付静. 水利数据整合共享研究[J]. 水利信息化，2014 (6): 13-17.

[6] 冯钧，许潇，唐志贤，等. 水利大数据及其资源化关键技术研究[J]. 水利信息化，2013 (4): 6-9.

[7] 刘予伟，刘东润，陈献耘，等. 大数据在水资源管理中的应用展望[J]. 水资源研究，2015，4 (5): 470-476.

[8] 黄哲学，陈小军，李俊杰，等. 面向服务的大数据分析平台解决方案[J]. 科技促进发展，2014，10 (1): 52-59.

[9] 蒋云钟，张小娟. 数据挖掘技术在水资源领域的应用方法研究[J]. 人民黄河，2007，29 (9): 43-47.

[10] 张浩，郭灿. 数据可视化技术应用趋势与分类研究[J].软件导刊，2012 (5): 169-172.