浙江水资源监测大数据应用示范工程设想

姜小俊，虞开森，金宣辰

（浙江省水利信息管理中心，浙江 杭州 310009）

浙江水资源监测大数据应用示范工程设想

姜小俊，虞开森，金宣辰

（浙江省水利信息管理中心，浙江 杭州 310009）

伴随着数据采集技术和计算能力的飞速发展，大数据提供一种更为直接的问题求解方式。浙江省水资源监测大数据应用示范工程要求进行水资源数据集成、大数据平台建设，并在此基础上开展水资源大数据应用，为水资源管理提供支撑。结合大数据技术背景，提出理数据、搭框架、推应用的建设设想，规范集成水资源相关数据，建设开放的大数据平台，推出水情、工情和水量等 3 个大数据应用场景，并探索形成水利大数据分析方法。该设想对推进示范工程建设具有指导意义。

水资源应用；监测大数据；大数据技术；大数据框架；示范工程

水资源是基础性的自然资源和战略性的经济资源，时空变化大，周期长，影响因子复杂，出现问题往往难以直接找到原因，管理和决策难度较大。随着云计算、物联网、移动互联网、智慧城市等技术的兴起，大数据时代已经来临。大数据是基于网络的在线数据收集，核心在于从纷繁复杂的海量数据中，创造性地洞察数据内在的相关性，达到预测未来，决策当前的目的。大数据特性非常适合水资源管理应用，通过大数据技术分析问题影响因子及其相关性，可为水资源管理提供技术支撑。

2015 年 8 月，国务院印发《促进大数据发展行动纲要》[1]，要求建立包括水资源在内的现代农业大数据工程。2016 年 5 月，《浙江省人民政府关于印发浙江省促进大数据发展实施计划的通知》提出创建水资源监测大数据应用示范工程[2]，探索水资源管理新模式，实施时间为“十三五”期间。为此，结合大数据核心思想与技术特点，对如何实施浙江省水资源监测大数据示范工程进行探讨，期望能为水利行业大数据应用提供参考。

1 项目背景

1.1 研究现状

目前大数据案例主要集中在电子商务、互联网金融、医疗健康等互联网领域，关于水资源大数据相关研究较少，刘予伟等[3]结合国家水资源监控能力建设项目，对大数据技术在应急管理、违法监管、调查评价、开发利用等水资源管理领域的应用进行了展望。芮孝芳[4]认为大数据更能精确有效地表达世界，提出大数据是传统科学思维方式走出困境的一种选择，并对大数据方法破解水文学气象现象和下垫面条件模拟难题进行了探讨。黄忠佳[5]分析了大数据概念和价值影响因素，提出了提升水利大数据价值的对策。莫荣强等[6]结合水利数据中心建设要求，提出了一种支持大数据处理的水利数据中心基础架构。冯钧等[7]从水利大数据资源化本质出发，探讨了水利数据资源化的技术路线与关键技术。CHALH R 等[8]在分析大数据技术与水资源数据基础上，搭建了大数据开放平台，对现有水资源相关模型工具进行了集成，为水资源管理决策提供支持。

这些国内外研究将大数据思想与水利应用结合起来，推动了水利大数据技术的发展，研究基本集中于方法技术路线的宏观探讨或展望，尚未深入具体应用过程，对具体的水资源管理问题涉及不多。

1.2 建设目标

水资源监测涵盖水雨情、水质、水量等基础数据，以及环保、农业、国土、规划、互联网等关联数据，特别是国家防汛抗旱指挥系统、国家水资源监控能力建设等项目实施以来，积累了大量多源异构水资源监测与统计数据。近年来浙江省政府组织实施了省级政府数据资源归集共享，建立了省级部门之间数据共享通道，这也为社会经济指标等水资源相关数据获取提供了方便。

本示范工程建设目标如下[9]：梳理全省水雨情、取用水量、水功能区水质、水利工程和事件等水利专题数据，以及社会经济指标、气象和农业等关联数据，基于云架构搭建大数据应用框架，利用大数据分析与挖掘方法，进行水情、工情、水资源量分析，能够实现掌握过去数据，判断未来发展，决策当前行为，探索水利大数据分析方法，尝试建立一种水利信息支撑水利应用的新方式，提升水利信息化对水利现代化的驱动力。

2 大数据技术

随着信息技术的发展，全球数据量呈指数式的爆炸增长，2005—2011 年增长了 8 倍。根据 IDC（Internet Data Center）研究报告[10]，2011 年全球产生和复制的数据量为 1.8 ZB，预计 2020 年全球数据量将达到 40.0 ZB，根据国家发展与改革委员会估计，届时中国占全球数据总量的比例将达到 20%，成为世界第一数据资源大国和全球数据中心。大数据的出现是为了解决数据获取技术飞速发展与分析方法相对落后之间的矛盾，基于全样本和云计算的大数据技术，对相关性的分析胜于对因果的探索，为各行各业提供了一种新的思考模式。

2.1 基本概念

综合 Gartner、维基百科、大数据白皮书等相关大数据定义，大数据是新资源、工具、应用的综合体，要用新型计算架构和智能算法才能洞察新知识。大数据具有 4 V 特征，体量大（Volume），一般数据量在 PB 级以上；种类多（Variety），结构化、非结构化、半结构化共存；变化快（Velocity），实时变化，处理速度快；数据的平均价值密度低（Value），但是处理之后商业价值高。大数据具有全体非样本、混杂非精确、相关非因果 3 种主要思维[11]。

2.2 技术体系

大数据技术体系如图 1 所示。按大数据分析流程，大数据技术包括以下 4 个部分：1）数据采集，包含基于传感器的智能化数据感知、高度自动化的数据预处理等体系；2）数据存储与管理，主要包括结构化和半结构化及非结构化大数据的存储、处理、传输、安全等技术；3）数据分析与挖掘，主要包括数据可视化分析、多种新型或改进的数据挖掘算法等；4）计算结果展示，主要是利用 BI（商务智能）等相关技术，将大数据挖掘分析结果展示出来，为社会经济活动提供依据。国家信息中心 2017中国大数据发展报告指出[12]，我国大数据领域专利呈现存储、安全、检索、计算、分析“五足鼎立”之势，大数据采集领域相对匮乏，表明大数据采集方法仍相对保密，大数据技术人才仍相对匮乏，技术应用水平不高。

3 建设设想

结合大数据技术特征，按照水利部《关于推进水利大数据发展的指导意见》和《浙江省水利信息化“十三五”规划》要求[13-14]，提出理数据、搭框架、推应用的建设设想。

3.1 理数据

理数据是指整理数据资源，编制数据体系，即建立信息资源目录和数据标准体系。

3.1.1 数据特点

浙江省水资源相关数据大致可分为以下 3 类：1）实时数据，主要包括水雨情、水质水量监测、视频监控等传感器数据，变化频次为小时、分钟，甚至秒，目前一般建有省级统一接收平台；2）基础数据，主要包括水利工程属性、水资源管理等数据，变化频次为季度、年，甚至更长，目前主要通过普查汇聚等方式获取；3）动态数据，主要包括业务系统运行、统计等数据，动态变化频率介于前 2 类数据之间，主要通过业务系统集成方式获取。3 类数据均具有量大面广、多源异构、共享不易等特点，具体如图 2 所示。

3.1.2 数据对象

本示范工程数据对象主要包括以下数据：1）水资源监测数据，主要依托于国家水资源监控能力建设项目，包括 5 000 多个水雨情站点、3 000 个取水监控点，以及 700 多个水功能区水质监控点的属性与监测数据；2）水利工程运行数据，主要依托于浙江省水利工程标准化管理平台，包括水库，以及规模以上山塘、海塘、堤防、水闸、泵站、灌区、农村供水工程、水电站和水文测站、圩区等水利工程基础与运行信息；3）水利事件数据，主要包括近30 a 来涉及气候、降雨、水资源管理等方面的，防汛防台、灾害、水污染事件数据；4）其他行业相关数据，主要包括同期社会经济统计、气象、农业等数据。

图 1 大数据技术体系

图 2 水资源监测数据分类图

3.1.3 资源目录

水资源大数据资源目录是水利信息资源目录的子集，按《水利信息化资源整合共享顶层设计》等统一标准规范[15]，对数据对象进行调查、梳理、编目，编制统一管理的资源目录，收集分析有关目录建设所需的数据、元数据和分类等的标准，以及数据约束关系，以“一数一源”为基本原则，提出数据资源更新、管理和应用机制。资源目录由大类、子类、对象、属性集、属性五级构成，能够支撑调查表动态生成和字段验证，满足应用主题的多样性和可扩展要求，能够有效应用于水利数据资源管理。

3.2 搭框架

搭框架是指结合数据资源和应用需求，建立合适的大数据分析平台。

综合现有大数据平台，遵循数字化、网络化、智能化原则，提出基于开源架构的大数据应用框架，框架图如图 3 所示。

3.2.1 资源层

资源层包含国控水资源监测、水利工程标准化管理、水利事件及其他相关数据，类型涵盖了结构化、半结构化、非结构化格式，经过初步清洗整理后，通过资源目录进行管理。

3.2.2 基础数据平台层

基础数据平台层包括以下几层：1）统一数据采集，基于 Kafka 分布式消息发布系统建立消息管理层，灵活对接多种数据采集通道，提供可配置的数据采集能力；2）基础数据存储中心，利用 Hadoop和 Spark 等技术，构建核心的基础数据存储与处理中心，提供强大的数据处理能力，满足交互需求；3）上层应用数据中心，通过 RDBMS（关系型数据库）提供统计数据，满足统计报表需求；4）大数据查询中心，通过构建 HBASE 集群，提供大数据快速查询能力。

图 3 水资源监测大数据应用框架图

3.2.3 总线层

总线层建设统一的应用支撑平台，通过数据资源、服务管理及应用服务建设等，实现水资源大数据、大数据应用成果的统一管理，水雨情、地图应用、大数据分析与挖掘、水利专业模型（产汇流）等服务的统一建设和注册与管理。

3.2.4 BI 应用分析层

BI 应用分析层构建统一的 BI 应用中心，在提供传统基础报表、分析报告等基础上，通过标签云、聚类图、空间信息流、热图等新型表达方式，实现数据的可视化展示，体现数据价值。

3.3 推应用

推应用是指建立大数据应用场景，开展大数据分析，并对结果进行评估。

选择合适的水资源应用是大数据技术在本项目落地的关键，也是本工程成败的关键，应用需兼顾探索分析跨业务水利指标之间的相互关系，发现相关性，达到掌握过去，预测未来，决策当前的示范目的。应用选择要符合大数据技术特征，切合水资源管理实际业务，能够体现大数据技术优势。本项目应用初步设想在浙江沿海选择合适试点区，进行水情、工情和水量等 3 个大数据应用场景分析。

3.3.1 水情应用

1）场景 1。梅雨期降雨分析，结合相关因子，对试点区历史上 3—7 月降雨资料进行分析，得出梅雨期降雨相关因子，对未来同期降雨做出预测。

2）场景 2。台风影响分析，对试点区建国以来不同季节台风信息，以及洪涝灾害信息进行匹配分析，得出相关性，对未来台风影响进行预测。

3）场景 3。对试点区内水功能区多年水质监测信息，以及社会经济结构、气温、降雨、区域径流量、人口等信息进行联合分析，并对试点区未来水质做出预测，得到未来不同水质的水量分布。

3.3.2 工情应用

1）场景 1。水库调蓄能力分析，对试点区历史洪涝灾害信息与区域水库调洪能力进行大数据匹配分析，辨识水库工程对区域防洪能力的影响大小，为区域水利工程的建设提供数据参考。

2）场景 2。水库供水能力分析，对试点区历史旱情信息与区域水库供水能力进行大数据匹配分析，辨识水库工程对区域供水能力的影响大小，为区域水资源的优化配置提供决策支持。

3）场景3。水利工程运行状况分析，对试点区水利工程出险情况及其相关主、客观因子进行分析，得出相关性，为水利工程安全管理提供参考。

3.3.3 水量应用

水量应用场景即水量平衡图分析，以可视化的方式展示为佳，图 4 为同一区域降雨量、径流量、可供水量、供水效率等叠加展示效果。

1）场景 1。建立试点区降雨、气温、径流、地形、径流和产流系数等因子与来水量之间的相关性，从而对试点区的径流量进行预测。

2）场景 2。建立试点区人口、GDP、水价、用水定额等社会经济因素，以及灌溉面积、系数等农业发展因素与需水量之间的相关性，从而对试点区需水量进行预测。

3）场景 3。分析试点区径流与供水数据之间的相关性，对试点区可供水量进行预测，在此基础上进行水资源供需平衡分析。

4）场景 4。结合试点区人口、GDP、工业结构、水价、用水定额等社会经济因素，以及灌溉面积、系数等农业发展因素，对试点区用水效率等进行分析。

图 4 水量平衡分析示范效果图

4 预期成果

4.1 数据成果

通过示范工程集成水资源监测、水利工程和事件及其它相关行业等的数据，建立水资源数据汇聚更新服务模式，确保“一数一源”的管理机制和应用产生数据、数据服务应用的良性循环，并以此类推至整个水利信息资源建设。

4.2 大数据平台

建立一个开源的大数据平台，支持多种类型数据的采集与导入，面向水资源管理业务，实现水情、工情、水量应用场景分析，为水资源高效管理决策提供参考。平台计算存储能力和业务应用场景均具有高度可扩展性，能够快速分析、高度容错，以较低的成本获取较高的性能，同时平台简单易用，能为一般管理人员服务。

4.3 大数据分析方法

通过示范工程，能够探索一套水利大数据分析方法，该方法并非要替代传统分析方法，而是为解决水利问题提供另一种思路。水利大数据分析方法不去追求为什么，而去探索是什么；不去寻求建立微分方程，而是寻求微分方程在一定初始和边界条件约束下解的方法，是“开普勒模式”与“牛顿模式”的区别，因此，能够绕开复杂的水利模型，利用大数据分析与挖掘方法，依靠“天马行空”的想象，从海量异构、纷繁无章的数据中，洞察相关性，为解决水利问题提供思路。

5 结语

理数据、搭框架、推应用的建设思路基于集成的水资源及其相关数据，在数据层面可建立水雨情等的采集和水量水质的监测等体系；基于 Hadoop等开源技术，在框架层面可建立资源层、基础数据平台层、总线层、BI 应用层等 4 层架构，实现水资源大数据的高效管理，形成水资源大数据的分析体系；从水资源管理业务出发，在应用层面尝试推出水情、工情、水量等三大应用场景，探讨水资源大数据分析方法。

本示范工程顺应时代潮流，肩负探索水利大数据分析方法的重任，有意义，有难度。项目建设刚刚开始，必将不断面临挑战，比如应用场景相关因子选取，大数据挖掘与分析方法选择等，在此只提出初步设想。

[1] 国务院. 国务院关于印发促进大数据发展行动纲要的通知（国发〔2015〕50 号）[A]. 北京：国务院，2015: 15.

[2] 浙江省人民政府.浙江省人民政府关于印发浙江省促进大数据发展实施计划的通知（浙政发〔2016〕6 号）[A].杭州：浙江省人民政府，2016: 17.

[3] 刘予伟，刘东润，陈献耘. 大数据在水资源管理中的应用展望[J]. 水资源研究，2015，4 (5): 470-476.

[4] 芮孝芳. 水文学与“大数据”[J]. 水利水电科技进展，2016，36 (3) : 1-4.

[5] 黄忠佳. 对水利大数据价值提升的几点思考[J]. 水利发展研究，2014，14 (5): 35-37.

[6] 莫荣强，艾萍，吴礼福，等. 一种支持大数据的水利数据中心基础框架[J]. 水利信息化，2013 (3) : 16-20.

[7] 冯钧，许潇，唐志贤，等. 水利大数据及其资源化关键技术研究[J]. 水利信息化，2013 (4): 6-9.

[8] CHALH R, BAKKOURY Z, OUAZAR D, et al. Big data open platform for water resources management[C]// International Conference on Cloud Technologies and Applications. Morocco: IEEE, 2015: 1-8.

[9] 浙江省水利厅. 水资源监测大数据应用示范工程工作方案[R]. 杭州：浙江省水利厅，2016: 1-2.

[10] IDC. Extracting value from chaos[EB/OL]. [2017-06-02]. https://www.emc.com/collateral/analyst-reports/idc-extractingvalue-from-chaos-ar.pdf.

[11] SCHONBERGER V M, CUKIER K. 大数据时代[M]. 盛杨燕，周涛，译. 杭州：浙江人民出版社，2013.

[12] 国家信息中心. 2017 中国大数据发展报告[R]. 北京：国家信息中心，2017: 32-41.

[13] 中华人民共和国水利部. 水利部印发《关于推进水利大数据发展的指导意见》的通知（水信息〔2017〕178 号）[A]. 北京：中华人民共和国水利部，2017: 3-14.

[14] 浙江省水利厅. 浙江省水利厅关于印发浙江水利信息化发展“十三五”规划的通知（浙水信〔2017〕1 号）[A].杭州：浙江省水利厅，2017: 25-28.

[15] 水利部水利信息中心. 水利信息化资源整合共享顶层设计[R]. 北京：水利部水利信息中心，2015: 7-9.

Conceive of demonstration project of big data applications for Zhejiang water resources monitoring

JIANG Xiaojun, YU Kaisen, JIN Xuanchen
(Water Resources Information Management Center of Zhejiang Province, Hangzhou 310009, China)

With the rapid development of data acquisition technology and computing ability, big data technology provides a more direct way to solve problems. The demonstration project of the big data application for Zhejiang water resources monitoring requires big data integration, big data platform construction, and on this basis to carry out related water resources big data applications for management support. Combined with big data technology, the idea of“data integration and fusion, framework construction, and scenarios application”is put forward, which puts emphasis on the water resources related data standardization, big data framework building, and the applications scenarios of water regime, engineering situation, and water volume. It also explores the big data analysis methods for water resources data. The discussion shows the proposed idea can guide the construction of the demonstration project.

big data technology; big data framework; water resources application; big data framework; demonstration project

TV213

A

1674-9405(2017)04-0042-06

10.19364/j.1674-9405.2017.04.008

2017-06-26

国家重点研发计划（2017YFC0405800）

姜小俊（1978-），男，江苏江都人，高级工程师，从事水利信息化工作。