大数据技术在水闸安全评价中的应用研究

2019-11-13李凤生钱名开齐传富

水利信息化 2019年5期

李凤生，钱名开，齐传富

（淮河水利委员会水文局（信息中心），安徽蚌埠 233001）

0 引言

水闸是调节水位、控制流量的低水头水工建筑物，它们通过调节闸门以起到调蓄水位和控制流量的作用，兼具防洪、排涝、供水、灌溉等综合效益，在社会经济的发展中发挥着重要作用，确保其正常稳定运行对于保护下游人民生命财产安全具有重要意义[1-2]。

水闸的重要性及其自身特性决定了它不仅需要满足安全性要求，也要满足适用性和耐久性的要求，对水闸进行安全评价是诸多管理工作的基础。传统评价方法以构建评价指标体系为主，利用安全观测数据定性或定量评价。应用数据来源较为单一，综合性和智能化的水平不高。

我国水闸多数建造于 20 世纪 50—80 年代，长期运行，加之建设时技术落后、缺乏经验等因素，都或多或少存在防洪标准低、病险隐患多和不同程度的损坏等问题[3]。虽然经过除险加固，但仍有不少重要水闸存在安全运行的风险，因此对水闸的安全监测和评价也就成为日常管理中一项重要工作内容。

目前，大多数重要水闸基本安装了自动化的安全监测装置，可采集沉降、水平位移、扬压力等要素，经长期运行已积累了大量实时监测数据；日常工作中定期开展人工巡视检查，对水闸的安全可靠性进行人工观测，通过整编形成电子或纸质的观测资料；全国第一次水利普查、防汛抗旱指挥系统工程、病险水闸除险加固等项目实施，进一步丰富完善了水闸工程信息、水文、地质等相关数据；同时基础地理数据和遥感影像等也更加丰富且更易获取。这些水闸管理相关基础数据的不断积累，为开展水闸安全大数据评价分析创造了条件。

随着大数据技术的发展与成熟，利用大数据技术，可以从海量数据中发现知识、获取信息，寻找隐藏在大数据中的模式、趋势和相关性[4]。因此基于水闸安全评价的理论、方法和相关应用经验，利用大数据技术，协同应用多种来源的基础数据，开展基于大数据技术的水闸安全评估与预测具有很好的实用价值。

在水闸安全评价理论基础层面，郑茂海[5]开展了水闸安全评价理论与应用研究；闫宾等[3]论述了水闸安全评价相关理论的研究进展，在归纳评价指标的选取、赋权和综合评价等方法的基础上，提出发展智能评价技术的建议。在评价方法层面，已具有一系列相关研究成果，宋小波等[6]基于改进 AHP算法提出水闸安全性模糊综合评价方法，闫滨等[7]提出基于改进白化权函数灰色聚类法的水闸安全评价方法，戚国强等[8]提出基于改进层次模糊综合评价的水闸工程安全评价方法，孙友良等 [9] 基于改进广义灰色关联分析法对水闸安全评价指标的选取和计算进行了研究，赵海超等[10]研究了基于多元联系数的水闸运行安全态势综合评判方法并实现了水闸运行安全状态的综合评估和发展状况的趋势预测。在具体应用层面，李达等[11]将多指标综合评价方法成功应用于上海市水闸安全鉴定的工作中。

基于大数据技术进行水闸安全评价研究很少，目前仍处于初始阶段，仅开展了数据挖掘方面基础性的研究。于国卿等 [12] 提出了一种以水闸监测数据挖掘为目的的数据预处理方法，并应用该方法实现了监测数据的预处理和数据挖掘。

因此有必要引入大数据等新的技术与理念，综合利用气象、水文、地质、安全监测、闸区上下游情况等多种来源数据或资料，建立多源数据协同分析体系，构造水闸安全评估和预测预警模型，基于大数据技术实现水闸安全性、适用性和耐久性等方面的评价，不仅可为水闸低风险运行提供支撑，也有助于提升水闸安全管理工作的水平。

1 应用架构设计

1.1 设计思路

针对传统评价数据源单一、综合性和智能化不高的问题，提出综合利用水闸管理相关的多源基础数据，建立基于大数据协同应用的框架和智能分析应用服务中心，提高综合性和智能化的安全评估能力。设计思路如下：

1）通过基础数据收集整理、共享交换和汇集融合等方式，汇集水闸工程安全运行管理相关的多源数据或原始资料，利用大数据处理技术对数据进行标准化处理与集成，建立规范化的、分布式的水闸安全观测数据库。

2）运用云计算、自动化数据融合、大数据分析计算等技术，基于数据挖掘、梳理统计、智能分析、机器学习等基础方法库，综合自组织建模与动态模型发现，从空间和时间等不同维度进行数据梳理与挖掘，建立水闸安全性、适用性和耐久性等应用评估分析算法库。

3）在此基础上，对业务应用需求解耦分析，结合大数据展示技术，建立通用的数据查询与展示服务接口，构建智能化、可视化、自助交互的水闸安全智能分析应用服务中心，为上层的水闸安全管理生产系统提供决策分析和可视化展示服务。

1.2 总体框架

基于大数据的基础理论，结合水闸工程安全管理数据现状，融入水闸安全性、适用性和耐久性等评价分析方法，对水闸安全评估大数据应用框架进行总体设计，总体架构如图 1 所示，采用松散耦合的架构，遵循大数据的处理流程，包含基础数据源层、数据集成层、数据存储层、数据分析层、应用适配层和可视化展示等，具体内容如下：

1）基础数据源层。数据源包括水闸工程基础信息、气象、水文、地质、安全监测、闸区上下游情况，以及基础地理和遥感影像等多种来源数据或原始资料，通过自动化监测、人工采集或收集、共享交换等方式获取，数据形式涉及结构化、半结构化和非结构化数据。

2）数据集成层。采用数据集成引擎，基于分布式技术架构，实现基础数据层中结构化、半结构化和非结构化数据的规范化治理和聚合等集成处理，并将处理后的成果装载至数据存储层的大数据文件系统中；对于互联网数据、人工收集资料等半结构化和非结构化数据，集成引擎将其转化为结构化数据，并支持实时、增量和全量的加载方式进行数据采集，解析和入库。

3）数据存储层。数据存储主要完成多源数据的融合存储，数据存储主要基于分布式文件系统和列式数据库等，辅以内存数据库实现流式计算的输出存储，通过关系数据库实现元数据、用户、权限配置等数据的存储管理。

4）数据分析层。数据分析层是整个框架最重要、关键的部分，由大数据分析计算引擎、基础算法库和水闸安全评估的应用分析库组成。大数据分析计算引擎主要包括并行计算框架、分布式通用和流式计算引擎；基础算法库由数据挖掘、智能分析算法、数理统计和机器学习等方法集构成；安全评估应用分析库在大数据分析引擎和基础算法库的基础上，建立针对水闸安全运行评估的应用分析库，包含安全性、适用性和耐久性的评估算法，以及综合性安全健康与风险评价模型等。

5）应用适配层。应用适配层主要基于大数据展示、BI 渲染引擎、服务组合封装等技术，提供大数据平台的数据资源、计算分析、查询展示等服务，通过标准化服务接口提供基本服务和方法调用，实现应用与数据的分离。

6）可视化展示。结合应用系统，将繁杂的数据和数据分析结果，分别融入到水闸安全管理的生产系统中，其与具体应用或模型相结合，可结合工作流引擎将应用适配层中的服务进行定制和组合，形成自动流程化的应用，并将分析结构以图表形式进行多样化的直观展示。

各层之间边界清晰，可根据技术发展和需求变化进行调整与扩展。其中，大数据智能分析应用服务中心是整个框架的核心，由基于大数据技术的数据集成、存储和分析，应用适配等 4 个层次组成，并配有管理平台对基础服务进行管理和监控。

图 1 水闸安全评估大数据应用总体架构图

2 关键技术实现

总体应用框架引入了大数据的技术与理念，在具体实现层面，基于大数据集成、存储、计算等方面都有成熟的方法、基础算法库，甚至开源产品等可以借鉴和调用，本研究不作进一步详细论述，只重点讨论涉及水闸安全相关的基础库和应用分析模型库的实现技术与方法，具体内容如下：

1）基础数据库。根据生产系统功能和数据产品需求逆推数据的组织模型，其过程主要包括数据的收集、整理和组合加工等数据汇集工作。a. 收集整理。主要有水闸基础、水工结构、地质等信息，监测数据，人工巡视检查记录，机械电气的指标参数等数据，对于纸质的信息还需进行数字化处理并入库。b. 共享交换。基于数据共享交换平台，从相关系统的数据库中交换获取，包括气象、水文、水闸运行状态信息等数据，以及水利空间地理信息及遥感影像数据。c. 汇集融合。通过数据分析成果的对接与集成，从相关专业系统中集成有关的分析成果数据。在多源数据汇集的基础上，借助 Sqoop，Flume 等 ETL 工具，对数据进行抽取、清洗、集成、转换、融合等规范化的数据治理，并将数据集成的成果，存入分布式的典型 NoSQL 非关系型数据库中，建立水闸安全评估与管理的基础数据库。

2）应用分析模型库。对水闸安全监测指标进行梳理，结合多种来源的相关数据，分类别建立安全性、适用性和耐久性等方面适合的指标体系与评价方法，利用大数据分析技术，构建水闸位移变形、应力荷载、机电设备适用性、寿命预测等模型，并建立综合性的风险分析模型，形成评估、预测、预警的综合性模型库。具体实现思路为 a. 基于关联规则、决策树、神经网络等知识发现算法，对水闸安全观测数据、历史大洪水、水温等数据进行协同应用与分析，建立变形位移、渗透、应力荷载等评估分析算法。b. 基于回归、聚类、多因子等分析统计关联方法，对水闸功能结构和机械电器设备等信息进行分析，建立适用性评价算法。c. 基于大数据统计分析模型，利用水闸监测资料，研究建立混凝土老化、钢筋混凝土损伤、闸门老化等使用寿命预测算法。d. 综合利用安全性、适用性和耐久性的评估算法模型，构建综合性的水闸安全健康与风险评价算法。