多异构数据库环境下的北京水文集成系统研究与实现

臧 敏，李 凯

（北京市水文总站，100089，北京）

多异构数据库环境下的北京水文集成系统研究与实现

臧 敏，李 凯

（北京市水文总站，100089，北京）

针对水文数据分散管理、各个专业系统自成体系等问题，结合水文产品服务需求和构建智慧水务等要求，开发了面向管理层用户的北京市水文集成系统,形成为防汛指挥、地下水管理、水环境保护、水质水量考核、水资源管理等服务的专业平台。系统为水务事业提供了专业性、实时性、可视性的水文产品，解决了多异构数据库环境下的水文数据集成问题。系统本身具有良好的扩展性，可为后续水务大数据、云计算、移动互联等提供接口，有很好的示范性和创新性。

水利信息化；系统设计；水文数据；集成平台；北京

一、北京市水文集成系统开发研究背景

在“大水文”发展战略引领下，北京市不断优化水文站网布局，推进水文站网建设，布设了满足防洪、水资源、水环境、水生态等各种不同需求的水文站点，形成数量上千的水文站网，并且建设了各专业的水文监测和管理业务系统。经过多年的运行，北京水文积累了庞大的实时数据、历史整编数据以及阶段数据分析成果，形成了不同管理软件、库表结构不同的多异构数据库。这些水文数据分散管理，各个专业系统自成体系，未与水文行业管理和服务体系等工作进行融合，不能形成统一专业的水文服务产品。

随着现代通信、计算机技术和网络技术的快速发展，信息化项目建设对于提升效率和效能作用越来越明显，这也是物联网、云计算等新一代信息技术发展应用的趋势。北京水文是支撑首都水务事业发展的基础，根据水文服务的需求和智慧水务构建的要求，需要解决多异构数据库环境下的水文数据集成问题，形成地表水、地下水、水环境、水生态等统一的专业体系，开发出基于水文数据分析的水利信息化产品。该水文产品要达到实时感知和全面感知，做到为水务管理决策提供可视化的数据展示，为防汛抗旱指挥调度、水资源配置、水环境治理、水生态修复等提供全面的、精准的决策服务，这也是目前水文行业在服务方式方面需要转变和加强的工作内容。

二、水文集成系统技术

积极研究大数据、云计算、物联网、移动互联等技术应用是全国水利信息化“十三五”规划提出的具体任务。北京水文集成系统首次尝试使用大数据、云平台等技术，并且基于.NET平台、Oracle数据库和GIS技术，开发了Browser/Server模式的、面向管理层用户的水文集成系统,形成为防汛指挥、地下水管理、水环境保护、水质水量考核、水资源管理等服务的专业平台。在实施上从三方面进行了突破，一是物联网框架下的水文信息采集、传输、交互等关键技术，集成融合后形成水文大数据；二是面向在线服务的虚拟化云平台建设，保证系统运行高效、快捷；三是形成水文特点的数据可视化分析和展示，提供动态、全面的水情新视野，最终实现水文数据向水文产品的转化。

1.多异构数据库交换架构实现水文大数据的交互和存储

水文数据来源多样化，主要为实时遥测数据、阶段成果数据、外单位业务数据等。数据存储方式差异化，采用格式为关系数据库存储（Oracle或SQL Server或DB2）、文件数据库存储 （Excel文件）。数据库表结构也不统一，同一指标的字段名称、类型、长度都不一致。基于以上数据标准不统一，需要提升开放和易于扩展的异构数据集成能力。

研究采用可提供Web Service服务的中间件，解决不同格式数据资源的综合利用问题，具体是通过建立关系型数据库之间、关系型数据与系统数据之间的转换映射机制，实现各种主流数据库间的类型转换。通过创建可重复使用的数据交换方案，记录源和目的数据库对象映射、相关数据表映射、相关字段映射等信息，实现了所有水文数据的交换融合，并具有很好的通用性和兼容性，数据同步延迟保持在5秒以内。

2.虚拟化云平台服务水文大数据的存储和应用

水文数据涉及地表水、地下水、水环境、水生态等多个领域，据统计，水文行业自身监测的数据占水务行业可利用数据总量的70%以上，提升水文的综合服务能力在于水文数据的有效融合。通过近几年水文数据的交互融合，本地数据库条数达6 500万条，预计每年还将以近百万条的速度增长，仅依托硬件的高配置远远不能解决水文大数据的快速查询、展示等功能。为解决这一问题，水文集成系统利用虚拟化云平台技术，减少物理服务器的数量，并按需生成虚拟云计算主机，最大化利用并提高硬件资源利用率，对大数据的存储和使用进行有效管理。

建立了基于虚拟化技术，由多台高性能的服务器组成的云平台，采用Active/Active模式设计，虚拟机分别在各台主机上运行，进行高效、动态资源分配。同时虚拟化云平台具有可扩展特性，可以在现有资源池中继续添加物理资源，更大提高资源的使用率和云计算平台的服务能力。虚拟化云平台技术的应用，极大提升了平台运行速度，用户体验实时、快捷。

对于系统瘫痪恢复问题，传统的双机热备架构在设备故障或系统宕机的情况下，完成系统恢复一般需要2～3天，远不能满足水文应急服务的要求。利用虚拟化技术可实现快速恢复，一般故障10分钟内恢复，严重故障1～2小时内恢复，末端光纤存储设备在虚拟化基础上又增加了保险系数，可为虚拟化平台中的所有业务系统进行服务。同时为了彻底解决宕机的可能性，增加了具备实时同步和集群功能的紧急备份设备，从而保证整个系统运行稳定，避免宕机的风险，提高系统在极端环境下的抗风险能力。水文集成系统具体部署见图1。

图1 水文集成系统部署物理图

图2 水文集成系统应用架构图

3.融合水文特点的数据可视化分析和展示

水是基础性自然资源和战略性经济资源，是生态环境的控制性要素，弄清水的特征和规律，必须运用大量水文数据进行支撑和分析研究。监测对于水文行业来说，是一项最基础的工作，最基本的水文要素包括降水量、水位、流量、蓄水量、地下水埋深、水质以及水资源量、富营养化程度、水生态健康指标等，这些专业数据支撑着全市地表水、地下水、外调水等的资源化管理。

水文数据展示的设计，需要以管理层用户等为中心，定位于服务功能，从防汛指挥、水资源管理、水环境保护、水生态修复以及各项指导意见和办法等方面出发，利用时间、空间等维度进行动态展示，形成一种基于数据查询使用的高级形态产品。该系统除了进行水文基础信息管理外，更是展现全市水文水资源情势的新视野。

通过开发建设，北京市水文集成系统实现水文站网的统一管理功能，综合展示站网规划和布局，并与其他水专项规划建设进行衔接。系统实现防汛指挥的多维需求功能，从点到面（全市）、从点到线（流域）全面展示降雨时空分布、洪水过程、视频监控、洪水预报、洪水预警等多维的水文信息和成果。该系统实现了水资源管理的支撑功能，全面展现平原区、各行政区、各点的地下水埋深情况和变幅，实时监视水功能区、地下水、黑臭水体等水质状况，反映全市水环境现状与目标。系统还实现了京津冀水文信息的共享功能，实现京津冀报汛站点数据等信息的统一展示。水文集成系统应用架构见图2。

三、结语

伴随着信息通信技术的迅猛推进，水文数据的融合、互通、应用是智慧水务带来的高级形态。

通过对水文数据的集成融合工作，实现水文数据可视的全新视角，利用网页、手机APP的双轨应用，北京水文服务能力将得到又一次提升，既能使全市水务行业的管理人员和技术人员了解水的基本情势，对水文水资源信息进行自动、实时、全面、精准的感知，又能满足于本单位技术人员对资料的使用管理，提高工作效率和质量，发挥信息化系统的整体效能，这也是智慧水务理念在水文行业内的一次创新尝试。

[1]杨明祥，蒋云钟，田雨，等.智慧水务建设需求探析[J].清华大学学报，2014（1）.

[2]中华人民共和国水利部.全国水利信息化“十三五”规划[R].2016.

责任编辑 张金慧

Formation of an integrated hydrological system with multiple heterogeneous databases in Beijing

Zang Min,Li Kai

In order to improve hydrological service and satisfy needs of smart-hydrology,an integrate hydrological system especially for managers has been developed in Beijing,so as to overcome deficiency caused by separate collection of hydrological information and individual database owned by various agencies.Now a professionalized system is employed for flood control commanding,groundwater management,environment protection,assessment of water quality and quantity management.The system can be used for integration of hydrological data under the condition of multi-heterogeneous database,with provision of professional,real-time and visible products.Having features of demonstration and innovative,the system can be widely extended by providing interface for the application of big data, cloud computing and mobile internet in the next stage.

water resources informatization;system design;hydrological database;integration platform;Beijing

P33

B

1000-1123（2016）18-0011-02

2016-08-17

臧敏，高级工程师。