河南水利数据交换共享服务平台研究

2019-02-26

治淮 2019年1期

信息化是当今世界发展的大趋势，中国正处在信息化快速发展的历史进程之中，以云计算、物联网、大数据、智慧城市、互联网+为代表的新技术新业态迅速兴起，不断推动全世界、各行业发生深刻变革。河南水利历来高度重视信息化的规划和建设工作，建成了省、市、县三级互联互通的计算机网络系统和山洪灾害监测预警信息管理系统、水雨情遥测系统、远程视频监控等应用系统，但这些系统建设分散，采用多种技术架构开发而成，技术标准不统一，缺乏有效集成，不能实现互联互通和资源共享，数据资源复用度不够，造成了一定程度的资源浪费。

一、水利数据资源管理现状及存在问题

1.数据存储分散、安全性低、利用率不足

通过前期的水利信息化建设，初步构建了河南水利数据存储系统，但各类业务数据资源分散存储在不同业务部门，尚未建立统一的信息存储、管理和交换平台；数据割据现象严重、数据库之间互连互通不足，数据共享、交互效率比较低，数据安全保护管理手段落后。

2.缺乏统一标准体系，各部门之间数据资源交换各异

由于缺乏统一的数据共享交换标准，虽然目前河南省防办与水文、气象等部门实现了数据交换，但数据格式、交换工具、交换方法不统一，且没有数据交换过程的跟踪监控，存在着数据格式不统一、数据内容不统一等问题，无法为相应业务应用系统提供数据支撑。

3.缺乏统一的应用服务平台，业务应用系统整合困难

近年来，水利信息化部门提出了“统一规划、统一标准、统一开发、统一使用”的信息化建设原则，但在实际实施过程中，仍然面临新的问题与挑战，首当其冲的是没有一个统一的应用服务平台，使得业务系统建设各自为政，已建、在建乃至将建的各业务系统缺乏统一的技术架构，没有统一的数据访问及接口规范，难以实现数据和软硬件资源的有效共享。

二、水利数据交换共享平台设计

1.水利数据交换共享平台总体技术架构

水利数据交换共享平台依据云平台特点，依托河南省水利信息专网，采用东方通数据交换软件为中间数据传输通道、交换平台服务总线为核心的分布式系统架构，开发元数据管理系统、数据资源目录及数据交换管理系统，通过水利信息专网实现省水文局雨水情数据库、省水利信息中心视频图像监测数据库、省防办山洪调查评价数据、洪水风险图数据、省气象局气象数据库之间的对接，并在此基础上实现向省应急办数据库推送数据，数据共享交换平台总体技术架构如图1所示。

图1 数据共享交换平台总体技术架构图

图2 数据交换共享服务平台设计图

水利数据交换共享服务平台以面向服务体系结构（SOA）为框架，以服务总线技术（ESB）为基础，采取松散藕合方式构建。平台提供跨平台数据交换服务，对数据转换和传输过程实现集中统一控制和规范管理，同时保持各业务系统的独立性。

元数据管理系统用于对数据交换前置数据库和防办现有数据库进行元数据管理，实现数据的溯源管理，并对业务应用提供稳定的数据支撑。

数据交换共享总线是数据神经系统的重要组成部分，它主要承担适配功能、服务注册、数据检查和安全保障功能，连接网络中的各种数据源和服务对象，以中间件的形式向各种服务对象提供XML等数据服务。

数据的共享交换是基于交换平台服务总线来实现的，节点服务器之间不允许直接通信，减少数据库的访问压力，增强了数据共享交换的安全性。

2.数据交换方式

目前河南水利数据主要面临4种不同类型的交换需求，分别是原有系统的数据交换、新建核心业务系统的数据交换、新建非核心业务系统的数据交换、与外部系统的数据交换。

（1）原有系统的数据交换

采取平滑升级至非中心交换方式（直接交换）。由手工或点对点交换方式平滑升级到利用交换平台来进行数据交换，以解决其交换效率低、时效性差等问题，提高其交换效率和质量。同时，保留其数据格式，不作标准化转换，以保证原有系统的正常运行。

（2）新建核心业务系统的数据交换

采取中心交换方式。当河南水利数据中心交换库建成之后，通过数据交换平台向新建核心业务系统提供其所需共享的数据，同时新建核心业务系统中的数据也向河南水利数据中心交换库提供其可共享的数据，形成中心数据库与新建核心业务系统间的数据共享和交换，确保数据唯一、准确、规范。

（3）新建非核心业务系统的数据交换

采取非中心交换方式（直接交换）。不经过河南水利数据中心交换数据库，而是利用数据交换平台进行直接交换，以保证数据交换的效率和质量。

（4）与外部系统的数据交换

采取前置交换方式。因无法直接访问外单位数据库，则利用数据交换平台数据访问封装成Web服务，部署在安全区的前置机上，以此访问其它单位基于Web服务接口的数据交换系统，获取或提供相关数据。

3.数据交换范围

河南省水利数据交换共享服务平台通过水利宽带计算机网络上联水利部、黄河水利委员会、海河水利委员会、长江水利委员会和淮河水利委员会；下联省水利信息中心、省水科院和全省18个市水利局、14个市水文局、10座大型水库、4个大型水管单位以及134个县（市、区）水利部门等；通过光纤专线实现省防汛抗旱指挥办公室与省应急办、省气象局、省国土资源厅进行数据交换。

4.信息交换数据分类

以JMS、Web服务等形式对功能层各项功能进行封装后提供服务，主要包括文件交换服务和数据库交换服务等。文件交换服务接受文件交换请求，将文件交换到指定位置。数据库交换服务接受数据库交换请求，将数据库中的数据交换到指定的数据库中。

交换的信息主要包括实时雨水情数据、实时工情数据、山洪灾害预警信息、气象共享数据、国土共享数据、地理信息数据、遥感影像数据、墒情监测数据、洪涝灾情数据、三维空间信息数据等。

5.水利数据交换共享服务平台详细设计

水利数据交换共享服务平台采用多点交换、集中管理的软件架构。交换节点的数据交换共享采用发布订阅的模式。

如图2所示，在数据交换共享服务平台中，主要包括两大功能模块：管理中心、交换节点。

（1）管理中心

管理中心包含统一配置管理和统一监控管理两个子模块。

①统一配置管理

统一配置管理提供交换基础信息配置，交换业务配置及系统管理，所有的交换基础信息例如交换节点、交换通道、交换拓扑、数据发布、数据订阅等都在此模块统一配置管理。

②统一监控管理

包含交换环境监控、交换业务数据监控，通过监控管理模块，用户能更好的监控整个交换环境和数据交换的情况。

（2）交换节点

交换节点提供从交换数据库采集数据、数据处理、传输、入目标库等整个交换环节的处理能力。

交换节点可分为前置交换和数据传输两个模块。

①前置交换

包括数据抽取、流程触发，数据处理等模块，这里主要包含了不同的数据抽取模式、触发模式及数据处理等。

②数据传输

数据传输链接，可根据业务需要配置为长链接和短链接，同时支持断点续传，加密，压缩，对数据安全可靠传输提供有力的支持。

在一个中心节点，多个交换节点的数据交换共享平台中，中心节点包含了一个管理中心和一个逻辑节点；交换节点由于不需要管理功能，所以不必部署管理中心。

管理中心是一个B/S 管理监控服务，提供平台的配置管理以及监控功能，所有的交换配置、管理及监控都可以通过此服务完成。

交换节点底层通过TI 和TLQ 来实现数据交换；完成了对本地业务数据库的数据抽取、加工转换及打包等工作，打包后的数据通过各个节点上的消息中间件（TLQ）完成可靠、完整、安全的传输。

由于中心节点在数据共享交换平台系统中比较关键，同时各交换节点的数据汇总到中心的数据量比较大，为保证系统的可靠性和稳定性，对中心节点做双机热备是个不错的方案。

（3）数据交换共享服务平台应用

河南水利数据交换共享服务平台，以省水利厅为管理中心，省水文局、水利信息中心、省气象局、省应急办为交换节点。平台的建成，解决了水情中心雨水情数据、省水利信息中心视频图像数据、山洪调查评价、洪水风险图数据、气象局气象数据、省应急办数据之间的文件、数据交换问题，提高了水利数据安全和利用效率，初步制定了数据共享交换标准，管理中心和各交换节点协同运行，为河南水利省、市、县三级信息化业务开展提供了坚实的数据支撑。

省水利厅管理中心，接收各交换节点传输上来的数据，整理后写入数据中心，并监控管理各交换节点的运行情况。

省水情中心雨水情数据—交换节点，定时向管理中心同步雨水情的增量数据及修改的基础数据。

省水利信息中心视频图像数据—交换节点，定时向管理中心同步信息中心视频图像的增量数据及修改的基础数据。

山洪调查评价、洪水风险图数据—交换节点，定时向管理中心同步山洪调查评价、洪水风险图的增量数据及修改的基础数据。

省气象局气象数据—交换节点，定时向管理中心解析、同步省气象局气象共享的气象数据及修改的基础数据。

省应急办数据—交换节点，定时向管理中心同步省应急办数据的增量数据及修改的基础数据。