黄岩实时水雨情异构数据库整合实践

汪荣胜,方琛亮,周 强,郑 毅

(浙江省水利河口研究院,浙江 杭州 310020)

1 问题的提出

黄岩水雨情实时监测起步较早,当时由于国家水雨情标准数据库尚未实施,再加上施工单位的不同,所采用的水雨情数据采集终端及数据传输协议不一致,导致采集软件不通用、水雨情数据库库表结构也不相同,老的与新的遥测数据不能进行简单合并,查询也就比较麻烦,给实时水雨情的业务应用带来了一些困难。在日常应用中,系统出报表速度太慢,影响了防灾减灾的实时性。由于实时水雨情数据库是一个数据量大,实时要求相对较高的数据库,库中包含了大量有价值的信息,充分利用这些信息将大大提高水情、雨情工作的工作效率,为使用户高效地访问数据库,快速获取关心的信息,更好更快地满足防汛决策对实时水雨情信息监视、查询、预警以及预报调度等各种应用的需要,因此,有必要对已有数据库进行合并并对历史保存的数据进行整合,对水位雨量流量等实时水雨情数据库进行优化设计。

2 合并数据库的设计

2.1 设计的目标及原则

设计目标:设计一套具有高效访问速度的实时水雨情数据库。

设计原则:在《国家防汛指挥系统工程实时水雨情数据库》的基础上针对业务应用进行扩展,具体原则包括:

(1)规范命名。所有的库名、表名、域名必须遵循统一的命名规则,并进行必要说明,以方便设计、维护、查询。

(2)尽可能减少数据冗余。

(3)以高效访问性能为第一目标,兼顾数据库范式要求。

(4)能同时满足防汛决策支持、实时水雨情预警、实时水雨情数据入库对数据库的要求。

2.2 数据业务应用分析

实时水雨情数据库的数据业务主要包括以下信息:雨量、水位、流量、风速、风向、空气湿度等,其中对水利部门来说最重要的是雨量、水位、流量数据。以下对雨量、水位、流量数据作具体分析:

雨量:雨量数据的采集最小单位是0.5 mm,随着雨量计的不同,有的每隔1个单位的时间往数据中心发1次数据,有的做最少累计时间的限制,最小采集间隔可以达到秒级。最终可以得到前一发送数据时刻至当前时刻的雨量数据。雨量数据常见的业务应用有:降雨等值线图、单测站数据查询、对比数据查询、全站数据查询、不同时间跨度 (15,30 min;1,2,3,6,12,24 h;1 d;1旬;1月;1 a等)的雨量统计功能,报表服务,雨量预警,面雨量计算,产流计算等。

水位:水位数据的最小单位是1 cm,部分采集终端采用定时测量定时发送至数据中心,部分采集终端采用水位变化即把采集到的数据发送至数据中心。最终得到的当前时刻对应测点的水位,最小采集间隔可以达到秒级。水位数据的常见的业务应用有:水位单测站数据查询、对比数据查询、全站数据查询、不同时间跨度(同上)的水位统计功能,报表服务,水位预警,水位趋势预报等。

流量:通过采集终端得到的数据是当前时刻的流量,最小采集间隔可以达到秒级(超声波)。流量数据的常见的业务应用有:流量单测站数据查询、对比数据查询、全站数据查询、不同时间跨度(同上)的流量统计功能,报表服务,流量预警,流量趋势预报等。

数据流程图:数据从采集雨量 (水位、流量)终端,通过传输网络至中心数据库,在中心客户端软件的支持下得各种应用,数据流程见图1。

图1 数据流程图

2.3 设计方案

国家实时水雨情数据库提供了从冰情到风暴潮,从降水到含沙量,从河道到闸坝等多种信息的存储逻辑结构。针对黄岩业务应用,经过分析设计,在国家实时水雨情数据库的基础上加以扩充进行合并数据库的设计,合并后的数据库库表见表1。

表1 合并后的数据库库表

由于数据量的多少和遥测点的多少直接相关,因此,对一些遥测点比较多的地区则可以把存放雨量、水位、流量等数据按测站类型分别存放于相同表结构的表中,如雨量可以分水库雨量站、河道雨量站、闸门雨量站等。这样可以把大表分成若干个小表以提高性能。这个设计方案的特点是:

(1)此方案符合国家发布的实时水雨情数据库标准。

(2)数据按使用频率分表,分为最新数据、最近场雨数据、全部数据几种类型的表。

(3)数据整理日常化,即以小时、日为统计间隔分别对遥测数据进行统计,这样做的目的是为了提高统计时的性能。

(4)若遥测点多,还可以按类型把大表分成若干个结构一致的小表,提高性能。

设计完成后的实体关系图见图2。

3 数据合并流程

合并示意图如图3所示。通过新建中心数据库,把数据源A及数据源B中的数据以数据库同步技术同步到中心数据库。其中数据库同步技术主要有数据订阅、数据库复制、触发器等。中心数据库通过定时统计与外部程序交互功能实现数据日常整理和快速访问。下面介绍2个核心存储过程:

(1)某数据源A中的表R AIN中插入的数据触发至中心数据库中的NTS—SYQ.ntssyq.dbo.RAINTIME表中。

图2 设计完成后的实体关系图

图3 数据合并示意图

4 元数据设计及数据导入

由于历史的原因,有些数据是以文件的形式存在,这部分数据涉及多个数据表,但有一定的规律性,通过建立文件源元数据可以实现数据导入到中心数据库。文件源元数据字段为:文件路径、导入表名、站码。

5 应用效果

通过整合,黄岩区原来在每台终端电脑上的数据库迁移到专一数据库服务器上,通过查询软件可以方便地查询到所有站点的水雨情数据,并基于整合后的数据库建立防汛预警系统。系统主界面见图4。

图4 系统主界面图

6 结 语

(1)数据库设计应与使用紧密结合,水雨情数据在防汛中很重要,访问数据一定要快。利用本文方法,在获取实时数据、最近一场雨数据时会快很多。

(2)采用统计日常化的设计在涉及海量数据统计时具有明显的提高性能作用。

(3)文中方法在浙江省台州市黄岩区数据库整合中进行了应用实践,取得了较好的效果。