吉林省水文数据库系统设计与开发

赵晶东

（吉林省水文水资源局（吉林省水环境监测中心），吉林 长春 130022）

吉林省水文数据库系统设计与开发

赵晶东

（吉林省水文水资源局（吉林省水环境监测中心），吉林 长春 130022）

根据吉林省水文数据中心建设的需要，吉林省开展水文数据库系统的设计与开发，主要从数据库系统、数据仓库系统和数据共享等 3 方面进行设计。根据吉林省水文数据的分类、数据库的组成，分析水文数据管理平台、信息资源目录的设计情况，从数据的抽取、转换、加载阐述吉林省数据仓库系统的建立。利用设计与开发的水文数据库系统，可实现省级水文局与部水文局、下属各水文分局、其他单位数据中心的数据汇集和交换，保证数据在各部门、机构之间的正确地传递，为当地防汛部门提供准确的水文信息。

水文数据库；数据仓库；设计与开发；应用平台；资源共享

0 引言

水文工作是国民经济建设和社会发展中的基础，负责水文水资源、水环境监测和行业管理等工作。只有充分利用现代化信息技术开发和利用水文信息资源，提高水文信息资源的应用水平和共享程度，才能进一步提升水文行业的技术和管理水平，适应和满足国民经济建设、社会发展及新时期治水思路对水文行业的新要求。近年来，随着水文投入的不断增加，吉林省水文水资源局坚持实践科学发展观，积极推进水文信息化建设工作，不断进行技术改革，水文信息化手段和技术有了较大发展，但由于水文信息化基础薄弱，已建立的水文业务应用信息系统较少，水文信息技术应用零散，缺乏统一性、协调性，因此，目前吉林省水文信息化建设仍处于起步阶段。

为推进吉林省水文信息化的建设[1-2]，建设吉林省水文数据库系统可以让决策者们更直观地获得决策所需的常规水文及水资源数据，为防汛抗旱决策提供及时、准确的信息支撑。

1 水文数据库系统设计

水文数据库系统的设计与开发首先要解决水文数据资源分类的问题。为了便于管理和使用，把具有共同业务属性或特征的水文数据资源归并在一起，通过类别的属性或特征对水文数据资源进行区别，以建立水文数据资源目录分类体系，实现水文数据资源采集、管理、查询服务及共享，以便有序地管理和开发利用水文数据资源。

1.1 水文数据分类

根据吉林省水文数据的业务特点，分为水文、多媒体、空间、资料档案、基础信息和行政管理等6 大类基础数据。

水文数据又包括实时雨水情、监测预警、洪水预报、旱情墒情、水环境和地下水等专用数据；多媒体数据包括音频、视频等多媒体流数据；空间数据包括行政区、城镇与农村居民点、地形、河流、水库、水系等国家基础层面数据，以及遥测站点、重点区域等水文业务层面数据；资料档案数据包括水文资料目录数据、业务日常办公文件、档案数据和相应的管理数据；基础信息数据包括行政区划、水系流域、水库基础、河道闸坝基础等数据；行政管理类数据可分为自动化办公、人事、财务等专用数据。

1.2 水文数据库组成

数据库群由元数据库（资源目录数据库）、主题数据库（数据仓库重构），以及基础和专用数据库4 部分组成[3-6]。

ETL（Extract-Transform-Load，抽取、转换、装载）负责将分布的、异构数据源中的数据（如关系数据、平面数据文件等）抽取到临时中间层后，进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。吉林省水文数据的 ETL 过程如图1 所示。

图1 数据库组成（ETL）

1.3 水文数据管理平台设计

数据管理平台主要由信息资源目录管理和数据仓库系统 2 部分功能构成，通过对信息资源目录管理实现部门间数据资源的共享和管理；数据仓库存储详细数据及必要的汇总数据，支持水文水资源局所属各个部门的业务处理与分析。

数据管理平台总体架构如图2 所示。

1.4 水文信息资源目录管理

1.4.1 水文元数据库设计

元数据是关于数据的描述性数据信息，是实现数据共享的核心内容之一，因此应当尽可能多地反映数据集自身的特征规律，以便用户通过元数据检索、访问数据库，可以更有效地利用数据资源，对数据进行加工处理和二次开发，以促进数据集高效利用和充分开发，采集或共享的实时雨水情、水环境、墒情及站网等水文业务基础数据统一作为整个系统的元数据。

1.4.2 水文元数据分类

1）技术元数据。技术元数据是存储关于商业智能系统技术细节的数据，是对商业智能系统结构的描述，包括对数据源、数据转换、抽取过程、数据加载策略及对目标数据库的定义等内容，还包括数据仓库使用的模式、视图、维度、层次结构、类别和属性的定义，以及立方体的存储模式等信息。

总之，技术元数据提供给系统管理和数据仓库开发人员使用，管理人员需要了解操作环境到商业智能环境的映射关系（即 ETL 数据抽取的映射关系），数据的刷新规则，数据的安全性，数据库优化和任务调度等内容；数据仓库开发人员需要了解度量值和维度定义的算法。在实际商业智能开发过程中，业务元数据和技术元数据是相互关联的，对元数据的深刻理解是数据仓库应用和维护的基础。

2）水文业务元数据。将水情、雨情、墒情、水环境、地下水等水文日常业务办公的数据作为业务元数据。从业务角度描述数据仓库中的数据，提供介于使用者和实际系统之间的语义层，使水文业务人员能够理解数据仓库中的数据。

图2 数据管理平台结构

3）内联映射元数据。内联映射元数据从技术上为业务需求、企业数据驱动的双驱动建设模型提供重要保证，使信息系统的建设具有更高的灵活性与适应性。

1.4.3 水文元数据组织框架

依据元数据标准，元数据内容包括 8 个不重复使用的主要子集和 5 个可重复使用的次要子集，用于全面描述数据集、数据集系列、要素和属性。元数据的标准体系结构如图3 所示。

1.4.4 水文元数据更新维护管理

水文业务涉及多个应用系统，这些应用系统具有多样性，每一个系统对数据的要求有很大的差异。这就要求数据中心需在满足信息通用规范的基础之上，开发一整套包含对基础数据的加工、整理和综合模型或算法的数据整合系统。

在建立水文元数据服务体系的基础上，实现各部门级数据的自动更新机制。对于集中存放的水文数据集在责任部门维护后，水文数据自动上传到制定目标位置，并且自动更新水文元数据编目，形成完整的水文数据流，为应用系统建立起高性能的水文数据基础。

图3 水文元数据组织框架

1.5 水文信息资源目录设计

水文数据资源目录分为以下 3 个目录：

1）业务目录。用于指明业务类别，按单位、部门划分，然后以各自的业务事项、业务子项、办理过程中的主要流程节点逐级展开。

2）资源目录。用于指明各业务类别所需自有数据资源，为了便于管理和使用，也按照单位、部门划分，然后以各自的业务事项、一级子项，将数据资源归并在一起，通过类别的属性或特征对资源进行区别，以建立水文数据资源目录分类体系，具体实现水文数据资源采集、管理、查询服务及共享，以便有序地管理和开发利用水文数据资源。

3）共享需求目录。指明本单位或部门的实际业务工作中，需要由其他部门、单位提供的数据资源。

2 水文数据仓库系统开发

数据仓库系统根据应用主题，按中间或专题数据方式，对所需信息进行重组与管理。数据仓库开发，要求首先通过中间数据的建设，实现数据的合理重构，消除过多的冗余，并且保证不同应用使用的数据是一致的；进而构建专题数据库（数据集市），提供统一的、高度集成的水文数据资源支持水文业务管理。

2.1 水文数据仓库系统建立

建立水文数据仓库系统主要的实现技术为 ETL技术。

水文基础和专用数据来自不同的途径，其数据内容、格式和质量有所差别，而且主要支持日常的业务应用，对一些高级的分析和决策支持不够。因此，在水文数据仓库建设过程中，需要实现数据模型的重新构造，并将基础和专用数据库层数据转换、装载到不同结构的数据仓库的主数据库中，基于主数据，还要进一步面向决策分析，生成主题数据，构建水文数据集市。

2.2 水文数据抽取

数据抽取是指将水文业务数据从基础和专用数据库中，或者备份在磁带/光盘上的大量历史数据、文件、外部数据等数据，抽取到吉林省水文局专项数据库的过程。在水文信息数据抽取过程中，对于不同水文数据平台、水文源数据形式、性能要求的业务系统及不同数据量的水文源数据，须采用不同的接口方式。为保证抽取效率，保障生产系统水文数据库的安全，在具体实施过程中不赞成采取与生产系统数据库直连的方式。

2.3 水文数据转换

水文数据转换是指对抽取的水文源数据根据数据仓库系统模型的要求，将数据从一种表示形式变为另一种表现形式的过程。

2.4 水文数据加载

按照加载的目标表，将转换过的水文数据输入到目标表中。若目标表中已有数据，装载时会先删除这些数据，再装入新数据。对不同水文业务系统的数据采用不同的加载周期，但必须保持同一时间业务数据的完整性和一致性。

3 水文数据共享

3.1 水文数据交换系统

吉林省水文数据交换系统是利用吉林省水文水资源局的数据存贮、管理中心的基本架构，实现省级水文局与水利部水文局、下属各水文分局、其他单位数据中心的数据汇集和交换，保证数据在各部门、机构之间的正确传递。

水文数据交换系统通过统一的规范和标准，交换的数据格式和本身都采用统一的数据文件格式进行描述，消除由于应用范围、构建方式、系统结构、数据资源等方面产生的各机关系统间的差异，实现信息的高度共享，保证数据交换的透明、简便、可靠、安全。

水文数据交换系统与各数据中心的关系如图4所示。

图4 水文数据交换平台关系

由于各级部门水文数据采取分布式的方式进行存储，所以必须进行数据交换体系的建设。数据交换平台采用先进的中间件技术实现不同应用之间的信息交换与共享，保证各系统之间信息交换的畅通。数据交换平台的建设过程中还需制定统一的数据交换规范或标准，由数据交换管理平台完成。

3.2 水文数据安全

为保证水文系统及数据的安全，应选择具有较高安全性的操作系统，作为数据仓库和数据库服务器的操作系统。在此操作系统中，进行备份与恢复设计，建立对系统内部软件和数据的定期备份制度，具有数据自检查能力。对于错误的数据输入，系统会显示警告信息，使用户重新输入直到正确为止。对于非法用户或非法篡改的数据，系统在每次启动前将予以检查，自动排除或提示用户排除。

4 结语

吉林省通过开展水文数据库系统的设计与开发，建立综合水文信息数据汇集中心。通过遥测数据接收、人工录入、数据上传、数据交换、数据共享等手段将全省各种水文信息汇集到一个数据平台下，实现统一标准、格式、管理。同时整合现有水文数据库、水文站网信息、水文测验信息等各分散孤立的信息到一个综合数据平台下，建立水文水资源信息服务体系。建立水文信息资源中心，构建水文水资源信息综合平台，初步实现互联互通和资源共享的信息服务系统，提升水文的决策支持和公众服务能力。

由于水文信息化还处于起步阶段，各种信息基础设施与共享机制仍不配套，导致有限的信息资源共享困难。在信息共享方面，没有将本系统监测到的雨水情实时信息通过公网或专用网络通道传输到气象、国土、财政、地震等部门及当地政府，如这些单位暂时不能接受本系统雨水情数据，可保留软件的信息共享接口，有待其他部门开发完成后实现共享。

[1] 艾萍，唐燕，黄藏青.水利信息化标准体系建设探讨[J].水利信息化，2013 (2): 1-5.

[2] 艾萍.水信息工程引论[M].武汉：长江出版社，2010: 123-138.

[3] 成建国，钱峰，艾萍.国家水利数据中心建设方案研究[J].中国水利，2008 (19): 32-34.

[4] 张锦珠.数据中心平台的一种设计与实现[J].信息安全与技术，2011 (12): 46-49.

[5] 莫渭浓.水利数据中心建设初探[J].中国水利，2002 (8): 57-58.

[6] 莫荣强，艾萍，吴礼福，等.一种支持大数据的水利数据中心基础框架[J].水利信息化，2013 (3): 16-20.

Design and Development of Hydrologic Database System of Jilin Province

ZHAO Jingdong
(Jilin Provincial Bureau of hydrology and water resources (Jilin Provincial water environment monitoring center), Changchun 130022, China)

According to the need of Jilin province hydrology data center construction, it carries out the design and development of hydrologic database system of Jilin Province.It mainly carries on the design from three aspects of the database system, data warehouse and data sharing.According to the classification, the hydrological data of Jilin province database, the article analyzes the design of hydrologic data management platform and information resource catalog.From data extraction, conversion, loading, the data warehouse system is established in Jilin province.Using the system, it can realize data collection and exchange between the provincial hydrological bureau and ministry hydrology bureau, subordinate to the hydrological bureaus and other unit data centers.It ensures correct transmission of hydrological information between departments, agencies, and provides accurate information for local flood control departments.

hydrological database; data warehouse; design and development; application platform; resource sharing

TP39；P331

A

1674-9405(2014)05-0021-05

2014-07-18

赵晶东（1973－），吉林长春人，高级工程师，主要从事水文监测和站网评价及水文资料整编工作。