浙江省水利基础数据更新机制的研究与应用

2015-11-24边国光张仁贡金宣辰

水科学与工程技术 2015年3期

边国光，张仁贡，金宣辰

（1.浙江省水利信息管理中心，杭州310000；2.浙江同济科技职业学院，杭州311231）

1 水利基础数据中心建设的意义

水利基础设施主要包括：水利信息网、水利基础数据中心和水利信息采集的设施，其中水利基础数据中心完成了数据的访问服务，水利数据信息的汇集与存储、通用业务应用服务与逻辑管理；而业务应用由两部分组成即用户应用和支撑应用。其中，支撑应用是指以公共服务为方式，由数据中心进行统一管理，其中包括了公用处理的业务逻辑。水利信息的数字化在某种程度也反映了水利信息化的水平。水利数据的集成程度越高，其种类和数量也越丰富，水利信息化资源的开发与利用价值也就越大。

存储和管理、汇集、服务和交换水利基础信息数据的中心称为水利基础数据中心，是水利信息化建设的最重要基础部分。浙江省水利数据中心在国家及行业的标准下，按照浙江省水利信息化建设“十二五” 规划的要求进行建设。主要包括了数据交换平台、数据实体、支撑应用与服务等部分内容。水利数据中心通过提供各类信息服务，深化了水利信息资源的开发利用，通过有序汇集水利信息，形成了有用和可用的水利信息资源，达到了实现信息共享、规范信息表示、降低业务成本、改进工作模式和提高工作效率的目的。

浙江省水利基础数据中心是一个面向全省水利信息化建设的核心共享型数据平台，在水利信息存储、管理、汇集、交换和服务的过程中发挥了核心作用。通过建设水利数据中心，可以实现信息资源的共享化和配置的最优化，使业务应用多目标、多层次的综合信息服务需求得到了满足。这些需求包括水资源管理数据库、水文基本数据管理数据库、水利工程基本信息数据库、水利空间管理数据库、水利技术标准管理数据库和水利行政管理基本信息库，具有集中分布式数据管理、多专题（水利状态监测实时数据、水文水资源数据、水行政业务数据、地理空间数据、水利技术标准数据、多媒体数据等）、多源（业务处理系统、基础数据采集和监控系统、国土气象等横向数据接口）、多层次（省、市、县三级联动）、水利信息资源集中管理、海量数据等特点，安全规范、共享服务的浙江省水利数据中心，对水利基础数据的可靠性、准确性及可扩展性方面的要求很高，基础数据的准确性、完整性必须有较好的保证，随着基于水利普查数据的浙江省水利基础数据中心的推进建设，存储数据的更新问题，即如何使浙江省水利基础数据中心，形成省、市、县联动维护更新机制，已经成为迫切需要解决的问题，对数据中心的存储数据更新机制的研究，对水利信息化基础设施建设具有重要意义。

2 水利基础数据中心建设的总体方案

水利数据中心由 “信息服务”、“信息汇集与存储”和“支撑应用”等部分组成，它们之间是不可分割的逻辑部分，而数据信息的汇集与存储是丰富水利信息化资源的技术措施。

水利基础信息数据是通过汇集和存储，在各级节点上形成了数据表。数据表是信息汇集为资源的核心环节。水利基础数据中心的数据库是信息数据资源整合和同化的基础，是信息标准化的重要技术措施。系统总体方案设计如图1。

图1 系统总体方案设计

从图1可知，将对浙江省水利基础数据中心的数据进行分析与归类，针对不同来源数据、不同类型数据，提出更新的流程和方案，总结出多种更新的模式，针对不同更新模式，选取典型案例进行分析，分析省市县各级业务和基础数据颗粒度，从技术标准体系、省市县三级联动机制、安全体系、管理体系、循环体系、保障体系等多个角度，形成数据更新机制。

2.1 水利基础数据的分析设计

2.1.1 分析存量的数据

分析、收集省中心现有的数据，包括水资源、水文、水利管理、水工程中的数据。

2.1.2 分析增量的数据

根据水利业务活动，分析今后进一步扩充增加的数据内容、数据类型。

2.1.3 理清数据管理的思路

针对日常管理工作中产生的数据和其他水利基础数据，以数据更新的频率为参考，划分业务层的数据、基础层的数据、管理层（架构层）的数据、动态层的数据。

按照“数据分层、层中有类、类中有别”，平台内的数据“不交叉、不重复”为原则，对平台内的数据，设计了“分层别类”的管理方法；分析了各类数据的应用对象和使用要求，按类和层设计了相应数据管理的措施。在兼顾中间的数据、动态的数据基础上，着重放在水信息数据中心平台中数据的存储和更新上。

2.2 数据采集和数据更新机制设计

围绕数据“如何获取、如何更新、谁来更新”等问题，进行采集系统的设计。

以省数据中心的数据为对象，以提高数据“新鲜度”为目标，树立数据的权威性，以及时更新完善数据平台中的数据要求，绘制了数据来源及汇聚图，分析了数据来源和流程，设计了数据采集更新的途径和方式。

水利基础数据中心的数据分析工作，包括数据结构、数据类型、数据来源、数据渠道等分析，以数据分类和分层为主要手段，根据数据特点和应用的要求，梳理数据和应用之间的相互关系，分析了各类基础的数据及数据管理的维护部门，为提出数据更新模式打下坚实的基础。

2.2.1 分析存量的数据收集、分析省中心的现有数据，包括水文、水资源、水工程、水利管理中的数据。

2.2.2 分析增量的数据根据水利业务活动，分析今后会进一步扩充增加的数据类型、数据内容。

2.2.3 数据的分层分类数据分析技术研究路线如图2。

图2 数据分析技术研究路线

2.3 数据汇聚方案编制

以数据流的管理为视点，从项目的建设、数据的来源开始分析，以项目的实施和建设过程为主线，以计划项目管理系统、申报系统等系统为抓手，实现“人”与数据挂钩、项目与数据挂钩，设计数据采集的方案，“追本溯源”理清数据的数据源、种类、数据采集的方式。

数据来源和更新汇聚流程技术研究路线如图3。

图3 数据来源和更新汇聚流程技术研究路线

2.4 数据更新机制体系设计

在数据汇聚分析成果的基础上，研究数据汇聚的审核机制、省、市、县三级联动的水利基础数据，更新技术路线、校验策略、各种类型属性的水利基础数据更新频率、容错机制、数据更新日志等关键性问题，提炼出了水利基础数据更新机制的体系结构，包括水利基础数据的更新、相关的技术架构体系、管理控制体系、业务循环体系、人才保障体系、安全防护体系、标准规范体系、评价考核体系等体系。

图4 数据更新机制体系研究技术路线

3 ELT构建技术

ELT即Extract、Load、Transform，即抽取、加载、转换：①数据抽取：即从源数据源系统抽取目的数据源系统需要的数据；②数据加载：即将转换后的数据装载到目标数据源；③数据转换：按照业务需求从源数据中获取数据，然后转换成目标数据源，并对不一致、错误的数据进行清洗和加工。

目前水利数据中心的建设涉及到多方面的技术，一些通用技术如数据库技术、空间数据技术、访问技术、异构和集成技术，数据挖掘技术等技术，本文不作详细介绍。由于在数据组织和集成上，水利基础数据中心的数据格式具有多样性，例如数据格式具有空间数据、业务逻辑数据、技术标准数据、状态监测数据、多媒体数据等，这些数据的来源不同，数据之间必然存在着数据源的异构，因此必须要进行数据的集成处理。

3.1 ELT是数据集成的主要解决方案

数据集成是把不同格式、不同来源和不同特点的数据，在物理上和逻辑上进行了有机汇集，形成数据仓库、智能商务等形式，从而提供了全面的数据共享服务。随着水利行业信息化建设的不断发展，建立了许多水利基础信息管理系统，这些系统能够帮助行业处理和管理行业业务。但随着水利基础信息管理系统的增加，各自相对独立的信息系统将会产生大量的冗余数据，造成工作人员的重复劳动。而数据集成则可以使更多的人使用已有数据资源，减少数据采集和资料收集的重复劳动。

3.2 ELT的主要数据集成方式

目前数据集成的方式有很多，主要有数据格式转换模式、数据互操作模式、数据直接访问模式、公共制定数据模型、通过XML或VCT或GML的数据转换标准模式等。制定数据转换标准模式是将数据转换成本国的通用规范，如我国的VCT矢量数据交换模式。公共制定数据模型是通过建立基于域的模型和基于对象的模型，利用中间组件来实现对象的域和匹配规则。在数据的组织上，对于多维度、多宽度、多时态、多类型的数据，可以与数据中心进行无缝对接，以数据仓库的形式来组织上下级的数据。

3.3 建立面向服务的分布式数据中心

采用XML、SOA、Webservice等技术建立面向服务的分布式数据中心。利用上、下级数据中心的数据交换实现异构数据的交换和更新，异构数据的交换采取了数据交换的标准，实现元数据、ELT、XML、GML、VCT等技术。另外商用数据库支持了海量数据的管理，如SQLSserver订阅发布的机制、Oracle数据库的分布式复制机制等。

3.4 ELT是构建数据仓库的一个重要环节

ELT作为构建数据仓库的一个重要环节，负责异构数据源的数据，如将平面数据和关系数据等抽取到临时表中或中间库中，再进行数据加载、转换、清洗和集成加工等，最后将加工好的数据加载到数据仓库中，将为数据挖掘和数据联机处理打下良好的基础。ELT的主要环节就是对数据进行转换、加工、抽取、装载等过程服务，为此，ELT工具会进行一些功能上的扩充，如数据库引擎、工作流、脚本支持、规则数据库、统计规则等。现在ELT越来越多地应用到了信息系统的数据交换、数据迁移或数据同步。ELT体系结构如图5。