水利数据整合共享研究
2014-02-10程益联
程益联,付 静
(水利部水利信息中心,北京 100053)
水利数据整合共享研究
程益联,付 静
(水利部水利信息中心,北京 100053)
水利数据是各种水利政务和业务活动过程中产生的,具有现实应用和历史价值。如何将各水利政务和业务应用产生的数据,建立起普遍联系,为实现不同水利政务和业务之间信息共享,最终实现业务协同,将水利数据整合形成有机的水利数据资源,是相关工作成败的关键。对水利数据整合共享的目标、任务范围、整合技术与管理、共享内容与方式等进行初步探索和研究。
水利数据;整合;共享
0 引言
实现水利数据共享、业务协同以提高工作效率提高,改善服务水平,都要求对目前分散的水利数据进行整合。水利系统内部各种水利政务和业务应用参差不齐、地区间发展不平衡、标准规范不足与欠妥,以及各地蓬勃开展的水利数据中心建设,都对水利数据的整合共享提出了迫切需求。对此,各级领导高度重视,应用需求十分迫切,加之信息技术的迅速发展,使得水利数据整合共享成为可能。那么影响水利数据共享的核心问题是什么呢,除管理因素外,主要是各种数据库的语义一致性问题,即:对象及其属性的语义一致性问题,主要就技术问题进行探讨。
1 目标
水利数据整合共享目标是通过对既有分散水利数据的规范化管理,形成对象和属性语义一致的水利数据资源体,实现对水利数据资源的有序管理与灵活应用,切实提高各级水行政主管部门及涉水事务的数据共享、业务协同、工作效率和服务水平。至少实现以下 4 个具体目标:
1)实现对水利数据的有序管理;
2)满足水利应用对水利数据灵活和快速获取;
3)做到水利数据持续更新,保持“常用常新”;
4)提高水利数据共享与应用的能力和水平。
2 任务范围与工作定位
水利数据整合共享是水利信息化资源整合共享的重要组成和核心内容,其与相关水利信息化资源整合共享工作关系如图1 所示。水利数据整合共享工作任务主要涉及 2 个方面,4 个部分。1)技术框架与管理体系建立,主要开展技术标准与规范制定,包括数据、服务等管理与运行的一系列技术标准与规范,确保水利数据与服务聚合与对外服务的有效开展,解决水利数据在采集、传输、存储、服务,以及建设和运行管理方面的标准规范;配合开展管理规程及指标制定,包括和技术标准与规范相适应的一系列管理规程及指标,确保标准规范的有效执行,解决标准规范执行过程中的一致性问题。2)对既有水利数据整合;a.开展水利数据资源规划,采用面向对象概念,对涉水数据资源进行梳理和分析,建立水利数据模型,明确水利对象属性数据的权威来源,确保“一数一源”;b.开展水利数据整合,根据水利数据资源规划工作确定的水利数据模型,建立水利对象基础信息、空间与业务关系、空间特征和属性数据库,并将各种水利政务和业务应用既往产生的数据整理入库,为后续水利政务和业务应用产生的数据入库提供持续的解决方案,以及建设为提高数据使用灵活性和效率的数据仓库等。水利数据整合共享框架如图2 所示。
图2 水利数据整合共享框架示意图
3 整合技术与管理
3.1 水利数据模型
众所周知,任何一个数据都是描述了客观世界实体或概念一个维度的特征,水利数据也不例外。客观世界实体或概念又可通称为对象,某个领域数据就是领域对象特征的总和,水利作为一个领域,水利数据就是水利对象特征的总和。通过水利对象及其之间关系,将水利数据变成了有机的水利数据资源。水利数据模型主要包含水利对象分类分级体系、实体对象模型、元数据模型和多维主题应用。
3.1.1 水利对象分类体系
水利对象分类分级体系按照“固定框架和有序扩展”相结合的原则,固定框架分为 2 个大类、4 个中类、8 个小类,再在 8 个小类中有序扩展基础类,确保所有水利对象基础类的并集是全集,任何 2 个基础类交集是空集,水利对象分类分级如表1,2 所示。
表1 水利对象自然类分级表
3.1.2 水利实体对象模型
水利实体对象模型以对象为核心,实现空间特征、业务属性、对象关系和时态信息的完整描述和一体化管理。空间特征描述:根据空间表达实际需要,将具有空间特征的水利对象按照不同比例尺,建立相应的表达映射,保障同一对象在不同比例尺下采取适当形式表达(如:统一对象在不同比例尺下的面状真形和点状符号表达);业务属性描述:根据水利政务和业务应用产生和共享特点,一体化构件多维度业务属性,确保“一数一源”;对象关系描述:除水利对象空间关系外,还统一描述多重业务关系,为水利数据的综合分析和大数据应用奠定基础;时态信息描述:实现水利对象数据时态的统一描述和管理,包括两个方面,一方面是作为水利对象生命周期的起始和终了时间,另一方面是各空间和业务属性的采集或处理时间。
3.1.3 水利多维主题应用
水利多维主题应用解决按照水利实体对象模型有序管理的水利数据如何解决面向多维主题的快速灵活应用问题。主要提供 2 种形式的数据重组服务:1)采用数据库数据视图技术,根据每个主题应用需求,将按照水利实体对象模型有序管理数据,重新组合形成新的数据视图,实时提供数据服务;2)按照数据仓库技术,根据每个主题应用需求,将按照水利实体对象模型有序管理数据,重新组合形成新的数据集市,定期抽取数据提供数据服务。前者提供的数据服务更加实时,但受实时抽取限制访问速度可能较慢;后者提供的数据服务时效受限,但访问速度更佳。
表2 水利对象非自然类分级表
3.1.4 水利元数据模型
水利元数据模型是在数据操作日志的基础上,逐级抽取分别形成对象、对象类和数据集等 3 级元数据,并在此基础上,形成数据资源目录。通常首先使用数据资源目录,逐级追踪、定位,发现需要查询的数据。一般来讲,可以按照任何维度生成相应的数据资源目录,显然这样生成的目录多于繁杂无法使用,数据资源应按照相对通用目录体系(如:行政、流域、对象主要等级别)构建,在全国范围之内建立水利数据中心各节点通用的数据资源目录,除此之外各水利数据中心节点还可以编制具有自身特色的数据资源目录。
3.1.5 水利对象代码
水利对象代码是开展水利数据资源管理的关键,是水利数据模型建立和保持各种关系的纽带,是实现纵(各级水利部门之间)横(各种水利政务和业务之间)2 个方面水利数据保持语义一致和数据常用常新的保障。根据水利对象分类,水利对象分为自然和非自然 2 大类[2],作为自然类水利对象一般与行政无关,大都跨行政区,作为非自然类水利对象一般归行政区管,大都不跨行政区,鉴于此,为了保持水利对象在全国范围内代码唯一性和方便水利对象增加时编码的可操作性,对于自然类水利对象代码采用分类体系码+ 流域分区码+ 顺序编码;对于非自然类水利对象代码采用分类体系码+ 行政政区码[1]+ 顺序编码,分别构成该类水利对象在水利对象集合中的全局唯一代码。
考虑到水利行业标准中赋予代码的水利对象,并采用其标准代码管理着一定的历史数据,为解决因代码不一致造成的数据访问困难,在水利数据模型中仍然保留相关信息,建立 2 种代码的一对一映射关系即可数据共享访问。
3.1.6 水利对象关系
水利对象关系主要分为 2 类,即:空间和水利业务(政务)关系[3]。水利对象空间关系主要表现为对象空间抽象表达——点、线、面在空间上的位置逻辑关系,如:点在线上、点在面内、线与线衔接等。对象业务(政务)关系主要表现为不同类型水利对象之间存在的水利政务和业务关系,如:单位与水利工程之间的管理与被管理关系、水库工程与灌区工程之间的供水和用水关系等。部分水利业务(政务)关系可以利用水利对象空间关系推理出来,如:河流上的泵站存在供水和取水关系。
3.2 水利数据管理
3.2.1 水利数据中心管理的数据
水利数据中心是进行水利数据整合共享的中枢,除开展数据整合和提供数据服务外,无自己的水利政务和业务领域,因此,水利数据中心应至少管理好3种类型的数据:1)水利对象基础数据,主要涵盖水利数据中用来标识水利对象个体属性(如:水利对象代码、名称、所在地、所属流域等)数据;2)水利对象关系(如:描述空间关系的空间数据、各种业务关系等)数据;3)水利对象需要在不同水利政务和业务之间共享的数据,简化在水利政务和业务进行数据共享的复杂度。
3.2.2 水利数据中心与水利政务和业务部门分工
水利数据中心负责各种数据的日常管理与维护,以及非水利政务和业务基础数据生产组织实施工作,各水利政务和业务应用由各专业单位或部门使用,并于使用过程中自动完成对专业数据的生产和核实工作,并根据共享关系和抽取规则,自动将水利政务和业务共享数据抽取存储与水利数据中心共享库。总而言之,水利数据中心主要负责数据管理及相关规则的制定和监督执行,各水利政务和业务数据生产寓于水利政务和业务工作过程中。
3.2.3 水利对象代码管理
水利数据中心负责涉水数据(服务)管理所需对象的管理,根据相关标准规范,维护一套对象编码、名称等名录系统,确保整个系统中对象的唯一和语义一致;各水利政务和业务应用使用单位或部门负责新水利对象登记申请。实际上,水利对象的登记申请应寓于相关水利政务和业务应用过程中完成登记注册。水利对象代码一经注册,将终身赋予该水利对象使用,即使该水利对象消亡也不得再另行分配给其他水利对象使用,保持历史、现在和未来水利数据的一体化管理。
3.2.4 共享库数据字典管理
水利数据中心负责涉水数据管理所需数据字典的管理,根据相关标准规范,维护一套水利对象需要在各水利政务和业务之间进行共享信息的共享数据库数据字典,确保整个系统中字段描述的唯一和语义一致;各水利政务和业务应用单位或部门按照“一数一源”的原则负责提出共享数据相关数据字典登记申请。
3.2.5 非水利对象代码管理
涉及非水利对象数据管理所需的对象,对象编码、名称等以其所属管理系统所赋予的代码和名称,水利数据中心、各水利政务和业务应用单位和部门将直接引用。
4 共享内容与方式
4.1 共享内容
水利数据中心统一建设水利数据资源目录、基础数据库、应用共享数据库,对外提供权威、完整、全面的数据共享服务。
4.1.1 水利数据资源目录
根据每类水利对象特点,参照通常水利政务和业务分类(如:行政管理、所在流域、水利对象规模等)构建数据资源目录,由水利数据中心统一建设数据资源目录数据库,作为共享内容,对外提供水利数据资源目录服务。
4.1.2 水利基础数据库
水利数据中心统一建设水利基础数据库,主要涵盖水利数据中用来标识水利对象个体属性(如:水利对象代码、名称、所在地、所属流域等),以及水利对象关系(如:描述空间关系的空间数据、各种业务关系等)的数据集合作为共享内容,为水利业务或政务应用,提供权威、全面、完整和一致的基础数据共享服务。
4.1.3 水利应用共享数据库
水利数据中心统一建设应用共享数据库,主要涵盖在不同水利政务和业务之间需要共享的由特定水利政务和业务活动产生的水利对象属性数据(如:水文业务活动中产生的降水量、水文、流量,水资源政务管理工作中产生的水资源公报数据等),作为共享内容,为水利政务和业务应用,提供权威、全面、完整和一致的应用数据共享服务。
4.2 共享方式
4.2.1 联机数据共享
水利数据中心提供联机数据共享,是给社会大众和特定数据使用人员提供数据资源目录查询服务和部分水利对象属性数据的在线查询,更重要的是为各种水利政务和业务应用提供联机数据访问接口,达成为水利政务和业务应用提供权威、全面、完整和一致的应用数据的目标,实现业务协同。
4.2.2 脱机拷贝共享
为满足某些业务系统对水利数据特殊应用需求,水利数据中心也根据具体数据使用申请与审批,采用拷贝方式提供数据服务,仅仅实现在水利政务和业务应用之间实现数据共享。
5 结语
水利数据整合共享是一个长期和不断完善的过程,必须坚持技术和管理的并重,才能将各种水利数据变成有机整体,达成有序管理和灵活应用目标,真正实现数据共享与业务协同,提升水利信息化及现代化水平和能力。
[1] 水利部信息中心办公室.水利信息化顶层设计[R].北京:水利部信息中心办公室,2009.
[2] 蔡阳.国家防汛抗旱指挥系统技术丛书:应用支撑与数据汇集平台[M].北京:中国水利水电出版社,2012.
[3] 中华人民共和国民政部.中华人民共和国行政区划手册(2009)[R].北京:中国地图出版社,2009.
[4] 付静,程益联.水利信息系统应用支撑平台探讨[J].水利信息化,2014 (6): 1-4.
[5] 程益联,刘九夫.水利普查对象和指标编码初探[J].水利信息化,2010 (2): 22-24.
[6] 程益联,郭悦.水利普查对象关系研究[J].水利信息化,2012 (1): 23-27.
Study on Integration and Sharing of Water Resources Data
CHENG Yilian, FU Jing
(Water Resources Information Center, the Ministry of Water Resources, Beijing 100053, China)
Water resources data which are generated in the progress of various water resources government affairs and business activities have practical application value and historical value.The key of successful work is how to make the data establish universal relation for realizing information sharing between different water conservancy government affairs and business, realizing business collaboration and making water conservancy integrate and form organic water resources data resources.The article does preliminary exploration and research of the objectives, task range, technology and management of integration, sharing content and way of integration and sharing of water resources data.
water resources data; integration; sharing
TP391;TV39
A
1674-9405(2014)06-0013-05
2014-12-01
程益联(1963-),男,安徽全椒人,教授级高工,长期从事水利信息化有关工作。