APP下载

水利普查成果与防洪工程数据库数据对接研究

2012-11-20杨海坤陈德清

水利信息化 2012年6期
关键词:数据项名录普查

杨海坤,陈德清,谭 巍

(1.北京金水信息技术发展公司,北京 100053;2.水利部水利信息中心,北京 100053;3.湖北省防汛抗旱指挥部办公室,湖北 武汉 430071)

0 引言

水利普查是一项重大的国情国力调查工作,是国家资源环境调查的重要组成部分[1]。国务院第一次全国水利普查于 20l0—2012年进行,旨在全面了解水利发展状况,提高水利服务经济社会发展能力,实现水资源可持续开发、利用和保护。水利普查通过规范化的数据收集,确保对象不重不漏、指标切合实际。防洪工程数据库是国家防汛抗旱指挥系统工程综合数据库的重要组成部分,为各级防汛指挥系统的应用子系统(洪水预报、防洪调度等子系统)提供服务。研究实现水利普查成果与防洪工程数据库的数据对接,有利于提高防洪工程数据的完整性、准确性和时效性,为防汛抗旱指挥工作提供科学依据,具有重要意义。

1 数据对接内容分析

水利普查成果与防洪工程数据库的数据对接主要体现在工程对象和指标数据项的对接。

1.1 工程对象对接分析

水利普查对象为中华人民国和国(台湾省、香港和澳门特别行政区除外)境内所有江河湖泊、水利工程、水利机构及重点社会经济取用水户等,共33类水利普查对象[2]。防洪工程数据库的工程类型包括河流、水库等18类工程[3]。根据2个数据库对工程对象的定义及成果应用范围,分析得到的对应情况如表1所示。

从表1可以看出,在相应条件下,7类水利普查对象可与8类防洪工程对象实现对接。

在实际的数据对接工作中还应考虑以下2点:

1)水文站虽然不是法定的水利普查对象,但是在水利普查工作中专门设置了1张普查表,对河流上的水文站和水位站信息进行采集。通过该普查表采集的信息对防洪工程数据库中控制站的信息进行校核。

2)根据国家防汛指挥系统总体设计,在覆盖全国的中央、流域管理机构、省(自治区、直辖市)、地(市)防办4级防汛指挥部门都建有结构统一的防洪工程数据库。各地在实际建设过程中,虽然保持了数据库表结构的一致性,但是在工程类别、范围方面还是存在较大的差异性。研究实现水利普查成果与防洪工程数据库的数据对接,应充分考虑各地防洪数据库建设现状。

表1 水利普查与防洪工程对象对接分析表

1.2 指标数据项对接分析

水利普查与防洪工程数据库属于异构数据库。水利普查数据库包含48张普查表,共318个指标,2258个普查指标数据项[2],防洪工程数据库包含131个表,共1393个字段(属性)[3],两者在表设置、字段名称、单位和长度等方面存在较大差异。在进行指标数据项对接分析时应注意:

1)根据指标所表达的意思进行对比分析,避免指标的对应关系遗漏。水利普查与防洪工程数据库相关指标的设定由于编制时间、参与专家和应用目标等方面的差异,工程对象同一属性描述所采用的字段名称存在不一致的情况。因此,在进行指标对比分析时,应参照指标的相关解释说明进行分析判断。例如:在水利普查数据库中,指标“坝址控制流域面积”的解释为“流域周围分水线与坝址(或闸址)断面之间所包围的面积,即地表水的集水面积”[5];在防洪工程数据库中,指标“集水面积”的解释为“坝址以上的流域面积”[4],由此可判定“坝址控制流域面积”与“集水面积”为同一指标。

2)结合不同数据库表结构所包含的数据存储特点,确定对应指标的适用范围,放弃不满足数据存储条件的对应指标。水利普查数据库中,各类普查对象数据存储基本上由1张表实现,每张表中的指标只建立与对象编码为主键(即主关键字,是表中的1个或多个字段,它的值用于唯一地标识表中的某一条记录,在2个表的关系中,主关键字用来在一个表中引用来自另一个表的特定记录)的关联;防洪工程数据库中,每类工程均由多张表共同完成数据的存储,大部分表中的指标只需建立与工程代码为主键的关联,但也有部分表中的指标除了需要建立与工程代码为主键的关联,还需要与其他主键关联。因此,根据指标含义确定对应指标后,还应当分以下3种情况进行分析:

a)该指标只需建立与工程代码为主键的关联,则该指标适用于所有对应对象。

b)该指标除了需要建立与工程代码为主键的关联,还需要建立与其他指标为主键的关联,则不能通过该指标实现数据对接。例如水利普查数据库中的“防洪高水位”与防洪工程数据库中的“防洪高水位”具有相同的含义,但是防洪工程数据库中的“防洪高水位”首先是与“汛期限制水位”关联,对于水利普查数据库中的“防洪高水位”,无法确定其应与防洪工程数据库中哪个“汛期限制水位”关联,因此无法通过直接建立两者之间的对应关系实现数据对接。

c)当该指标为除了工程代码为主键外的其他唯一主键,则可以通过该指标建立与防洪工程数据库中新增对象之间的数据对接。例如水利普查数据库中水库工程“所在河流名称”与防洪工程数据库中水库工程“出库河流名称”具有相同的含义,且“出库河流名称”是所在表中除了工程代码之外的主键,对于防洪工程中的已有对象,当有多条出库河流时,由于无法确定普查数据库中的河流与哪条河流对应,不能实现对应数据对接;对于新增工程,则不存在这样问题。

以水库工程为例,防洪工程数据库指标数据项240个(含重复指标项),水利普查数据库指标数据项85个,以此方法分析得到适用所有对象的对应指标数据项22个,适用新增对象的对应指标数据项1个,总体对应情况较好。

2 数据对接技术实现

2.1 技术流程

水利普查成果与防洪工程数据库的数据对接,具有工程类别、指标数据项、工程对象多等特点,数据对接的技术实现建议遵循如图1所示的技术流程,总体上按前期准备、名录对比分析和数据整编入库3个步骤实现。

图1 水利普查成果与防洪工程数据库对接技术流程

2.2 前期准备

如图1所示,水利普查成果与防洪工程数据库对接前期准备工作主要包括数据的准备和指标数据项的对比分析。

1)数据准备。结合拟实施数据对接单位所管辖的行政区划范围,以及拟进行对接的工程对象类别和规模,确定数据准备范围,并收集相应的水利普查成果和防洪工程数据集。

2)指标对应分析。为便于下一步数据整编入库,对指标数据项进行对应分析,分析成果表头规格如表2所示。

表2 水利普查与防洪工程数据库指标对应成果表

2.3 名录对比分析

名录对比分析的目的是获取水利普查数据集与防洪工程数据集中对应的工程对象,以准确实现同一工程的数据对接。工程对象名录信息由2个数据库中主要的和对应的指标数据项组成,以水库工程为例,将工程名称、管理单位、工程位置、工程等别、总库容和建成日期等作为名录信息。名录对比分析具体步骤如下:

1)数据集划分。按照工程类别和行政区划将原数据集划分成大小合适的数据分集,以减少海量数据的名录对比分析工作量,提高名录对比成果的准确率。

2)依据工程名称初步筛选对应对象。对应工程对象一般具有相同的名称,但是受数据采集规范、采集时间、工作人员主观原因等因素的影响,对应工程对象的名称也可能存在一定的区别,甚至完全不一致。利用计算机技术,按照工程对象名称完全和模糊匹配2种方式,自动初步筛选得到对应的工程对象。

3)依据名录信息确定工程对象对应情况。依据工程名称初步筛选得到的工程对象,结合名录信息中的工程名称之外的指标,采用人机交互的方式作进一步判断,可确定水利普查与防洪工程数据库的对应工程。

2.4 数据整编入库

根据名录对比分析成果,得到哪些工程对象在2个数据库中是对应的、已经不存在的、应该新增的。相应地,数据整编入库工作包含以下3方面的工作:1)对于对应工程,应结合数据指标项的对应关系,利用水利普查成果数据对防洪工程数据进行更新;2)对于已经不存在的工程,应及时从防洪工程数据库中删除;3)对于新增的工程对象,应按照防洪工程数据库的编码规则重新编码,并新增到防洪工程数据库中。

数据整编入库过程中,要注意每个对应指标的适用范围,做好计量单位的转换,原则上应确保防洪工程数据库中的字段长度和数据精度保持不变。

2.5 数据质量审核

质量是数据的生命,质量审核应贯穿于数据对接工作中。水利普查成果与防洪工程数据库的数据对接,应重点从指标数据项对应成果、工程对象名录信息、名录对比分析成果,以及工程编码等方面进行质量审核,确保数据对接成果的质量。

3 结语

研究表明,水利普查成果与防洪工程数据库在工程对象类别、指标数据项等方面具有一定的对应性。研究提出了在数据准备和指标对比分析的基础上,开展名录对比分析工作,得到2个数据库工程对象的对应、消亡和新增情况,并分不同情况整编入库的数据对接技术路线,有利于提高防洪工程数据的完整性、准确性和时效性,有利于加强防汛抗旱决策参考数据的科学性。

[1] 中华人民共和国国务院.国务院关于开展第一次全国水利普查的通知(国发(2010)4号)[S].北京:中华人民共和国国务院,2010: 1.

[2] 庞进武,程益联,罗志东.水利普查与信息化[J].水利信息化,2012(1): 19-22.

[3] 董侬生.防洪工程数据库的设计与建设[J].水利水电技术,2002(7): 41-44.

[4] 北京勘测设计研究院.防洪工程数据库设计报告[R].北京:水利部国家防汛抗旱指挥系统工程项目建设办公室,2001.

[5] 中华人民共和国水利部.第一次全国水利普查实施方案(水规计(2010)498号)[R].北京:中华人民共和国水利部,2010.

猜你喜欢

数据项名录普查
立即全面普查 警惕二代粘虫发生
2022.3上榜派出所名录
胡春华强调:确保脱贫攻坚普查取得圆满成功
一种多功能抽签选择器软件系统设计与实现
非完整数据库Skyline-join查询*
基于Python的Asterix Cat 021数据格式解析分析与实现
同贺名录
作者名录
生产商名录
关于农业文化遗产普查与保护的思考