APP下载

辽宁省国家基础水文数据库建设关键技术研究

2010-04-04唐雷彬刘蓬勃

东北水利水电 2010年9期
关键词:数据录入年鉴入库

唐雷彬,任 崇,刘蓬勃

(辽宁省水文水资源勘测局,辽宁 沈阳 110003)

1 数据录入

水文数据库建设是实现水文信息数字化、网络化和智能化的基础工作,直接影响到水文数据在生产实践中的具体应用。目前,辽宁省国家基础水文数据库水文数据系列长度为107年(1902—2008年),按照最新水文数据库 4.0结构标准(SL324—2005),数据库共有46个表,涉及全省123处水文(位)站,558处雨量站的数据。

数据录入使用的年鉴全部统一管理、统一分类。数据的录入采用单表格双人同步录入、计算机交互比对、按比例人工抽校的工作模式,来保障录入成果的质量。

根据数据库录入具有数据量大、表格样式多、数据格式多的特点,开发了数据录入软件,整个程序分为6个功能模块:数据录入模块、交互比对模块、错误改正模块、错误统计模块、成果汇总模块和测站情况查询模块[1]。针对每一类表格,事前详细规划,确定最佳录入方式和录入模板;计算机比对校核及数据修改由经验丰富、工作认真并且熟悉水文年鉴的同志共同完成;将修改后的正确数据打印输出,完成人工校核并签字确认存档。

2 数据校对

数据校对主要是对数据进行质量控制,是数据库建设过程中极为重要的一个环节。由于水文数据库涉及数据量庞大,数据源及数据结构复杂,采取科学、合理、高效的数据校对方式,是提高数据质量的关键。针对不同的表结构,采取不同的校对方式,可以提高数据的校对质量,以达到数据库的质量控制要求。

1)针对已入库的历史数据,采取打印输出,人工比照年鉴,2人一组,一人阅读,一人表对修改。

2)根据数据的连续性、一致性、合法性的原则,开发合理的数据库检查软件,检出的“可疑性数据”,由人工进一步确认。

3)在数据校对阶段,采用和数据录入一样的模式,双机平行校对的方式,同一组数据校对两遍,再采用程序平行比对的方法。此法保证了数据基本达到数据库的应用标准。

3 数据库表结构的转换

一直以来,辽宁省国家水文数据库采用的是《全国水文数据库表结构方案》3.0版。 2005年水利部颁布了《基础水文数据库表结构及标识符标准》4.0版,对3.0结构中不合理的部分进行了优化、修改、补充。2008年,结合辽宁省实际情况,进行了数据库结构3.0到4.0的转换。

1)3.0 结构“实测悬移质断面平均与相应单位水样颗粒级配成果表”,按照4.0结构要求该表分属于“实测泥沙颗粒级配”和“实测泥沙特征粒径”2个表;在3.0结构中,同一时间可以有施测单和施测断,而4.0结构对该表单、断沙码做出了要求:填1时表示断沙或断颗,填2时表示单沙、单颗或单个垂线。辽宁省“实测悬移质断面平均与相应单位水样颗粒级配成果表”年鉴中存在一条记录同时有断沙及单沙施测号的情况。根据新结构,对同时有断沙及单沙施测号的,按“单沙”对待转入新结构库中。

2)在“实测流量成果表”中,3.0结构“测号CH”是字符型,可以是数值或者汉字,4.0结构要求“流量施测号数QOBNO”为数值型而且不允许为空值。辽宁省年鉴中有些站的部分数据“流量施测号”为空,有些站为汉字,如“主槽”、“左分流”、“右分流”等,因此无法入库。对此,采取以特殊字符代替的方法,如用“1111”代表“主槽”等。

3)在“水库水文要素摘录表”中,4.0结构要求设置“站码”和“时间”为主键,这样就不允许“站码”与“时间”相同的数据入库,避免数据库中重复数据的录入。 针对“水库水文要素摘录表”年鉴中存在相同时间不同出库流量的数据,在第2次相同的时间上加1分钟,第3次相同的时间上加2分钟,以此类推。

4)3.0 结构“实测大断面成果表”转换4.0结构时,要分2部分存储于:“实测大断面成果表”,“大断面参数及引用情况表”中。其中“大断面参数及引用情况表”测次说明OBNONT的字符长度大于4.0结构的长度,超出部分无法入库。因此,对表结构进行修改,使“测次说明”字段符合4.0结构规定。

5)在“实测流量成果表”中,辽宁省早期年鉴中分洪水期实测流量成果表和平水期实测流量成果表,在平水期实测流量成果表中,没有起始时分和终止时分,只有平均时分。为使其符合4.0结构,对起始时分录入“8888”,终止时分按照平均时分处理。

4 数据入库

1)手工入库。要求入库数据格式必须符合辽宁水文数据库表结构要求。主要针对补录部分的数据,数据补录时严格按照库表结构规定录入。

2)软件转换入库。对入库数据格式不符合要求的,需用软件将数据格式转换为库表结构要求的格式后入库。主要针对资料整编以来以EXCEL表格形式保存的表结构,及《水文年鉴》表结构相同的数据。《水文年鉴》表结构中一般将日、月、年表结合在一个表中,另外很多表一般都省略相同水位的整数部分,大部分表都省略相同的月、日。由于《水文年鉴》表结构与辽宁水文数据库表结构不同,因此需要软件转换。

整编后的资料存储于EXCEL表格之中,以年鉴格式保存。要将这些数据存储于基础水文数据库中需进行格式转换。例如:日表、月表、年表的拆分,水位整数位省略的填补等。

5 查询软件开发

辽宁省水文信息查询系统总体结构采用C/S和B/S共2种体系结构开发。C/S结构为客户机和服务器结构,是软件系统体系结构,通过它可以充分利用两端硬件环境的优势,将任务合理分配到Client端和Server端来实现,降低了系统的通讯开销。B/S(Browser/Server)结构即浏览器和服务器结构。它是随着 Internet技术的兴起,对C/S结构的一种变化或者改进的结构。在这种结构下,用户工作界面是通过WWW浏览器来实现,极少部分事务逻辑在前端(Browser)实现,但是主要事务逻辑在服务器端(Server)实现,这样就大大简化了客户端电脑载荷,减轻了系统维护与升级的成本和工作量,降低了用户的总体成本。以目前的技术看,局域网建立B/S结构的网络应用,并通过Internet/Intranet模式下数据库应用,相对易于把握、成本也较低。但是,应用服务器运行数据负荷较重。基于2种结构的优缺点,水文数据库应用服务系统针对不同用户选择不同结构,即两种结构并存。

1)选择C/S结构。依据用户对国家水文数据库通常的应用方式、统计模型、图形构造以及数据库建设、库资源安全管理等需求,系统应该由以下功能模块组成:数据录入装载模块、浏览还原模块、分析应用模块 、水文统计模块、安全主控模块。系统在Win95/98/2000/Xp系列操作系统平台上运行。可灵活采用本地(Native)或公用接口(ODBC)方式动态连接客户机与服务器,亦可在单机上良好运行;可自由挂接MS SQL Server,Sybase SQL Server,Oracle等数据库系统。

2)针对社会公众选择B/S结构。社会公众不同于科研、设计单位,该系统以地理信息系统方式来选择河流上的主要水文、水位站、雨量站、蒸发站。用户可根据需要进行选择,选择某站后,相应的特征值资料即可列表显示,用户也可在本系统中查询出辽宁省水文数据的全部索引资料。

[1]宋景峰.水文数据库录入比对程序功能设计探讨[J].吉林水利,2009,(2).

猜你喜欢

数据录入年鉴入库
重磅!广东省“三旧”改造标图入库标准正式发布!
基于SPSS软件在市场调研中的数据录入方法
特色·可读·扩展《江苏年鉴(2020)》
中国食品品牌库入库企业信息公示②
面向海外数据库的一种通用数据录入方法的研究
中国食品品牌库入库企业信息公示①
2016—2019年全国获得“中国精品年鉴”名录
《中国交通运输年鉴(2019)》征订单
《中国交通运输年鉴(2019)》征订单
基于SPSS软件在市场调研中的数据录入方法