水文年鉴数据入库方法介绍

2017-11-21刘建军邢小丽郭宝群田文君

东北水利水电 2017年11期

关键词：黄委水文局年鉴

刘建军,邢小丽,郭宝群,田文君

(黄河水利委员会水文局,河南郑州 450000)

水文年鉴数据入库方法介绍

刘建军,邢小丽,郭宝群,田文君

(黄河水利委员会水文局,河南郑州 450000)

选用水文年鉴电子书作为水文数据库源数据,采用模块化方式设计了水文年鉴数据入库软件,最大限度的保证了水文数据库和水文年鉴数据的一致性.2015年黄委水文局,采用水文年鉴数据入库软件完成了2013年、2014年度黄河流域水文年鉴黄委资料入库工作.水文年鉴数据入库软件设计方法和当前的水文资料整汇编工作模式相符,在黄委水文局基础水文数据库管理工作中得到了应用.

水文年鉴;数据源;一致性;资料入库;应用

1 水文年鉴数据入库设计方法

水文整编成果数据的入库存储有多种途径,比如人工录入、数字化成果转换、整汇编软件数据库转储等,从水文资料整汇编工作流程来看,选用水文年鉴数据入库存储是最准确、最直接的一种方式,避免了水文资料整汇编过程中的数据修改对水文数据库的影响,能够最大限度保证入库整编成果数据的完整性、准确性.

黄河流域水文年鉴排版采用基于方正排版系统的专用软件排版,具有资料表类多、信息量大、专业性强、版面结构复杂等特点.水文年鉴数字成果为电子书,采用方正排版系统输出功能,电子书可以生成带方正排版控制符的文本文件(以下简称方正格式文本),选择方正格式文本作为入库的源数据.

水文年鉴数据入库软件采用开发工具Micro⁃soft Visual Studio,按照模块化方式设计,设计流程如图1.

软件模块主要包括环境设置、公用函数、各种表类标准格式转换、各种表类标准格式数据入库等,水文行业对数据的准确性要求是首位的,必须确保数据在处理流程中不遗漏、数值正确.由于方正格式文本格式不尽统一,存在特例情况,为方便人工检查、修正及满足其它系统的应用需求,采用分段流程控制,生成有标准格式的中间数据文件.同时设计了完善的错误陷阱和操作提示,最大程度的实现数据处理的自动化、智能化.

1.1 标准格式转换

方正格式文本由有效数据、字体控制符、字号控制符、列位置控制符、行控制符、表格控制符、标题行控制符、分隔符、换行控制符、换页控制符、以及一些特殊控制符号(比如人工造字控制符)等组成.数据主要采用以下方式排列:常规排列方式,按日期、时间的顺序排列、按日期(月、日)的距阵排列、按序号排列;行列混排方式,一段数据由横向几个数据块组成;蝴蝶页排列方式,上下两段数据为同一个数据块的左右部分.

方正格式文本分为58种表类,各表类文本格式、标识符、控制符不尽相同,采用循环行读、数组记录、数据拆分、组合对接等技术手段,自动提取方正格式文本中有效数据,如站次、河名、水系、站名、表类、水文要素单位、颗分粒径级、日期时间、水文要素、注释等数据,转换生成标准格式文件,标准格式文件名采用水文年鉴排版文件命名规则,由英文字母和数字组成,表示"水文、卷册、年份以及表类"等信息.

1.2 标准格式数据入库

图1 软件设计流程图

完成标准格式转换的各表类文本格式不同,除一些公用函数外,针对各表类设计单独处理模块,为确保数据的一致性,如存在相同记录时,处理模式是先删除后添加(测站一览表除外),一个表类文件通常对应多个数据库表.

首先完成测站一览表信息的入库,由标准格式文件名获取的表类信息匹配相应的表类处理模块,采用站名、河名、水系、站别等信息在测站一览表中获取对应站码,行读标准格式文件数据,对读取的数据进行格式补全、排序、日期拆分组合及跨越年、月、日时间处理、数字文本分离、格式转换、计量单位统一等处理,处理完成后将各类水文要素记录写入数据库,软件可批量或单独处理标准格式文件.

软件与数据库连接采用ADO,通过ODBC方式连接,ODBC可通用外部管理工具设置.软件只需要设置ODBC名称,经数据库管理员授权的用户名、口令,即可连接水文数据库.