APP下载

哈密地区水利信息资源整合应用与研究

2021-01-04

水利信息化 2020年6期
关键词:数据源水利对象

段 勇

(水利部黄河水利委员会信息中心,河南 郑州 450003)

0 引言

新疆哈密地区已有水利应用系统由于建设时间不同,系统间相互独立,自成体系,重复开发率高,很难形成全局性的信息服务资源。由于各类已有水利应用系统技术水平、任务来源和资金渠道不同,且大多分散建设在不同的水利业务部门,呈现条块分割的特征,形成了以专业、部门等为边界的信息孤岛[1]。此外,由于信息标准规范尚不健全,加之哈密地区已有水利应用系统数据库大多与具体业务处理紧密绑定,服务目标单一,导致数据库内的信息内容很难共享,大量已有数据的价值无法充分发挥[2]。

信息资源整合共享是一项艰巨而复杂的系统工程,水利部一直高度重视信息资源整合共享工作,并于 2011 年颁布了水利信息化顶层设计,要求对水利部和直属单位信息化建设情况进行全面梳理,加强顶层设计,系统建设时避免重复建设和资源浪费[3]。2017 年 5 月,为推动新疆政务信息资源共享管理工作,自治区人民政府印发了《关于推进新疆维吾尔自治区政务信息资源共享管理工作的实施意见》(新政发〔2017〕76 号),实施意见提出要“规范和促进自治区政务信息资源共享管理工作,推动政务信息资源科学配置和有效利用,降低行政成本,提高行政效能,提升公共管理和服务水平的重要途径”[4],这些都为哈密水利信息资源整合共享奠定了坚实的政策和指导理论基础。

大力推进哈密地区水利信息化进程,提升水利信息资源共享支撑能力,是保障水利与国民经济发展相适应的必然选择[5]。根据自治区和哈密地区水利信息化规划要求,规划了哈密地区水利综合业务平台(以下简称综合业务平台)。综合业务平台以石城子-榆树沟流域为重点区域,以水利信息资源整合为主线,目标整合哈密地区一区两县(伊州区、巴里坤县和伊吾县)现有水利信息资源,集成建设地区水资源管理、防汛、工程管理、监测预警等信息,构建哈密地区统一的数据资源交换共享体系。通过综合业务平台的建设,达到监测信息交换共享,业务信息统一展示,初步达成哈密地区水利信息的统一管理和共享。

1 总体设计

SOA 是面向服务架构的软件系统设计模型,通过将应用程序的功能服务化封装,从而实现业务功能共享和复用的目的。ESB(企业服务总线)是构建基于 SOA 解决方案时所使用的基础架构的关键部分,主要用来实现服务间通信交互、应用集成、服务质量、安全性管理等方面的任务。综合业务平台采用 SOA 架构进行系统设计,可以方便地将不同应用功能以服务形式进行重用和配置,可较为高效地对不同信息系统资源进行集成整合[6]。

依据水利信息化顶层设计,综合业务平台体系具体架构如图 1 所示。

图 1 综合业务平台体系架构

综合业务平台体系架构具体分析如下:

1)应用系统。按照哈密地区水利业务内容划分,应用系统层由水量水质综合监视及预警、水质监控管理、水量调度管理和综合信息服务 4 个系统组成。各个应用系统中所涉及的业务逻辑都封装成服务,部署在应用支撑平台中,根据需要调用应用服务实现系统功能。

2)应用支撑平台。应用支撑平台是各个应用系统的基础支撑,是保证综合业务平台具有良好的适应性、扩展性及高度的资源共享的基础。按照 SOA思想,将各个业务处理逻辑封装成服务并部署在应用支撑平台中,可以使系统拥有更好的开放性,能够更好地应对业务需求变化。

应用支撑平台以 ESB 作为核心,各种服务以ESB 为桥梁进行互联。本系统中部署的服务主要分为以下 2 类:a. 应用服务。应用服务是各种直接为业务处理提供支撑的服务,主要包括空间信息、业务展现、告警和各种具体业务处理应用等服务。b.公共服务。公共服务是提供通用功能的支撑服务,主要包括数据的交换、提取、访问、字典等服务,以及消息服务。

3)数据资源池。按照“一数一源”的原则,定义了水利对象模型。通过应用支撑平台统一的数据交换和提取服务,将各类水利对象基础、地理空间、水雨情、水资源、水旱灾害防御等数据在数据资源池中,按照水利对象模型及关系的定义进行统一汇聚、关联和管理,最终形成以下数据库和目录:a. 基础数据库,存储了哈密地区 34 类水利对象基础属性和空间矢量等信息;b. 业务主题数据库,按照洪水、干旱、水利工程、水资源开发利用、城乡供水、水土流失、江河湖泊、节水灌溉、水利监督等专业,构建面向业务管理的主题数据库,汇聚整合了主题业务数据;c. 元数据库,存储了用来描述、定义基础及业务主题数据的相关说明和解释;d. 数据目录,提供了对各类基础和业务数据资源名录及访问方式的定义和管理。

备份系统采用对象存储、物理磁带库相结合的分级数据备份体系。对于普通数据,直接将数据备份至对象存储中;对于部分关键业务数据,先将数据备份至对象存储,再备份到物理磁带库;对于部分需要长期保存的数据,则根据需要将磁带转出归档。

数据管理包括以下两部分内容:a. 数据库管理系统,通过数据库管理系统可实现对各类数据“增、删、改、查”的运维管理操作。b. 数据更新维护系统,借助数据交换和提取服务,实现对数据资源池中各类数据资源的实时更新。

2 关键问题研究

综合业务平台在建设的过程中,数据资源整合的关键问题是数据的“一数一源”“水利对象模型构建”和数据的实时更新问题。

2.1 “一数一源”策略

在地区水利数据资源整合过程中,对于同类数据面临着“一数多源”的问题。多类不同来源的相同数据不但增加了信息报送、采集和存储成本,也导致数据责任主体不明,数据安全、质量难以保障[7]。因此,在数据整合过程中应明确数据来源的主体性,保障数据完整性、准确性和一致性,减少重复收集造成的资源浪费和数据冗余。

为确保哈密地区各类水利相关数据的“一数一源”,综合业务平台在建设过程中遵循“权威部门,权威数据”的核心原则,制定了以下各类数据源选定的具体策略:a. 第一手原则。分析同类数据不同的数据来源,优先选用数据源生产或采集单位的数据。b. 时间新原则。按照数据采集或生产的时间,优先选择时间较新的数据源。c. 数据量大原则。比较同类数据的不同来源,优先选用数据条数较多的数据源数据。d. 行政管理单位优先原则。根据数据源的发布单位,优先选择行政管理级别高的单位生产的数据来源。e. 信息维度原则。针对同类数据的不同数据源,优先考虑属性个数较多的数据来源。

按照以上数据源选取原则确定选择每类数据的唯一数据源。如果某个条件下各数据源评判结果相同,则按照原则顺序,利用下一条数据源选择策略进行判断并确定各类数据的唯一数据源。

2.2 水利对象模型构建

采用面向对象的理论方法,以对象的方式组织哈密地区水利数据资源,从而对水利管理对象空间特征、基础属性及业务管理关系进行统一管理[8]。

综合业务平台系统整理了哈密地区水利业务工作所涉及的主要水利对象,采取统一标准对水利对象进行定义和命名,从标识和属性 2 个方面描述对象。其中:对象标识表达本体的存在性和唯一性;属性则是该对象有可能存在的相关特征信息,如基本、业务、空间等属性和属性的时相特征等。水利对象模型及属性关系定义如图 2 所示。

图 2 水利对象模型及属性关系定义

数据整合的过程中,按照水利部颁布的《水利对象基础数据库表结构与标识符》(征求意见稿)和SL/T 213—2020《水利对象分类与编码总则》等规范为参照依据,细化水利对象的编码规则。围绕水利对象,通过业务、空间属性或水利对象编码建立关联关系。具体分析如下:

1)水利对象空间关系。水利对象空间关系主要表现为对象空间抽象表达,即水利对象点、线、面在空间上的位置逻辑关系,如点在线上、点在面内、线与线衔接等。

2)水利对象业务关系。水利对象业务关系主要表现为不同类型水利对象之间存在的水利政务和业务关系,如单位与水利工程之间的管理与被管理关系、水库工程与灌区工程之间的供水和用水关系等。其中,部分水利业务关系可以利用水利对象空间关系推理出来,如河流上的泵站存在供水和取水关系。

3)水利对象编码关系。水利对象编码之间的关系指,信息资源整合过程中对水利对象统一定义的数据编码和原有业务系统中各类水利对象编码之间的映射关系。

水利对象模型在构建时,按照对象成因划分为大类,中类,小类和基础类 4 个层次,具体包括:自然、非自然 2 个大类;地表、地下、设施和非设施 4 个中类;集储水单元、输水通道、独立设置、组合工程、行为主体和行为客体 6 个小类;每个小类下层再划分基础类。

按照水利对象模型建设的整体思路,综合业务平台梳理并整合了包括河流、湖泊、水库、水闸、取水口等共 34 类 20 万余条水利对象基础数据。

2.3 数据实时更新策略

为保证哈密各类水利相关数据的实时更新,依据水利信息化顶层设计总体架构,建立了统一的数据资源存储交换和共享服务机制,以 ETL(Extract-Transform-Load)技术为核心,构建了哈密地区统一的数据资源交换共享体系。ETL 是将业务系统的数据经过抽取、清洗转换后加载到目标数据存储地点的过程,目的是将业务单位分散、零乱、标准不统一的各类数据整合到一起,该技术被广泛运用进行海量数据的多级汇聚与集成[9]。

哈密地区数据资源交换共享体系包括与新疆水利厅的交换共享、与全州各级水利部门的交换共享和对外部数据资源获取三部分内容,需交换或获取的数据内容主要包括井电双控、地下水、地表水、水库、大坝安全、山洪灾害预警、水土保持、灌区、农村饮水、地理空间、调度方案、调度指令、应急预案等。数据交换共享体系结构图如图 3 所示。

图 3 哈密地区数据资源交换共享体系结构图

需要交换共享的数据源分为数据库、互联网公共和文档多媒体类 3 种数据资源类型,采用以下方法进行交换或获取:

1)数据库数据资源交换。采用 ETL 工具组件,新疆水利厅和哈密各级水利部门定制数据实时抽取及交换策略,通过数据的抽取、转换、传输和存储,实现数据库数据的实时交换和更新。

2)互联网公共数据资源获取。通过数据抓取技术实时获取互联网公开的非涉密数据资源,包括气象、防汛预警、国家重大决策、法规、社会舆情、经济社会等信息。

3)文档及多媒体资料类数据资源交换。采用SVN(版本控制系统)技术,实现文件型和多媒体型数据资源的共享交换。

哈密地区数据资源交换共享体系建成后,满足了现阶段哈密地区水利行政管理单位内部及外部数据交换共享的需求,实现跨层级、地域、系统、部门、业务的数据共享和实时更新。

3 运行情况及建设成果

综合业务平台于 2019 年 5 月正式投入运行使用,系统运行稳定,办公使用频率高。综合业务平台涉及的业务和数据种类繁多,2017—2019 年间,按照防汛、水资源、水利工程和水土利用四大水利监管业务工作,对所涉及的应用及数据资源分阶段进行了整合,初步构建起哈密地区统一的信息资源整合与应用平台。截止到 2020 年 6 月,平台集成整合了哈密地区一区两县水利对象基础数据共 34 类20 万余条,防汛业务数据共 70 万余条,水资源业务数据共 50 万余条,水利工程监管数据共 30 万余条,集成工程视频资源 89 路,水土利用数据共 7 万余条。为哈密地区防汛减灾、水资源管理、工程管理、水土利用管理等方面工作提供了有力的信息化支撑保障。

基于数据整合成果,综合业务平台面向哈密地区各级水利管理单位提供了以下服务应用:

1)水利对象基础信息服务应用。搭建了哈密水利一张图,实现了哈密地区水利管理所需各类水利对象基础信息的查询、统计、分析和展示。

2)监测动态信息服务及应用。提供了对哈密地区地表水和地下水取水、工程安全运行、水雨情等各类监测信息的查询,统计,分析和展示功能。

3)地区防汛信息服务及应用。提供了对实时雨情、河道水库水情、工程险情和运行状况等信息的综合分析会商功能,实现了防汛抢险物料、人防组织的部署响应,以及对历史洪水等信息的检索和分析。

4)水资源信息服务。提供了水资源监测预警、用水计划与配置管理、供用水统计分析、水资源管理专题图等功能,实现对石榆灌区各类水资源有关信息的监测、统计和预警,并可以对哈密地区一区两县的用水情况进行动态分析。

5)水利工程信息服务及应用。实现了对哈密地区各类直管工程的管理和工程视频监视的集成接入。通过工程信息的集中汇聚,建立哈密地区各类水利工程的统一档案,实现对各类水利工程基础和动态特征等数据的信息维护及统计分析。搭建了哈密地区统一的视频监控平台,将地区内的各类工程尤其是重点调度控制性工程,以及水源地、取水口、排污口等非工程区域已建的视频资源进行了集中管理和监视。

6)水土利用监测信息服务及应用。实现了对哈密地区水土利用信息的汇聚管理和统计分析。

4 结语

哈密地区水利综合业务平台采用基于 SOA 的设计思想,设计了“一数一源”策略,通过搭建水利对象模型和构建统一的数据资源交换共享体系,初步构建起支撑哈密地区水旱灾害防御、水资源管理、水利工程管理和水土利用等方面工作的综合性水利信息化应用,有效提升了哈密地区水利信息化监管业务范围和水平。由于时间关系,水土流失、河湖监管等业务方面的建设内容仍然有待完善。此外,平台架构涉及到的 ESB 技术可能会出现单点故障[10],一旦支撑整体架构的服务总线出现运行故障,将会对其他服务的正常运行造成影响。为提升系统的稳定性和运行效率,下阶段考虑采用“微服务”的技术架构对已有服务框架进行升级。此外,下阶段工作还将紧密聚焦洪水、干旱、水资源开发利用、节约用水、城乡供水、河流湖泊、水利工程运行管理、水利工程建设、水土流失和水利监管等十大水业务,利用大数据等新技术,在水利行业《智慧水利总体方案》的指引下,不断丰富完善哈密地区水利信息化应用监管工作的建设内容,进一步补充在河湖监管、工程建管等方面支撑应用的建设。

猜你喜欢

数据源水利对象
低碳经济下水利行业的发展
信息技术对水利规划的作用研究
晒晒全国优秀县委书记拟推荐对象
水利预算绩效管理问题分析
判断电压表测量对象有妙招
水患变水利 保护安阳“母亲河”
利用属性集相关性与源误差的多真值发现方法研究
Web 大数据系统数据源选择*
攻略对象的心思好难猜
区间对象族的可镇定性分析