水利信息资源整合共享系统设计
2015-12-25施丛丛陈名生杨建业吕超贤
施丛丛++陈名生++杨建业++吕超贤
摘要:水利数据共享服务系统提供水利信息资源发现、数据访问、数据下载订购、API接口调用、水利数据和产品的共享分发等服务。整个系统在纵向上分为六层,其中门户网站是实现平台一体化的外部接口,处在底层的是对基础设施的管理,诸如水利信息资源虚拟化、资源分配自动化与协调;其次是以J2EE和NET技术为支撑的分布式计算环境;再其次是基于服务构件的支撑环境;处在第三层的是核心技术与支撑环境,包括元数据与目录管理、元数据同步等核心技术和数据共享分发支撑环境;第二层是以面向服务的体系结构(Service-Oriented Architecture,SOA)为基础构建的数据交换系统,包括数据分发策略、标准格式转换、发送统计子系统;处在顶层的是Web检索与服务分系统、数据定制分系统、用户管理分系统和信息平台管理与技术支持分系统。各层次之间相互联动,共同支撑数据共享服务系统的运行。
关键词:水利信息;数据共享;系统整合
中图分类号:TP391.41
文献标识码:A
DOI:10.3969/j.issn.1003-6970.2015.09.015
0 引言
数据共享服务系统是建设南京市水利信息共享平台的重要基础性保障。通过建设覆盖全江苏的数据共享服务系统,可以加强水利信息资源的整合,深化水利服务内容,实现水利信息的充分共享和利用,为防汛防旱、水利工程、水资源管理、水文、水利政务、地理信息、农业、林业、海洋等重要部门提供更高质量的水利信息服务,使整个南京市的水利科学服务系统发挥最大的整体效益。
数据共享服务系统强调“以共享应用需求为导向”,兼顾系统的安全性、可靠性、可维护性、规范性、可扩展性,把数据共享服务系统的先进性作为增强新一代水利信息共享平台竞争力的基本手段,实现各类水利资源的综合利用和共享。具体内容包括:1提供元数据交换基础设施,完成共享服务系统涉及的元数据采集、发布、交换和使用,并对以元数据为核心的目录进行查询和管理维护,实现统一的元数据目录访问服务。2通过数据共享服务提供水利信息资源发现、数据检索下载、数据订购,访问服务接口调用,水利数据和产品的共享分发等一站式服务,支持部门内水利信息的高度共享,实现水利信息与水利资源的全面整合和优化配置。3依据相关分级分类的管理规定,提供对整个用户服务流程和多种服务手段的统一管理。对服务用户提供注册、在线交流和在线支持等功能;为数据服务部门提供用户关系管理、用户反馈信息管理、服务质量分析等功能,全面提升数据共享服务系统的核心竞争力与综合服务水平。
1 水利数据共享服务系统总体构架
水利数据共享服务系统提供水利信息资源发现、数据访问、数据下载订购、API接口调用、水利数据和产品的共享分发等服务,总体结构如图1所示,整个系统在纵向上分为六层,其中门户网站是实现平台一体化的外部接口,处在底层的是对基础设施的管理,诸如水利信息资源虚拟化、资源分配自动化与协调;其次是以J2EE和.NET技术为支撑的分布式计算环境;再其次是基于服务构件的支撑环境;处在第三层的是核心技术与支撑环境,包括元数据与目录管理、元数据同步等核心技术和数据共享分发支撑环境;第二层是以面向服务的体系结构(Service-Oriented Architecture,SOA)为基础构建的数据交换系统,包括数据分发策略、标准格式转换、发送统计子系统;处在顶层的是Web检索与服务分系统、数据定制分系统、用户管理分系统和信息平台管理与技术支持分系统。各层次之间相互联动,共同支撑数据共享服务系统的运行。
水利数据共享服务系统面向水利部门用户、行业用户建立不同的门户系统提供水利信息的共享服务,各门户系统之间在物理上和逻辑上完全独立。安全可靠性是数据共享服务系统建设的首要原则,也是数据共享服务系统未来推广应用的最重要的条件。安全可靠性包括技术上的可靠性和运作的可靠性。数据共享服务系统不能瘫痪,提供容错设计和动态组建替换机制,有故障检测和恢复手段。在确保安全性同时,要加强系统规范性建设,包括制度规范、数据标准规范、开发方法规范等。
(l)本部门共享服务
水利部门门户为本部门用户提供基于WEB应用服务的水利信息资源发现、数据访问、数据订购下载,访问服务接口调用,水利数据和产品的共享分发等一站式服务。本部门共享服务系统的逻辑结构图如图2所示:
(2)行业共享服务
行业门户为下级行业用户提供基于WEB应用服务的水利信息资源发现、数据和产品访问、下载等服务,行业共享服务系统的逻辑结构图如图3所示:
(3)实时业务专用库共享服务
共享服务系统面向本部门实时业务用户提供专用实时数据访问服务调用。其逻辑结构如图4所示:
2 数据共享服务系统的信息流程
(l)共享服务系统基本信息流程
本部门共享服务信息流程实现的主要业务功能包括数据服务、元数据交换/同步、用户认证、共享数据交换等,其信息流程如图5所示:
行业共享服务信息流程实现的主要业务功能包括数据共享服务、用户服务管理、元数据与目录管理等,其信息流程如图6所示:
(2)本地数据服务流程
数据共享服务门户针对数据存储管理系统的各种水利观探测资料和基本业务产品,提供数据导航、检索、下载服务;并为用户提供数据格式转换、统计分析和数据可视化等处理功能。系统主要功能包括用户认证与授权、数据导航、数据请求、请求处理、数据服务。系统数据服务流程主要内容包括:
1)数据导航系统提供基于元数据的水利数据目录导航、数据搜索,实现数据定位。
2)登录用户进入数据服务页面,系统根据应用元数据生成数据的检索或处理模版;用户通过条件选择或输入,提交数据服务请求。
3)系统接收用户请求,根据服务分级策略,生成服务订单;并按照用户请求的形式、种类和内容,编排进行用户请求处理的工作流/业务处理流程。
4)系统的工作流引擎,按照编排,调用相应的算法库或软件包,进行数据检索、处理、分析、可视化作业,获得用户所需的资料。其中,对实时服务请求订单,系统进行即时处理和相应;对于非实时服务请求,通过订单管理和作业调度,进行处理。
5)用户订单处理完成后,系统对处理结果数据(或图形/图像)进行服务数据临时存储管理,并以FTP和HTTP方式提供服务;并将处理结果返回或通知用户。
(3)全网数据服务流程
用户根据本地数据共享服务门户网站提供的元数据目录发现并定位到目标数据。如果目标数据的服务位于本地,则通过本地用户认证获取权限,并通过数据请求和数据服务等环节获得所需数据;如果发现目标数据位于异地,则系统自动导航到异地数据共享服务门户网站,通过全局用户认证获取异地数据访问权限,并通过位于异地的数据请求和数据服务等环节获得所需数据。
(4)元数据交换管理流程
元数据交换管理流程分为两个部分:节点内流程和节点间流程。具体流程如图7所示,
节点内流程——在上级和下级中心的本地,元数据采集和发布功能模块根据应用元数据模板和预定义的采集规则,通过人工或自动两种方式生成本地应用元数据的元数据文件,这些元数据其中的描述部分从数据存储管理系统的元数据库中抽取,并且人工采集的部分须经过验证和审核来发布;本地元数据网关经由本地元数据提供服务获取本地的应用元数据文件,并经过转换和整理存入本地元数据库;元数据目录管理模块完成对元数据库的目录管理维护功能;而元数据目录服务(由数据发现与全局导航模块提供)则通过访问元数据库的目录树来实现数据发现和导航的功能。
节点间流程——节点间的元数据流程指的是节点间的元数据交换,这一过程按照拉取(PUII)和推送(PUSH)两种工作模式进行,拉取模式提供一般水利资料的元数据同步服务,时效性一般;而推送模式则为实时水利资料,如:雷达、天气警告等提供时效性更强的元数据同步服务。它们的工作流程如下:
拉取模式——省中心节点的元数据网关向下级中心节点元数据网关发起元数据收割请求,下级中心节点网关从本地元数据目录中抽取更新的元数据目录项发送给省中心元数据网关,省中心接受这些目录项,收集整理存入省中心元数据目录;下级中心节点元数据网关向省中心节点元数据网关发起元数据收割请求,省中心节点网关从本地元数据目录中抽取更新的元数据目录项(包括其他下级中心和省中心自身的更新元数据目录项)发送给下级中心元数据网关,下级中心元数据网关获得上述目录项后将其存入本地元数据目录。
推送模式——当本地元数据文件有更新,省或下级中心节点将更新的元数据文件以消息的形式推送至本地元数据网关,网关对消息经过验证后存入本地元数据目录,同时将消息推送至所有临近节点的元数据网关,以此类推,直到所有节点接收到推送的元数据更新消息,并存入各自的元数据目录。
(5)用户认证流程
用户认证流程分为两种:本地用户认证流程和全网用户认证流程,实现用户的注册、单点登录、统一认证、用户的行为跟踪监督、服务日志记录等功能。具体流程如图8所示
3 数据共享服务的系统应用层次及其用户群
共享服务系统面向最终用户提供四种服务方式:
通过WEB数据服务,提供全网数据目录的导航、关键字检索、空间检索等多种搜索方式,为最终用户获取数据提供数据发现、数据检索、数据下载、数据定制等服务;基于部分水利数据和产品支持在线统计分析和图形化显示功能;
面向业务系统提供可编程数据访问服务接口,实现高时效和规范的数据访问;
数据直接获取服务:建立水利资料目录,采用ftp方式提供数据直接下载;
提供数据共享分发服务;
本系统主要的用户包括行业用户、社会用户、上级用户、下级用户、业务值班用户和业务管理用户:
行业用户、上级用户、下级用户依托地面传输网络和卫星广播网络,以文件形式,采用推、拉方式来交换数据。
行业用户借助同城网络、INTERNET,通过WEB检索的方式来获取本系统所管理的数据。
业务值班用户和业务管理用户主要以IE浏览方式来了解系统和业务运行状况。
通过数据共享服务系统提供服务的数据资源包括各级中心的水利数据和产品。其中通过数据共享分发方式共享的信息为局域网内部业务需要的水利数据与产品为主,通过检索服务方式共享的信息为全部的各类水利数据和产品。共享服务系统面向行业用户提供的服务方式不同,基于不同区域系统提供的服务内容也有所不同。
数据共享服务系统的功能设计应充分引入现代信息流管理、信息供应链管理、客户关系管理等先进的经营理念,保证各种服务方式之间的紧密衔接,充分发挥出数据共享服务系统的先进性特点,为相关用户提供全方位服务。同时,在对现有技术进行分析、评价和选择时,应当充分考虑到未来水利业务需求的发展和变化。因此,在数据共享服务系统实施过程中,充分引入先进的技术手段,构建可扩展的数据共享服务系统平台,保障业务应用的未来发展需求。
5 结论
新一代水利信息共享平台中的数据共享服务系统建设是一个渐进的过程,它涉及大量的信息技术和水利管理知识。为避免低水平重复开发与建设,提高水利信息集成与共享的程度,在建设过程中,本设计积极借鉴国际成功经验,并会同政府、高校科研院所相关方面的专家整体规划和设计,集中于内部系统平台的搭建、元数据与目录服务部署和数据共享服务建设上,逐步将重点转移到信息化服务的完善、用户服务管理和信息平台的管理。