基于元数据的环境数据服务总线*
2015-08-17曹永忠刁劲辉
曹 云,曹永忠,刁劲辉
基于元数据的环境数据服务总线*
曹云1,曹永忠1,刁劲辉2
(1.扬州大学信息工程学院,江苏扬州225000;2.扬州环境保护局,江苏扬州225000)
环境监测、收费、统计等方面存在大量信息孤岛,导致数据不一致及共享困难。立足于共享环境数据,将共享数据抽取到数据中心,利用元数据实现目录化管理,并设计相应粒度Web服务,在企业服务总线(Enterprise Service Bus,ESB)上实现数据共享。
环境数据;元数据;企业服务总线;数据共享
0 引言
目前,环境问题已经严重影响了人们的生活和健康。虽然各环保局大部分都建立了监测系统,但是这些系统分属不同部门管理,数据不能实现共享。运用元数据实现环境数据目录化管理,克服了传统数据集成不完善问题,从而使环境数据能够得到更好的共享。
1 系统总体框架
各业务系统像一个个信息孤岛,如何将各自独立的环境数据集成到环境数据中心并在ESB上实现共享是研究重点。为了消除这些信息孤岛,实现信息共享和资源整合[1],应用元数据管理技术建立元数据管理平台,建立环境数据目录管理体系,实现元数据增加、删除、修改及检索,并结合数据仓库技术对各类环境数据进行抽取、清洗、加载,建立环境数据中心;再应用中间件技术建立信息发布平台以提供数据查询、数据分析、自定义图表和数据个性化定制等功能;在数据服务支持下建立环保服务总线架构,实现环境数据资源共享。环境数据中心架构图如图1所示。
图1 环境监测数据中心的架构
数据资源中心将各业务节点的数据通过ETL过程存储到中心数据仓库,实现元数据的抽取和审核,建立完整的数据目录并存储在元数据库中,同时在数据中心设计并建立粒度适当的Web服务。各业务系统可通过ESB向中心发出元数据查询请求,获得元数据后的业务系统可构成数据服务请求,通过总线下载自己所需要的数据。这样,可以在以后开发的增值服务中很方便地使用整个数据域的数据,达到真正意义上消灭信息孤岛的目的。
2 关键技术
2.1元数据管理
2.1.1元数据
在信息技术高速发展时代,从大量环境数据抽取有用数据进行分析与加工成为难题。为此选择了数据仓库作为存储信息的平台,将信息中的知识进行抽取形成元数据,并存储于元数据库中[2]。元数据是一种结构化的信息,用于对某项信息资源进行描述、解释、定位,使其易于提取和使用[3-4]。在已有Oracle数据仓库基础上,以元数据管理技术将数据仓库中环境数据进行目录化管理,从而实现按用户需求动态地以层次化目录形式管理环境数据。元数据管理框架如图2所示。
图2 元数据管理框架
客户向门户网站发出环境数据查询申请,再通过注册的用户名登录网站进行元数据查询;系统通过检索元数据库将客户申请的元数据信息通过ESB共享并返回给客户。
2.1.2元数据规范
元数据规范以XML/XSD格式定义,元数据规范中规定以下内容:题名、名称、标示符、语种、语法、语义、客户信息、版本信息、创建日期和Web Service信息等。XML Schema定义元数据部分信息如下:
<xs:element name="Metadata">
<xs:complexType>
<xs:sequence>
<xs:attribute name="definition"type="xs:string"/>
<xs:attribute name="date"type="xs:string"/>
<xs:attribute name="keywords"type="xs:string"/>
<xs:attribute name="classification"type="xs:string"/>
</xs:sequence>
</xs:complexType>
</xs:element>
2.1.3元数据环境管理
元数据管理系统的主要功能是将资源数据中心采集的环境数据进行目录化管理。元数据环境管理功能图如图3所示。
图3 元数据环境管理功能图
编辑元数据和导入、导出元数据负责元数据编辑;业务逻辑管理针对客户,其定义和变化往往产生新的规则,成为数据规则管理的对象;环境数据规则管理包含了数据抽取和转换规则、数据汇总和加载规则的管理;环境数据变更管理面向数据使用规则,跟踪和协调业务使用要求的变化,更新元数据和数据仓库;环境数据展现管理通过统一应用程序编程接口和模式,建立统一的企业信息门户标准和允许个性化定制的功能。
2.2企业服务总线技术
2.2.1ESB
ESB定义通常如下:它是由中间件技术实现并支持面向服务架构的一组基础架构功能,支持异构环境的服务、消息以及基于事件的交互,并且具有适当的服务级别和可管理性[5-7]。企业服务总线框架如图4所示。
图4 企业服务总线框架
客户向门户网站Web服务注册中心注册登录名,申请查询Web元数据环境信息和系统内部检索元数据库环境信息是元数据管理任务核心。系统将客户申请查询的信息上传到ESB,ESB再将查询结果共享给客户。
2.2.2Web Service技术
Web Service是一种分布式技术,它所使用标准XML协议可以使得Web服务平台、语言和发布者能够互相独立[8]。同时,Web Service基于SOAP、UDDI、WSDL等网间传输协议标准[9]。
Web Service运行机制如下[10]:各环境监测数据中心采集的异构环境数据在UDDI服务注册中心发布,并提供WSDL接口,Web Service根据接口将异构的分布式数据进行标准化处理,形成统一的XML形式发送至元数据库中,客户通过Web Service访问元数据。
其中,基于WSDL的描述为:客户向Web服务注册中心注册登录名、调用Web元数据库以及访问WebService元数据接口。基于Web Service元数据接口WSDL定义部分信息如下:
<message name="doMetadataSearchRequest">
<part name="key"type="s:string"/>
</message>
<message name="doMetadataSearchResponse">
<part name="return"type="s0:doMetadataSearchResponse"/>
</message>
<portType name="MetadataSearch"><operation name=" doMetadataSearch">
<input name="key"message="s0:doMetadataSearchRequest"/>
<outputname="return"message="s0:doMetadataSearchResponse"/>
</operation>
</portType>
3 实施与验证
基于元数据的环境数据服务总线技术已基本实现并在扬州市环境监测中心站完成试点应用。系统已具备环境监测各类实验室分析数据、质控数据的采集、综合查询、汇总统计、分析等功能。以扬州市瓜洲水质检测为例,监测的环境数据与MATLAB模拟的环境数据基本吻合,如图5所示,验证了技术的稳定性与准确性。
图5 瓜洲水质监测对比图
4 结论
本文采用面向对象分析设计方法,对目前比较成熟的企业服务总线技术进行了创新并加入了元数据管理技术,实现了基于元数据的环境数据共享。几个监测站的试点表明,该技术应用效果良好,在环境数据业务整合方面还不完善的今天,预期应用前景将比较乐观。
[1]李梓,杨斌.企业服务总线技术(ESB)在大型企业中的应用[J].信息技术,2013(2):146-147.
[2]李艳,郝大鹏,徐行.图书馆元数据信息发布平台及其应用[J].计算机技术与发展,2014,24(2):234-236.
[3]NISO Press.Understanding metadata[EB/OL].[2004-09-01]. http://www.niso.org/publications/press/UnderstandingMetadata.pdf.
[4]张宇,蒋东兴,刘启新.基于元数据的异构数据集整合方案[J].清华大学学报(自然科学版),2009,49(7):1037-1040.
[5]MICHELSON B M.Enterprise service bus Q&A[EB/OL]. [2006-10-28].http://www.ebizq.net/hot-topics/esb/features/ 6117.htm l.
[6]CHAPPELL D.Enterprise service bus[M].O′Reilly Publishing,2004.
[7]柴华,周兴社,杨刚,等.基于企业服务总线的信息共享交换平台研究[J].微电子学与计算机,2008,25(4):116-120. [8]ROBERT V S,LAVETTE C T.Object oriented systems analysis and design with UML[M].Prentice Hall,2004.
[9]谢绍锋.基于Web Service的林业分布式多源异构数据集成技术研究[J].中南林业调查规划,2011,29(4):25-29.
[10]刘刚,余晖.利用WSDL和UDDI为公共Web Service建立统一接口[J].计算机应用研究,2003(5):150-152.
Environmental data in ESB based on the metadata
Cao Yun1,Cao Yongzhong1,Diao Jinhui2
(1.School of Information and Engineering,Yangzhou University,Yangzhou 225000,China;2.Yangzhou Environmental Protection Bureau,Yangzhou 225000,China)
Environmental monitoring,charging,statistics and other aspects have a large number of information islands,which lead to data inconsistency and sharing difficultly.This article is based on the shared environmental data,and the shared data is extracted to the data center.It utilizes metadata to achieve the directory management.It designs corresponding granularity of web services in order to realize data sharing in ESB.
environmental data;metadata;ESB;data sharing
TP39
A
1674-7720(2015)04-0083-03
江苏省科技型企业技术创新资金项目(SBC201211055)
(2014-09-18)
曹云(1990-),通信作者,女,硕士研究生,主要研究方向:嵌入式,Linux,数据库。E-mail:18352764287@163.com
曹永忠(1968-),男,工学博士,副教授,硕士生导师,主要研究方向:Web服务组合,工作流技术。
刁劲辉(1977-),男,工程硕士,副主任,主要研究方向:元数据,GIS等。