基于XML的企业异构数据源集成系统的研究与设计＊

刘静宜,刘旭东

(烟台职业学院,山东 烟台 264670)

基于XML的企业异构数据源集成系统的研究与设计＊

刘静宜,刘旭东

(烟台职业学院,山东 烟台 264670)

介绍了企业异构数据集成技术产生的背景、研究目的以及相关概念和技术;提出了一种基于Internet系统的三层架构的企业异构数据源集成模型框架,并阐述了实现该数据集成模型的关键技术和优越性。

XML;数据集成;架构;异构数据源

0 引言

随着企业信息化的逐步深入,特别是Internet技术的迅猛发展,各种异构应用系统之间存在着大量的数据交换和信息集成,而数据交换和信息集成的核心问题就是信息的标准化,主要解决信息的可理解性问题,包括人和机器对信息的理解。而且更重要的是机器对信息的识别,并能根据数据进行自动处理。在可扩展标记语言XML出现之前,常用的数据交换方式有传真、电子邮件和电子数据交换(EDI)。传真和电子邮件必须经过再次输入和数据转换才能纳入后台信息管理系统,效率低,实时性差,EDI通过增值网(VAN)在各应用系统间传输数据。这种方式可使计算机系统可靠的协同工作,但技术复杂,灵活性差,费用昂贵,报文读写转换困难,这些缺点使 EDI未能得到广泛使用。XML的出现,为信息的标准化提供了有力的工具。

XML是互联网联合组织(W3C)涉及并推荐的新一代标记语言,是SGML的一个优化子集。它以一种开放的自我描述方式定义数据结构,在描述数据内容的同时能突出对结构的描述,从而体现出数据之间的关系。它的出现无疑为异构数据源的集成带来了新的希望。只有将异构数据源集成起来,人们才能从这些资源数据中获取所需要的信息。

针对上述问题和功能要求,本文详细讨论了利用 XML技术,将来自不同应用程序的数据转化到XML中间件这个统一的框架中,进行交互、转化和进一步的加工,以实现更大范围的数据共享,以便更有效的利用信息资源。

1 异构应用系统数据源集成设计方案

异构应用系统是指在不同的硬件的体系结构和操作系统平台(Windows,Unix,Linux)以及网络数据库系统上运行的各种信息系统与辅助工程系统(如CAD/CAM/CAPP等)。

本文提出的企业异构数据源集成架构采用了因特网系统的三层体系结构即浏览器/Web服务器/数据库服务器结构。因为XML已经成为Internet上数据表示和交换的标准,另外XML具有自描述的特性,结构化、半结构化和非结构化数据均可采用 XML来进行描述,因此本系统采用XML技术,一方面解决异构数据集成问题,另一方面实现企业数据的动态发布。其总体架构如图1所示。

图1 基于XML的企业异构数据源集成总体架构图

(1)数据源层：系统的数据提供者,由不同来源的数据构成。包括各种类型的数据库、文件、多媒体等信息。

(2)XML中间件层：提供必要的数据转换功能或工具。

有一个代理程序运行于中间层,通过它来访问数据库中的数据,将此数据与XML格式进行相互转换和输出XML文档。代理程序也起着桥梁的作用。另外,这种代理程序还可以进行双向的基于事件的数据更新,也就是说,客户端的数据变化(如数据的插入、删除、修改等)可以通过代理程序反映到底层数据库,而数据库的更新也能够及时通知到客户端。通过中间层的代理程序,可获取的数据来源可以不必局限于某台固定的数据库服务器,而可以是分布于企业内,甚至于遍及全球各地的数据库服务器。

(3)客户层：用户界面层,根据具体的应用和用户计算环境,采用合适的信息访问技术或应用软件。

2 系统实现技术

由图1可以看出,整个系统的实现完全是一个传统或目前技术成熟的三层应用。在该架构中,关键的一个问题是以XML格式作为中间格式,进行企业数据抽取和存储以及以XML格式完成部门间数据共享,即架构中XML中间件层的实现。因此本文只对模型中XML中间件层的实现进行讨论。

在数据管理上采用“XML包装”的方式进行,也即所有数据的变化请求均需通过XML中间件层进行存取访问,而中间件层并不存储具体的数据,只存储所有数据的集成模式。具体的讲,每一个异构信息由一个传统数据源和一个“外套(wrapper)”构成,它通过一个 XML接口(引擎)作为低层DBMS或其它资料的包装,在不改变服务器中原DBMS或其它数据源的前提下,只需用一种统一的可扩展语言XML为各种服务器做一件外观统一的“外套(wrapper)”。XML中间件层及其与数据源层映像结构如图2所示。

图2 XML中间件层及其与数据源层映像结构图

在XML中间件层,主要涉及两个问题,一个是针对每个数据源的wrapper,即完成某种类型数据源与虚拟数据库之间的双向映射;另一个是XMLEnabled的集成数据(虚拟数据库)公共模型建立及管理。

(1)Wrapper中的双向数据映射

首先,用XML描述集成数据,用XSL定义用户视图,用XML文档和格式文件DTD表示集成模式和数据源之间的映射。

Wrapper的第一个任务是将各个数据源的Schema通过相应的wrapper溶入全局Schema。在这个过程中,wrapper将数据源中的数据转换为一个DOM对象。例如,一个关系wrapper能决定关系模型和DOM对象数据模型之间的映射(如tuple=object,column=attribute)。

例如 ,有 Person(PersonID,Name,BirthDate,Address,IdentifyId)和 Treatment(TreatID,Drugname,TreatNote,PeasonId)两个关系表,他们与XML DTD之间的映射如下：

在XML文档与数据库进行双向转化的过程中,除去最上层的根结点外,元素结点对应数据库中的表,属性和元素的类型对应表中的列,若一个元素结点为另一个元素结点的子结点,则用数据库中的主码和外部码建立表之间的关系。在上面的例子中,元素结点 Person和 Treatment对应数据库中的表。而PersonID,Name等对应表中的列。由于结点 Treatment为结点 Person的子结点,因此用 PersonID与Person建立关联。

Wrapper的第二个任务是完成数据的双向映射。具体来讲,就是完成数据源到XML-Enabled虚拟数据库的转换和虚拟数据库中数据向数据源的转换。这可以通过ASP或Java技术实现。

(2)中间件中的XML包装器

XML包装器对异构数据源进行包装,在集成系统内部,使用XML对数据进行统一的描述和存储,包装器完成XML数据模型和各异构数据源上的数据之间的映射,屏蔽了各异构数据源之间的差异。与异构数据源之间存在一一对应的关系,并将数据源的返回结果用XML数据模型进行描述。

该集成采用XML模型作为公共模型。这就必然涉及到如何实现对各个数据源的集成存取问题,或者说将用户对集成视图的操纵转换成对低层数据源的操纵,包括两个方面,一个是将用户对集成模式的访问转换成数据源可以执行的请求;另一个是将各数据源返回的数据转换成集成模式的表示形式。反之亦然。步骤如下：

1)从数据源中读取数据,生成XML文件,统一的格式表示。

2)将XML转换成一个DOM对象模型,为上层提供访问服务。

具体程序实现可以采用ASP或Java作为设计语言,利用Microsoft、IBM或其它公司的文档解析器,通过XML DOM来操纵XML文档。

下面的Java程序利用DOM型的Parser读入上例中的XML文件,生成DOM树型结构,并根据树型结构进行相应的操作和处理。

经过上述步骤的实施,就可以实现企业各个分散、异构系统的数据集成,同时也可以通过数据中心进行业务流程或企业各系统之间的数据交互,最终达到整个企业中各个系统间的整合。

该架构具有如下优势：

1)扩展性、可维护性好。所有的应用逻辑均集中在服务器端,从而使开发、维护过程中的大部分工作可以集中在服务器端,无需考虑客户端的系统状况,仅在调用和调试时涉及到客户端。此外,由C#.Net来实现应用处理逻辑使得系统能够方便地增加或调整网络服务类型以适应新的业务需求。

2)使用Java技术,使系统具有良好的可移植性。现在Java技术不仅可以在不同操作系统、Web服务器组合上运行,而且在不同的平台之间移植时,无需重编译。

因此,采用这种架构实现对异构数据源的系统集成具有广泛的应用前景。

3 结束语

一直以来,由于异构数据源之间的显著差异,使得异构数据源集成成为一个难以解决的问题。而XML的出现,为异构数据集成技术带来了希望,也使共享不同数据库中的数据成为可能,为解决异构数据源集成提供了机会。随着XML体系结构的不断发展和完善,可以更好地实现异构数据间的集成和共享,并大大提高信息系统的整体性能。

[1]龙德应.基于Web服务/XML的电子商务体系及数据集成研究[J].广东工业大学学报,2003,20(1)：32-39.

[2]李军怀,周明全,耿国华,等.XML在异构数据集成中的应用研究[J].计算机应用,2002,23(9)：10-12.

[3]吴增德,刘岩,马范援.基于服务的电子商务应用集成框架研究[J].上海交通大学学报,2002,36(9)：1341-1345.

[4]谢芳华,任午令,唐人仲.基于XML的异构数据交换集成技术及其实现[J].制造业自动化,2004,26(4)：1-4.

[5]娄渊胜,尹燕敏,王志坚.基于CORBA的通用数据存取中间件研究及实现[J].小型微型计算机系统,2001,22(10)：1210-1212.

[6]严峰.基于XML的异构数据源集成中间件的研究[D].天津：南开大学,2005.

(责任编辑：肖恩忠)

TP391

A

1671-4288(2010)06-0053-04

2010-04-26

刘静宜(1982—),女,山东荣成人,烟台职业学院信息工程系助教。研究方向：软件工程,信息管理与信息系统。