企业异构信息系统的数据集成

文/韩丹

随着信息化建设的发展，企业斥巨资建立了众多信息系统，但由于企业信息系统是逐步建立起来的，基于不同时期信息技术而建立起来的业务系统采用不同数据库并以不同的表现形式描述数据，因此形成了大量的信息孤岛，造成大量的冗余数据和用户的重复劳动。

1 ETL工具之ODI

ODI作为典型的ETL工具，本身采用JAVA开发，可以实现跨平台，它不仅能够支持几乎所有的关系型数据库，还能支持多维数据库，适用于异构信息系统间的数据交换。另外，针对传统ETL工具需要独立的ETL服务器，性能较差，投入成本较高的问题，ODI不需要新的服务器，利用已有数据库资源，建立接口通道，实现数据的批量装载。其可扩充性强、易管理和低成本的特性适用于企业异构信息系统数据集成的使用。

2 基于ODI的异构系统数据集成模型

2.1 异构系统数据源分析

以国内某大型能源集团为例，该集团业务系统多采用关系关系型数据库存放数据，而预算管理系统采用多维多维数据库存放数据。与关系型数据库不同的是，多维数据库采用立方体块存储模式，即将数据存放在一个n维数组中，而不是像关系数据库那样以记录的形式存放。两个系统的集成可以简单理解为二维数据和多维数据之间的相互转换，如图1所示。

由于多维数据库的特性导致预算管理系统与其他业务系统对接时，应多考虑如何定义业务规则实现数据之间的映射，而不用考虑具体实现细节。而且对于生产性企业业务数据粒度往往很细，从而导致数据体量大。在众多ETL工具中，能满足短时间内大体量数据的传输要求而且做到不增加额外服务器成本的，ODI无疑是个不错的选择。

2.2 数据集成模型构建

（1）搭建物理体系架构，定义各自技术及其数据服务器、物理架构、物理代理。在ODI工具中建立连同多维和关系的双向数据传输隧道。

图1

图2

（2）搭建逻辑体系架构，定义各自技术及其关联的逻辑架构、逻辑代理。通过逻辑架构将物理架构与接口模型进行连通。

（3）通过反向工程知识模块构造数据模型，分别将多维数据库中的数据和关系数据库中的数据通过逆向映射为ODI识别的数据格式。

（4）通过加载知识模块可以从逆向表中有效地提取数据到临时存储区。

（5）通过集成知识模块用于有效地将临时存储区中的数据转换为目标表。

2.3 实施效果

以该能源集团销售公司预算应用为例，如图2所示，该应用采用多维数据库存储，数据库中有6个维度，分别为科目维、组织维、期间维、场景维、区域维、产品维。每个维度上分别有一个或多个维值：科目维包含销售收入、销售成本、销售毛利；组织维包含销售公司；期间维包含1月、2月、3月、4月；场景维包含预算、上年预计；区域维包含区域1、区域2、区域3、区域4、区域5；产品维包含产品1、产品2、产品3。每个数据都是由6个维度叉乘得出。假如一个数据块之存储2个数据，那么8个数据需要4个数据块存储。而多维数据转化为二维数据后则在关系表中体现为8行记录，每个维度相应的转化为字段，而行记录则是维值和数据。

3 结论

本文使用ODI工具从实践角度设计了一个多维数据库和关系数据库间数据传输的接口模型，该模型可以让开发人员集中精力定义业务规则，而不用考虑实现细节。通过该模型打破企业预算管理系统数据孤岛的现状，轻松实现异构数据集成。本文所运用的技术方法对信息系统具有一定的通用性,可为其他即将实行信息系统数据集成的企业集团提供借鉴。使更多的人更充分地使用已有数据资源，减少重复劳动，节约建设成本。