数字化校园数据集成总体架构浅析

王晶春

（长春理工大学 信息化中心，长春 130022）

随着网络、信息技术水平的不断提高，高校数字化校园建设的不断投入及深入开展，很多高校建立了涵盖学校教学、科研、管理、服务在内的众多业务系统，改变了以往传统的教学、管理及办公模式，为学校各部门、教师和学生提供多种便捷、高效的服务。

校园网的业务系统越来越多，系统间数据集成［1］关系的复杂化、数据流向的多元化，没有统一的身份管理，总体上使维护集成工作复杂，这样就形成了基础数据不能共享、数据重复录入、用户的认证信息过多、业务流程不能跨部门协同、信息孤岛等诸多问题，因此迫切要求高校从总体上规划数据集成的总体架构，以指导数据集成工作有条不紊的展开。

本文在对高校数据集成特点总结的基础上，提出一套符合其行业特点的总体架构方案，对高校数据集成具体实施提出一个参考性建议。

1 高校数据集成现状分析

目前许多高校数字化校园的数据集成工作还处于初级阶段，还未提高到总体架构的高度。数据集成工作都是由于各业务系统的数据需求才慢慢开展的，是一个自下而上的过程，随着数字化校园的不断发展，业务系统不断增加、各业务系统间的交互越来越多，越来越复杂、数据流向多元化，使集成工作的维护工作量增大。

高校各业务应用系统之间没有相互连接的信息渠道，数据被存储在不同的数据库、文件服务器当中，只有给予权限的用户可以访问，这样为高校整体管理设置的障碍，形成了一系列的信息孤岛。每个独立的业务系统都是一个数据源，如人事系统独有教工信息数据源、教务系统独有学生信息源、舍管系统独有学生舍管信息源等，每个数据源都是异构［2］的，形成了巨大的异构数据环境。这些异构的数据源之间还存在着千丝万缕的联系，遇到具体的业务需要时，这些分散的数据按需进行集成。每个业务系统的开发时期不同，内部之间存在的不可兼容性，全盘放弃的话势必造成浪费，怎样实现这些异构数据源之间的共享是高校数字化校园急需解决的问题，高校数据集成工作显得尤为重要。

目前许多高校已经着手进行数据集成，数据集成在建设初期用户都是按照需求在小范围组织系统内做一些简单的集成工作，或仅从技术实现角度上考虑，但是各业务系统间的关系越来越复杂，对数据集成的需求越来越复杂，这就要求高校要从整体高度规划集成工作，设计出一个数据集成的总体架构。

2 高校数据集成体系架构发展

2.1 点对点架构

2.1.1 点对点架构产生

数据集成架构初期是点对点结构［3］，如图1所示。

图1 点对点架构

高校各业务系统刚刚开始开发运行，虽然系统之间各自独立运行，但建设初期都会需要其他系统的一些数据，如：（1）学工系统需要从教务系统获取学生信息进行奖学金、学生贷款的管理等；（2）财务系统要从教务系统中获取学生信息进行缴费管理；（3）舍管系统需从教务系统中获取学生信息进行宿舍分配。发生此类需求时，数据集成工作一般为自发方式，当某一系统需要向其他系统获取数据时，大多采用的方式都是定期通过磁介质拷贝、电子邮件或备份数据库文件等方法获取所需数据，只要其他系统更新数据，就会造成同一数据在几个系统间的不一致，若遇到其他系统的数据清洗等工作，集成工作就更是难上加难了。

2.1.2 点对点架构特点

数据集成范围小，未考虑其他系统的融合，信息重复问题严重；各系统间数据不一致；需求较随意，不确定；周期上不固定；集成方式大都采用手工导入、导出或者自行开发等方法。

2.1.3 点对点架构弊端

集成范围小、扩展难、标准无法确定、全局应用无法展开。

2.2 星形架构

2.2.1 星形架构产生

点对点架构存在许多弊端，随着高校数字化校园建设的不断发展，数据集成开始从全局角度考虑，各业务系统数据集成的要求越来越复杂，一个业务系统可能要和多个业务系统之间进行信息交互，星形架构［4］应运而生，如图2所示，整个架构的形状与星形类似。

图2 星形架构

星形架构使得各业务系统不再是信息孤岛，数据可以在全局范围内流动，数据集成的质量得到提高，对异构数据源的处理也得以加强。

2.2.2 星形架构下存在的问题

（1）业务系统较少时，实现数据集成快速简便，业务系统越来越多，形成一定规模后，此架构的扩展性差的缺点就显现出来了。

（2）随着业务系统的增多，ELT编写变得复杂并难以维护。

（3）增加了系统之间的耦合度，一个系统出现问题影响全局，数据服务的质量、集成效率降低了。

（4）一份数据在各业务系统中有多个入口和出口，数据的一致性难以保证。

（5）安全性难以保证，各系统之间交互、授权、没有统一管理，势必影响系统的安全。

2.2.3 星形架构的弊端

可扩展性差、无法做到低耦合、数据质量无法保证、不能做到上层应用、缺乏权限控制。

因此，星形架构虽然解决了全局范围内数据集成的问题，但是在低耦合、数据标准维护、可扩展性、上层应用、权限管理等上仍然存在一定的问题。

2.3 集线器架构介绍

集线器架构的出现解决了星形架构存在的问题，集线器架构如图3所示，此架构设计了一中心节点，整体架构与集线器相似，各个业务系统与中心数据平台节点的集成关系成辐射状。

图3 集线器架构

集线器架构通常以某个关系型数据库为中心节点，并作为数据集成中心，ELT先按照统一的数据存储模型将各业务系统的数据加载到数据集成中心，这样数据集成中心根据各部门的数据需求将相关数据加载到各业务系统中，整个数据交互看上去像一个集线器一样。

表1 集线器架构优点

此架构中各业务系统需要的数据都存放在数据集成中心，各业务系统按需加载数据，这样保证了数据在各业务系统之间的一致性，避免了数据在各系统之间的重复，避免数据冗余；各业务系统之间相互独立，数据不发生交互，总体上各业务系统做到了低耦合。

由此可见，集线器架构解决了点对点架构、星形架构中存在的问题，具有低耦合、扩展性强、数据质量保证、全局集成、为上层应用提供基础数据以及权限统一管理的优点，是目前较符合高校数据集成工作现状的一个总体架构模式。集线器架构优点如表1所示。

3 集线器架构中数据库集成流程图和数据流向

3.1 数据库集成流程图

（1）过程一：如图4所示，过程一是数据集成中心的数据源，ELT将人事、教务等内部业务系统数据和外部数据抽取到中心数据库，经过清洗转换，将数据转换为标准的统一格式，其他各业务系统根据自身需求，从中心数据库提取数据。

图4 过程一

图5 过程二

（2）过程二：如图5所示，过程二分为两个阶段，第一阶段（虚线框）中数据集成中心为全局数据库提供数据，供各业务系统的应用及基础报表查询，同时数据集成中心从各业务系统中的获取数据，并转换为统一标准的数据；第二阶段是数据集成中心为数据仓库提供数据，进行统计数据分析和数据挖掘。

3.2 ELT介绍

ELT是利用数据库的处理能力，E表示从源数据库抽取数据，L表示把数据加载到目标库的临时表中，T表示对临时表中的数据进行转换，然后加载到目标库目标表中。

它的转换过程都是在转换服务器中进行的，这种处理方式不需要有中间的转换服务器，所有的转换都是在数据库中进行，可以节约资源。

Oracle的 ODI是使用 ELT 的理念（Extract、Load&Transform，即抽取、装载、转换）设计出来的数据抽取/数据转换工具，ODI：Oracle Data Integrator的简称，是Oracle的数据集成类工具。

图6 ELT体系结构图

3.3 集线器架构中数据流向

在总体架构中，数据集成中心和各应用业务系统之间的数据流是双向的，和全局数据库间的数据流也是双向的，数据标准由全局数据库提供，供其他应用业务系统使用。［5］

数据集成中心和数据仓库之间的数据流是单向的，数据集成中心为数据仓库提供数据，供用户分析和挖掘，以便辅助决策。

因此建立的中心节点是一个数据集成交互平台，一方面可以用于各应用业务系统间的集成，另一方面形成全局数据库，有了统一的数据标准。

3.4 架构特点

3.4.1 优点

（1）做到了信息编码统一

过程一中所有基础业务系统数据抽取到中心数据库，经过清洗转换，将数据转换为标准的统一格式，各业务系统按需统一从中心库获取数据，这样保证了数据在各业务系统的统一。

（2）无冗余业务数据

需共享的数据存储在数据中心，各系统中不再存贮共享数据，避免数据重复。

（3）数据只有唯一的入口、出口，谁的数据，谁负责维护。

（4）学校整体的信息较容易掌握，为辅助学校决策做好基础。

3.4.2 数据集成中心为中心节点

许多高校在数据集成应用中将全局数据库作为架构的中心节点，虽然这样能满足架构的要求，但长期这样应用会有很多弊端：

（1）数据集成中心结构根据需求变化会做相应改变和拓展，而全局库主要是面向上层应用，其结构要求稳定。

（2）数据集成中心会有大量数据中转、处理，全局库需想各业务系统提供数据，如果再做数据中心，会超负荷，形成系统瓶颈。

（3）从安全角度上讲，数据未经处理直接在全局库进行操作，可能会对全局库造成数据污染，影响其上层应用。

因此将数据库中心作为中心节点，将全局库从中心节点抽离、独立起来，解决了上述弊端。

4 结束语

本文对数字校园建设中面临的异构数据源现状进行了分析，对比分析几类数据集成体系架构，提出目前较适合高校数据集成工作的集线器式总体架构模式，适应高校发展的好的架构模式能加快构建数据化校园信息平台，是促进数字化校园高效统一发展的有力基石。

［1］唐伟.面向数据集成的数字化校园建设［J］.计算机教育，2013（2）：50-54.

［2］敖毅.面向数字图书馆的五层模型异构数据集成架构研究［J］.情报学报，2005，24（6）：723-727.

［3］李建花.面向校园网的高校数据集成方案的研究与应用［D］.济南：济南大学，2011.

［4］包林玉.数字化校园建设中异构数据集成技术的研究［D］.成都：西南科技大学，2009.

［5］杜伟.高校数据集成整体规划方案［J］.信息安全与技术，2012（2）：64-66，82.