基于大数据环境下学生管理系统的多源异构数据集成研究

南京师范大学中北学院信息科学与技术系 王若贤

随着大数据时代的到来，学生管理系统中多源数据的整合、数据信息的共享成为当下的研究热点之一。本文提出将大数据中多源异构数据集成技术应用到高校学生管理系统中，从异构信息的集成、异构信息的重构、Web Service在系统中的应用三个方面来探讨一种轻量级基于SOA的软件设计方法。通过这样一个集成，可以把各种相关数据资源进行整合，这种为访问者提供统一界面和接口，从而解决了跨平台异构管理系统导致的信息孤岛问题，实现信息共享。

引言：随着高等学校的规模逐渐扩大，高等学校学生的管理工作量也翻倍增长。为了应对这个问题，多数高校都选购了学生信息管理系统以提高管理工作效率、保证数据查询的有效性、方便学校的管理工作人员全面的掌握学生工作情况、降低学生的工作量。但高校的不同部门采用的系统都是相对独立的，学生相关信息分散在不同类型的数据库系统中，缺少统一访问门户，存在信息孤岛问题面对这种情况，本文提出了面向学生信息管理的异构数据集成方案，以实现多种数据源数据的集成与共享。

1 基于多源异构数据集成的学生管理系统设计

1.1 系统整体设计

本文系统的结构分为用户层、业务逻辑层和数据源层，从而构成一个多层服务器体系结构。本文系统中异构数据库主要包括学籍管理数据库、教务管理数据库和团委管理数据库，从而保证用户对三个数据库综合的查询功能。三个数据库集成后，用户不需要考虑数据库的保存位置、连接设置、数据保存格式和数据结构等信息即可进行查询操作。具体集成系统结构如图1。

图1 集成系统结构

（1）用户层

用户层能够以网页的形式实现系统和用户两者之间的交互。

（2）业务逻辑层（中间件层）

业务逻辑层即处理用户操作并返回结果的中间层，它需要通过用户层获取用户的操作，通过数据源层获取业务需要的数据。因学生信息数据异构的特点，集成系统获取数据的方式有两种，一种是直接通过本地数据库读取所需的数据，另一种采用Web Service构建数据。为了统一不同系统下的异构数据以及数据的安全备份，业务逻辑层在获取数据的同时，将异构数据整合存储在本地数据库中。

（3）数据源层

数据源层主要由多种数据来源不同的数据组成，是三层结构中的最底层。这一层的数据信息有数据库、文件、多媒体等信息。

1.2 中间件Web Service模块设计

中间件Web Service工作模块如图2所示，共包含三个部分：查询处理器、Web Service中间件、数据解析器。

图2 中间件Web service工作模型

（1）查询处理器

查询处理器包括查询解析、查询分解、查询转换三个部分。

（2）Web Service中间件

1）数据库连接配置

数据库连接配置用来存放与不同数据库连接配置信息，连接配置信息包括数据库连接语句、设置事务隔离级别、是否使用外连接抓取等。

2）异构数据映射配置

异构数据映射配置负责定义类与目标数据表进行映射，可以根据需要获取局部或全部的数据字段，并且可以对数据表字段进行统一化、规范化处理。

3）获取数据封装

将获取的数据按照约定进行封装，便于集成系统的解析和处理。由Web Service表示数据的基本格式即XML的特点，获取的结果集还要进行XML层的封装，所以使得接收结果集的平台，无论它们所使用的语言、平台或内部协议是什么，都可以很好的解析数据。

（3）数据解析器

数据解析器与具体数据表一一对应，完成接收结果集的信息的提取工作，并将数据存放在本地数据库中或交于用户层显示给用户。

1.3 工作流程

（1）Web Service中间件初始化

为了把异构数据源数据集成在本文系统中，首先需要对Web Service中间件进行初始化。其中包括连接数据库的配置文件和类、数据表映射文件以及程序的数据源封装规则写入。初始化基本流程如图3所示。

图4 接口可视化调用界面

图5 接口返回数据界面

图3 Web service中间件初始化

（2）系统工作过程

系统的运行过程如下：

1）用户向系统发出查询请求，系统启动查询处理器；

2）查询处理器解析和分解查询语句，然后将查询语句生成执查询命令，最后发动查询命令给相应的Web Service中间件；

3）Web Service中间件根据查询命令进行查询，然后将查询结果返回给业务逻辑层中的数据解析器；

4）数据解析器将查询结果存储到本地数据库，调用相应页面向用户显示结果集。

2 基于多源异构数据集成的学生管理系统实现

系统主要集成了三个数据库，即：学籍管理数据库、教务管理数据库、团委管理数据库，主要实现对不同数据库中学生信息的异构整合。用户只要本系统就可以获取不同数据库中的数据，而不必再去不同的管理系统中调取所需的数据，也不用考虑不同数据库中数据存储位置、存储格式、数据结构等不同导致的问题，也就是说，对用户来说，只是在本系统中进行数据的查询，各个复杂系统中不同的数据结构对用户而言是不存在的。异构数据集成使得本系统可以更好的兼容其他学校系统，无需考虑学校各个系统之间平台、开发语言以及数据结构的差异。异构数据集成的实现依托于WebService接口中间件，根据对不同数据的不同数据要求，将数据表进行映射，然后对字段命名规则统一化，获取所需的数据。WebService接口代码可以依附本系统一起发布，也可以发布在对应异构数据库的服务器上。本系统同过HTTP或TCP/IP的方式进行接口调用。得利与WebService接口可视化调用模式，如图4所示为获取学生获得荣誉信息的接口截图，GetStudentPrize为接口名称，_studentnumber、_studentrelateinformation为接口的两个参数，填写相应的查询信息点击调用，获取数据集如图5所示。截图中可以看出，数据是以JSON格式进行编码，以XML进行封装的，极大的满足了数据在不同平台间的传递。系统收到接口反馈的数据进行解析，并呈现给用户。

3 结束语

数据的异构问题在各个高校的学生管理工作中都存在，因此异构数据集成有很重要的作用和现实意义，异构数据集成为解决学生的各种信息来源于不同的数据库，存储不同的数据格式这个问题提供了一条解决途径。

参考：冯润民，基于SSH的高校学生管理系统设计与实现：计算机工程，2009；马孝贺，李莎，XML技术在大数据环境下的运用探讨：无线互联科技，2018；SANTIPACH W,HONIG M L.Optimization of training and feedback overhead for beamforming over block fading channels[J].IEEE Transactions on Information Theory,2010；余小高，余小鹏，基于Web服务、移动代理和本体的教育大数据集成研究：信息通信，2017；甘克勤，张宝林，计雄飞，田方，标准大数据实践(1)——异构数据集成：标准科学，2016；刘云峰，杨冬青，唐世渭，et al.基于XML数据集成与交换中的完整性约束研究：计算机工程，2005；孙鸿飞，武慧娟，信息系统中基于数据仓库技术的异构数据源的集成策略：电脑迷，2017；LEE S W,MOON B.Design of flash-based DBMS:an in-page logging approach;proceedings of the ACM SIGMOD International Conference on Management of Data,Beijing,China,June,F,2007；庞秋奔，李银，基于Web Service多源异构系统增量同步的实现：计算机应用与软件，2018；NG A Y,JORDAN M I.PEGASUS:A policy search method for large MDPs and POMDPs;proceedings of the Conference on Uncertainty in Artificial Intelligence,F,2013；舒建武，基于ASP.Net技术和工作流技术的学生信息管理系统的研究与开发：浙江工业大学，2009；袁宗杰，基于ASP.NET的学生信息管理系统的设计：电子科技大学，2014。