基于校园大数据的数据共享与交换平台分析与设计

摘要：人工智能、物联网和云计算等信息技术在高校中的广泛应用，积极推动了校园信息化发展进程，使得教学、科研和生活等数据爆炸式地增长。然而，由于各个应用系统或平台建立的时间、环境、标准和技术等不一致，导致“信息孤岛”问题日益严峻。本文在剖析校园大数据共享与交换的现状的基础上，提出了一种基于校园大数据的数据共享与交换平台方案。该方案试图突破信息壁垒、解除信息孤岛，为异构业务系统、异构数据库和不同数据格式之间提供数据共享与交换提供服务。

Abstract： The extensive application of information technology such as artificial intelligence， Internet of Things and cloud computing in colleges and universities has actively promoted the development of campus informationization， which has led to the explosive growth of data such as teaching， research and life. However， due to the inconsistencies in the time， environment， standards and technologies established by various application systems or platforms， the problem of "information silos" has become increasingly serious. Based on the analysis of the status quo of campus big data sharing and exchange， this paper proposes a data sharing and exchange platform based on campus big data. The program attempts to break through information barriers， dismantle information silos， and provide services for data sharing and exchange among heterogeneous business systems， heterogeneous databases and different data formats.

关键词：大数据;数据共享;数据交换

Key words： big data;data sharing;data exchange

中图分类号：G47;TP308                                文献标识码：A                                  文章编号：1006-4311（2019）18-0240-03

0  引言

随着高校信息化建设的发展，应用信息化的不断深入，管理精细化要求的提高，不同系统间的数据得不到共享，形成一个又一个的信息孤岛。各个业务系统所产生的大量异构数据，如何能够方便高效地开放出去，实现数据共享与交换，是当前高校信息化亟需决的难题[1]。校园信息化水平不高的时候，数据的开放方式还可以直接将数据导出给对方。然而，教育信息技术2.0支撑下的泛在学习、混合式教学和智慧校园等应用，使得教育教学有关数据爆炸式地增长。过往简单的数据直连的方式不仅低效，而且还带来了管理与安全等诸多问题。同时，信息技术的广泛应用，使得业务服务对象从既往的各级业务部门变为全校范围内的师生。更多的应用、更多的用户需求，将直接导致业务共享与交换的压力呈指数上升。例如，数据服务共享得不到有效管控，多源头的数据采集，重复过程的数据采集，服务通讯无法统一管控等问题日益突现。这对数据服务架构性能、稳定性、扩展性、可控性提出了更高的需求。因此，如何减轻工作量，方便业务部门进行数据管理，打造一个数据共享交换生态平台成为各个高校的共性问题。

1  现状及需求分析

当前我国学校教育信息化基础设施、信息系统建设和师生服务等方面普遍取得了长足进展。同时，随着信息技术在教育领域中的不断深入，也逐渐暴露出各级信息系统分散，数据质量低等问题，这与金融、电力、通讯、交通、制造等信息化程度高的行业相比，仍存在较大差距。主要体现在数据文件和数据报文的共享与交换。

首先，在数据文件共享与交换方面，校内存在众多的信息管理系统，每个信息的数据独立存在，得不到有效共享与互通。其次，信息安全管理与防范机制不够完善，存在信息系统数据随意授权或管理不严的现象，容易导致滥用数据或隐私数据泄露的情况发生。最后，数据的质量得不到提高。前期信息系统建设普遍存在“重功能輕数据”情况，缺少全校数据标准整体规划，即使发现数据有问题也无从审核与校验，进而导致问题数据不断的沉积，相关报表数据统计的及时性、准确性得不到保证，严重将会影响到学校的决策与分析的应用。

在数据报文共享与交换方面，不同业务系统之间的通讯报文与文件交换缺乏相关管理流程，数据管理责任不明确和缺乏审计机制等。首先，数据全生命周期缺乏管理，容易出现数据质量问题，无法对问题数据进行溯源追踪。其次，学校各种应用服务快速增长，单点负载均衡压力也会越来越大，并且各项应用服务之间的依赖关系变得错综复杂，难以理清具体应用程序之间的先后启动顺序。最后，各项应用服务的调用量越来越大，服务的容量就会受到一定的考验。

2  数据共享与交换平台设计

数据共享交换平台将起到桥梁枢纽作用，是突破信息壁垒、消除信息孤岛的重要手段。针对当前校园数据共享与交换的现状与需求，本文提出一种基于校园大数据的数据共享与交换平台框架。该平台架构由三大框架组成，分别为分布式服务中间件、分布式数据交换系统和集中任务调度系统，如图1所示。

数据共享与交换平台通过为各业务系统提供数据准入接口，以统一的数据模型、数据质量标准和接口规范，以实现数据自动提取、数据转换、数据发送、数据校验、数据审核等，并确保各项业务系统之间的数据能够顺畅、实时和批量传输。然后。通过制订大数据共享规则，将所有经过检验与审核的数据汇聚到数据管理中心，形成大数据共享中心库。最终该平台采用规范、统一和透明的数据共享方式，为不同业务系统、不同数据库和不同数据格式之间进行数据交换而提供服务。

2.1 分布式服务中间件设计

随着信息技术在教育教学中广泛应用，越来越多的系统被融进“服务流程重组”，“敏捷开发”等“微服务”的概念中，并对原有业务系统进行不同层次与级别的拆分。“微服务”节点在学校中的数量成指数增长，不同数据服务直接的调度对服务接口造成的强烈的负担。尤其在传统业务分层概念下开发的相关服务系统，给学校业务环境留下了严峻的单点故障问题[2]。为了解决这些问题，分布式服务中间件就应运而生。

分布式服务中间件为所有的业务系统提供了统一的API接口。在取得数据管理者授权的前提下，数据使用者可以通过调用数据接口对数据服务进行获取。同时，分布式服务系统对接口调用情况进行记录，并且形成API接口调用分析表。从服务模型的角度来看，分布式服务系统采用的是一种非常稳定的模型，只有服务提供方（Provider）和服务消费方 （Consumer）两个角色。数据服务调度过程如图2所示。

2.2 分布式数据交换系统设计

分布式数据交换系统是将各项繁杂的数据系统集成在一起，提供同构或异构数据之间的数据采集、格式转换、消息过滤、动态部署和可视化监管等方面功能[3]。该系统能够支持Oracle、SQLServer、MySQL等主流数据库以及各项常规文件（如：word、excel、pdf等）各种格式。如图3所示，Reader负责数据采集，Writer负责数据的写入，而Framework解决Reader和Writer之间的连接问题。另外，数据从原始数据库流向标准库的过程中，需要对数据的唯一性和正确性的变化情况进行监测。

2.3 集中任务调度系统设计

集中任务调度系统是数据交换共享平台的核心，将完成分布式服务系统与分布式数据交换系统进行任务的统一调度。如图4所示，集中任务调度系统通过获取分布式服务系统与分布式数据交换系统的相关策略配置，并对不同的服务与交换要求进行优化，进而实现统一的进程发起与任务调度。首先，集中任务调度系统能够支持丰富多样的调试方法，以满足各种调度需求。其次，调度方式具有靈活性，能够支持调度数据的多种存储，以及任务与调度多方式组合。最后，该任务调度系统通过对RMI（Remote Method Invocation）的使用，能够确保该调度服务能够以独立的方式运行。

3  结束语

大数据环境下，大量的信息服务与应用的兴起给校园数据共享与交换平台的建设带来了巨大的挑战。本文提出了一种基于校园大数据的共享交换平台设计方案。该方案将通过为各类型业务系统数据接入的提供准入接口，并采用统一的数据模型、数据质量标准和接口规范，实现数据的自动采集、内容转换、数据传输和数据审核等，进而为异构业务系统、异构数据库和不同数据格式之间数据交换与共享提供服务。

参考文献：

[1]俞春，袁芳，等.高校数据共享与交换技术的应用研究[J].实验技术与管理，2012，29（11）：109-122.

[2]张云，韩彦岭.航运大数据[M].上海：上海科学技术出版社，2016：133-135.

[3]陈海郎，陈农心.信访一体化信息系统关键技术研究与实现[J].价值工程，2016，15：81-83.