智慧校园数据共享平台的设计与实现
2014-03-13王汉文李云春张建华杨秀梅
文/王汉文 李云春 张建华 杨秀梅
智慧校园数据共享平台的设计与实现
文/王汉文 李云春 张建华 杨秀梅
针对业务数据的集成与共享存在的问题,通过数据共享平台的实施,将高校中各业务系统中的数据、院系数据和各类实时的服务数据,按照学校统一的执行标准进行有效的集成、交换和共享。
建设背景
近年国家对教育信息化要求不断加强,投入不断增大,将信息化带动教育现代化作为我国教育事业科学发展的重要手段。同时“智慧校园”的提出为学校信息化发展,提出了更加明确的目标和要求。如何利用云计算、物联网、移动计算以及大数据等先进技术手段为学校师生提供更加便捷的服务,将学校教学、科研、管理与校园资源进行有机的整合,进一步提高教育教学水平、科学管理水平和工作服务效率,最终实现校园服务和管理模式的智慧化。
在各大高校的信息化建设中,数据作为一种战略性资源,体现出越来越重要的作用。通过对数据的分析和应用,实现由数据向信息,由信息向知识,由知识向智慧的转变。高校的数据共享平台建设是学校信息化建设的基础,只有将学校数据有机的整合和管理,才能进一步为学校信息化建设提供强有力的支持。以全局数据为基础的共享数据平台建设已经成为必然趋势,数据共享平台各个职能部处可以通过该平台访问学校的全局数据,节省了大量的人力、物力、财力,提高了工作效率。在此平台上,将学校的人、财、物、教学、科研数据有机地结合起来,通过数据的交换、共享,以及在全局数据的基础上进行数据的分析与挖掘,为广大师生提供更加完善的服务,为学校建设以及科学管理提供重要的依据,同时基于全局数据,进行科学的分析,开发智慧应用。
面临问题
目前各大高校已经建成了以“人、财、物以及教学科研”为管理核心的各大业务系统,但是在打破信息壁垒,实现数据共享的过程中,却存在大量的问题。
业务系统建设的数据标准不统一
在学校信息化过程中,信息化建设部门缺少对全校信息系统建设的统一规划,在建设初期,未能制定统一的信息系统建设标准以及信息系统元数据标准。所以在学校制定统一标准之前,部分部处和院系,依据各自的业务需求,设计信息系统建设标准和数据标准,所以造成了各个单位信息化建设中,数据标准的不一致,存在数据项表示不统一、缺乏可选项以及数据字典丢失等现象,导致在数据共享平台建设中,不能有效地分析各数据库的表结构,以及在数据传输过程中出现匹配错误等现象。
存在数据孤岛问题
在数字化校园建设阶段,各个业务系统依据各自需求,建设业务应用系统,可以支撑本单位的实际需求和部门应用。但从数据共享的角度来看,由于各个业务系统之间缺少统一的数据格式和交换接口,导致各业务信息系统变成了部门级的数据孤岛,虽然部分数据,可以通过直接传输或者拷贝的形式实现业务数据与其他业务系统的交换和共享,但是仍然不能实现数据的及时共享,部分数据由于建设标准不一致或者缺乏数据标准的原因,根本不能实现和其他业务系统之间的数据共享,突显了业务数据的孤岛问题。
信息化队伍建设不足
目前学校在信息化队伍建设中存在较多问题,从学校层面上,可能存在信息化管理委员会,制定学校总体的信息化发展方针,但却没有将信息化提升到学校管理的层面,目前学校仍以传统的业务部处为主,导致信息化建设的相对缺失;同时在人才队伍的配备上,业务部处没有设立专门的信息化管理岗位,导致业务部处信息化建设和管理能力较弱。
应对方案
建设全校规模的数据共享平台,需要坚实的统一领导贯彻实施,需要庞大的资金支持,同时需要各个部门的积极响应和有力配合。以下将从信息建设的数据标准、平台建设以及信息化队伍建设上分析应对措施。
统一数据标准
建立数据标准,主要的依据有:国家标准、省教育厅校准、行业标准、学校已有标准以及自定义标准。执行数据标准以教育部《教育管理信息化标准(2002年)》(第1部分:学校管理信息标准)中有关高等学校的部分以及《20075620-T-469 高等学校管理信息》(CELTS-33)为主要基础制订,并结合北京航空航天大学的具体需求进行补充和修订。例如:将学工主题数据,存储在学生相关的表空间中,将教职工主题数据,存储在人事相关的表空间中,将学校的财务、资产数据,分别进行分类别存储。
统一建设共享平台
分析各个业务部门的数据字典,了解其数据库结构,根据现有数据表的基本构成和学校执行数据标准,得出各个信息系统的数据表结构以及与中心数据库的关联互换关系。通过数据转换机制,使用ODI等工具将各个业务数据库的字段统一转换并存储为数据中心的共享数据,通过打通业务数据库与共享数据之间的数据鸿沟,消除各业务系统的信息孤岛问题,最终构建统一的数据共享平台。
提升业务人员的信息化素质
在国家信息化建设总纲要中,信息化人才队伍建设是其核心问题,同样在学校的信息化建设任务重,优秀的信息化队伍建设也是非常重要的。随着职能部处的日常工作逐渐实现信息化,逐步将信息化工作作为日常工作和考核的重要组成部分。加强工作队伍的信息化培训。通过建立有效的培养机制,建设学校自己的信息化队伍,培养出既懂业务,又懂信息化的专业人才。同时建立有效的信息化队伍管理机制,形成以学校信息专家小组为核心,建立以各个部处和院系的信息员为主力,对学校信息主管领导负责的管理队伍。
实施方案
数据建设原则
数据的权威性在数据来源方面,确定权威数据来源,当其中数据发生变化时,主动向共享数据库发出修改请求,同时由权威数据库或者共享数据库向其他需要该数据的数据库发出修改命令。
数据的及时性当某个业务系统的数据库中数据发生变化时,数据能及时的体现,并产生相应的作用。
数据的准确性保证中心数据库从其他业务数据库中,抽取数据的准确性,对于新建的数据库,完全按照数据标准执行;对于已经存在的数据库,如果存在没有按照标准建设的情况,首先分析其数据字典,再完成数据项之间的准确对应。
图1 系统建设架构
数据的安全性在数据的抽取,转换和加载过程中,保证数据的安全,通过相应的加密等安全手段,保证整个过程的安全。
数据的可靠性对数据的抽取和使用过程,进行全面的监控,当数据转换过程出现问题时,能及时报错,并自动或者手动完成回滚等,保证数据流程的可靠性。
总体架构
系统建设架构如图1所示。
数据中心主要包括以下几个层次:业务数据源层、数据集成与存储层、数据服务接口层以及数据应用层,在各层的数据存储与维护中,严格遵循统一的数据标准。
图2 数据平台部署结构
图3 数据交换模式
业务数据源层包括学校各个部处的信息化业务数据,囊括所有需要集成到数据中心的业务系统数据。数据集成与存储层通过数据集成工具,按照统一的数据标准,进行数据的抽取、清洗与转换,支持数据的触发式更新、增量更新、定时抽取等多种同步和异步的数据维护方案,在多种主流异构的数据库和数据源之间完成数据的集成与存储,该层主要建有共享数据库、归档数据库以及数据仓库。数据服务接口层主要通过建立多类统一的数据接口,对外提供对共享数据的访问和功能的调用,主要提供以下几类数据接口:人事数据接口、财务数据接口、教学数据接口、科研数据接口、资产数据接口、后勤数据接口等。数据应用层在数据接口层提供数据的基础上,提供教师服务、学生服务、领导决策和数据审计管理等应用,完成相关应用服务的建设与开发。
1.数据平台部署结构
数据共享库采用Oracle数据库,使用RAC技术将两台服务器搭建成数据库集群,后端连接网络存储,前端通过内网交换机与数据交换服务器、数据标书服务器以及其他应用系统服务器连接。
2.交换模式
数据共享平台中的数据交互模式,采用如图3方式,在业务数据库与数据中心库间,建立中间过程库。如果业务数据库中的数据符合执行数据标准,直接将相关数据用ODI或者Web Server等方式交换到中心库中,如果业务部处数据中的数据和执行标准存在不一致的现象,将业务数据库中的数据经过中间库,使用ODI等工具进行数据的清洗和转换,最后交换到共享数据中心中。
3.交换模块实现原理
数据交换模块的实现机制,如下:数据处理平台,提供数据处理一系列功能,包括ETL(数据抽取、数据转换与数据加载)功能,数据传输功能,该模块实现数据的清洗、转换、同步、迁移等业务需求,是构建数据集成与存储层的基础。建设中主要采取以下几种数据加载方式:实时性加载,对于数据实时性要求较高的交换数据,采用实时性加载策略,ODI加载数据时采用较小的时间间隔轮询监视业务系统相关数据变化,对于数据的实时更新,解决方案有两种:全表扫描方式,在业务系统中对需要同步的表进行全表扫描,识别差异数据,更新到数据交换中心;触发器方式,在业务系统中对需要同步的表创建触发器,当业务表数据有更新、修改、新增、删除操作时,通过触发器同步到数据交换中心,以上方案会对业务系统产生较大的压力,不会大面积使用;准实时性加载,此种方式采用T-1时间方式处理,即每天晚上12点以后进行加载,加载今天以前的数据,在数据实时性上会有一天的延时,但降低了业务系统的压力。
图4 结果监控
4.交换过程与结果监控
数据的监控平台完成对系统总体的运行监管,提供对数据交换、更新以及数据应用层服务的监控,完成对用户行为、访问日志、数据安全等方面的监控功能。其主要作用有:发现在数据抽取、数据加载和数据转换时发生的错误,及时发出报警,并采取相应的措施;同时提供对数据应用层服务的监控,反应各种应用的进展情况,推进相关流程的正确执行 ;对用户的行为,访问记录以及进程信息进行有效的监控,对有关数据进行审计,发现系统运行中的问题,及时采取有效的应对措施,保障系统的安全运行。
数据同步监控:监控数据同步的健康状况,数据同步的数据当量,数据同步的周期与处理时间,数据同步的执行结果等。同时产生数据运行情况的审计报告。
总结
完善数据共享中心
从深度和广度两方面,完善对数据共享中心的建设。一方面,扩充业务数据范围,将各个职能部门和学院的业务数据融入数据中心,保证数据的全面性;另一方面,进一步建设应用性数据仓库,积累数据资源,充分发挥数据资产的价值,盘活数据资产,从数据中挖掘有用信息,为学校领导决策和发展,给出建设依据和方向。
依据共享数据中心,开发智慧应用
学生成绩预警、学生经济状况分析、空闲教室查询、食堂就餐情况统计;以数据为中心,优化相关部处业务流程;以师生体验为中心,提供更加便捷的“一站式”服务;以共享的数据平台为基础,充分利用已知数据信息,为广大师生提供“一张表”服务。
(作者单位为北京航空航天大学网络信息中心)