智慧校园的数据中台建设与数据治理研究
2021-06-09肖炯恩刘欣荣
肖炯恩 刘欣荣
(1.广东财经大学,广东 广州 510320 2.联奕科技有限公司,广东 广州 510663)
信息化是当今世界发展的趋势,是推动经济社会变革的重要力量。教育信息化过程已经积累了大量的数据资产,如在教职工、学生、资产、教学、科研等方面数据,这些数据都是学校重要的资产。十年前我们为了解决数据孤岛而建设了共享数据中心,但随着信息化的发展,数据服务应用、决策等大数据应用的发展,原本为打通数据孤岛而建设的共享数据中心已经无法满足大量数据应用的要求,为了更好地体现数据的价值,需要进行以面向业务驱动数据服务为目标的数据治理。
综合教育信息化的发展现状,结合当前教育行业数据治理的要求,以及从业务和系统上的诸多因素,各高校现阶段数据管理方面存在多方面的问题。长期以来,学校建设的业务系统分属不同的业务部门,历史原因形成了数据孤岛,数据壁垒明显,影响数据的流动与整合。数据管理体系不完善,数据资产管理责任不明确,数据多头管理现象突出,缺少专门对数据管理进行监督和控制的组织。大数据分析能力不足,难以从庞大规模的碎片化数据中得到有价值的内容。校园大数据的分析手段缺失。数据全生命周期管理不细致,数据难以有效资产化,缺乏统一的校级数据质量管理体系。这一系列的数据管理问题是当前智慧校园信息化管理的核心问题,也是学界研究的重点。
数据中台是利用相关数据技术对海量数据进行采集和处理,构建标准化的数据仓库,并将数据封装成服务高效提供给用户[1]的数据平台,解决数据孤立和碎片化、数据管理不完善等问题,助力智慧校园建设。本文立足智慧校园建设,提出数据中台的建设框架,并通过案例说明数据中台的具体应用价值。
一、智慧校园的数据治理与数据中台研究现状
有学者针对智慧校园的数据治理规划问题提出了相关思路。秦彦彦和廖宏建[2]指出,当前智慧校园数据治理建设存在信息化工程不受重视,缺乏先进的顶层规划和标准,数据质量有待提高,数据交换对厂商的依赖强,人才知识储备滞后的问题,进而在数据安全保障、高校数据标准、数据同步技术、服务定制四个方面提出了数据治理的策略。孟欣[3]指出,数据质量是智慧校园建设的重中之重,应该遵循数据标准梳理、数据统一和整合、数据存储强化、数据调整和优化的思路进行数据建设,作者进一步从数据标准建设、数据库建设、数据集成与治理提出了解决方案。李炜和李滢[4]指出了高校数据管理的问题,主要包括缺少数据标准、数据的多头录入、数据质量不高等问题,提出通过责任、问题、任务、填报、开放五类清单,打通校内人员成长评价表、数据质量评价和数据流转通路实现智慧校园的数据治理。
有研究者提出了智慧校园数据平台的建设思路。谢建全和王巧巧[5]针对智慧校园建设问题,提出要建设数据中心,包括数据标准的建设、业务需求调研、数据质量监控和数据管理。范小春[6]针对高校的智慧校园大数据治理和应用问题,总结了代码标准和元数据管理、数据备份和质量检测,以及监控技术等大数据关键技术和管理功能,提出了大数据治理策略和大数据共享接口策略。张荃等[7]提出了智慧校园的数据平台架构和数据治理系统的功能,数据平台由数据服务、数据应用系统和数据共享平台三个部分组成;数据治理系统的功能由数据预处理、数据治理分析和数据质量管理三个部分组成。
有学者提出了智慧校园的数据中台建设思路。胡锐和芮忠[8]提出了基于数据中台的高校数据治理系统,包含元数据管理、数据质量管理、数据安全管理、数据监测与查询管理等功能。王晓静[9]指出,在智慧校园数据中台建设中融入大数据技术,存在相应数据技术落后、数据分析意识缺乏、数据机制不够完善、相关人员理念落后的问题,提出构建并维护公共数据平台,加强相关人员培训等对策。
目前有关智慧校园数据治理的研究强调了数据建设的必要性和数据平台对于数据治理的重要性。数据中台具有聚合和治理跨域数据、将数据封装成服务提供给前台[10]的优势,能够充分发挥数据的价值,助力智慧校园的建设。目前有关智慧校园数据中台建设的研究较少,没有从中台架构的角度提出数据中台的具体建设思路,因此本文提出智慧校园数据中台的整体框架,并通过案例说明数据中台的实施策略和具体应用价值。
二、智慧校园数据中台的总体框架
(一)总体架构
国家标准化管理委员会在2018年6月7日发布了指导高校信息化建设的《智慧校园总体框架》,并从基础设施层、支撑平台层、应用平台层(智慧应用层)和应用终端(服务接入层)四个大的层面解构了智慧校园的体系建设,如图1所示。
在四个体系板块中,基础设施层是学校的网络建设、服务器资源、物联设备等支撑环境;支撑平台层是提供数据支撑和服务支撑,共同为应用层的业务场景提供服务能力。通过应用终端层(服务接入层)面向多个用户角色提供服务支持。这四个层面实现了信息化体系设计汇总的四种能力:感知能力、支撑能力、业务能力和服务能力。
在传统的信息化建设中,很多高校更多着眼于应用层的建设,而忽视了支撑层的融合,最后导致的结果就是学校建设了很多“烟囱”式的应用系统,服务体系难以打通,数据壁垒难以消除,对于服务管理和数据管控失去掌握能力。
为了加强学校各应用服务之间的关联建设和学校的数据服务体系的沉淀,越来越多的高校注重支撑层建设,通过数据中台和服务中台融合学校的服务能力,向下沉淀数据资产,向上提供服务支持,灵活构建服务场景,体系管控学校信息化建设。
在数据治理过程中构建学校的大数据中心。大数据中心是面向主题的、集成的、稳定的、随时间变化,用于存放大量生产数据、临时数据、历史数据的集合,是对全校的共享数据、历史数据进行深挖掘管理,并对残缺数据提供标准采集入口的平台。大数据中心支持从宏观数据深入到明细数据的数据挖掘分析,提供一流的、动态的、可管理的钻取分析、关联分析服务能力。支持满足学校多样的、快速变更的数据管理与数据应用需求。
数据治理及数据中台建设中有3个主要的实施工作,包括数据模型的顶层设计、数据标准建设、数据全生命周期管理,具体说明如下:
图1 数据中台总体框架
1.顶层设计
完成高校运行与管理的顶层业务域设计,学校掌握自己的数据资产,部门可以掌握部门的数据资产;建设全局数据中心,让数据中心成为全校数据的集中地,所有数据可看、可查、可用;支持数据应用,开展高质量、高规范的数据治理工作,满足学校跨部门业务协同的数据流通要求、数据上报要求、校情分析决策支持要求等系列的数据使用。
2.数据标准建设
完善数据管理,扫除蜘蛛网,建设全校统一数据地图,实现数据统一管理、统一定义,提供数据全链的多层次分析支撑;建设数据治理规范,协助学校制定符合校内实情的数据资产管理制度、数据集成规范、数据安全等级定义标准、数据使用规范、元数据使用规范、数据质量改进规范等规章制度;制定数据质量规则,让数据质量得以量化,为数据优化提供依据和参考。
3.数据全生命周期管理
打造数据全生命使用周期的流程集成与监控,建立数据生命周期管理体系,从策略管理、清理方式、数据安全、脱敏、存储、信息展现等方面进行积极探索;建设数据公示平台、数据开发者平台;完善数据公示、数据申请、审核、发布过程,同时提供数据质量反馈以及数据改进建议。通过数据中台建设,整合学校数据资产,为提升学校信息化服务水平赋能。
(二)软件体系
1.融合集成平台
国内高校在向“科技校园”转型过程中,普遍面临以下困难:缺乏统一的设备信息集成方式;数据格式多样阻碍传输和集成;缺乏与合作伙伴共享数据和后端服务的便捷渠道;缺少云端跨网络的安全信息通道。需要打造一个全栈式应用集成平台,以应用和数据连接为重点,提供轻量化消息、数据、API、设备等集成能力,简化企业上云,支持云上云下、跨区域集成,实现数字化转型,从而实现内部互通、内外互通。通过融合集成接口,为开发人员以后的应用提供数据平台支持。
2.数据治理平台
对第一手数据进行整合优化,验证数据可靠性,对数据治理过程中产生的有关数据系统的知识信息进行管理,主要包括数据标准、数据结构、数据属性、数据质量、数据接口、数据流向和数据内容的管理。
3.数据填报平台
对线下数据进行统一处理,可以对数据进行在线管理,包括输入、编辑和输出等,使线下数据像数据库般便于采集和交换,提升信息数据管理和应用水平。
4.日志处理平台
搭建支持高、并发高、可靠的日志分处理平台,避免日志分散难以管理,通过收集、存储、解析、计算和输出非结构化数据,方便高校能够集中、快速地处理和整合非结构化数据,为大数据分析提供重要的数据基础保障。
5.统一数据开放平台
对数据进行全面监控,对治理完成的数据提供在线发布和服务。面向不同层面用户,提供不同的数据开放方式,支持数据浏览和访问服务,同时采用多种手段加强数据共享的安全性,为用户数据保驾护航。
6.统一数据门户平台
提高业务部门对于海量数据的处理能力,有利于打通数据关联方之间的关系,如数据治理方、数据生产方、数据使用方等,从而减少数据问题发生,优化数据治理体系,支撑更高层面的数据应用,为智慧校园的建设打好基础。对于业务部门而言,可以更加便捷快速地查看和使用数据,根据数据资源的需求或出现的问题对数据进行有针对性的处理,使数据处理更加规范化和精细化,全面提升数据的应用价值,使得数据能够更好地支持部门开展业务工作,最终达到提升管理效率和水平的目的。
三、基于智慧校园的中台战略案例研究
数据中台是高校未来管理数字化转型中枢,本文以南方某重点大学为例,研究智慧校园实施中台战略后所获得的服务提升。智慧校园中台战略的基本逻辑如图2所示,通过图2的逻辑关系,进一步分析中台战略的实施价值。
图2 智慧校园数据中台战略的基本逻辑图
通过智慧校园的数据中台战略实施,该高校已完成人事系统、财务系统、研究生管理系统、教务系统、科研系统等22个系统的数据分析与治理工作,涉及学校教务、科研、财务、资产等14个主要的职能部门。已梳理出业务域数据表500多张,包含字段数超过23100多个,整合630多项业务流程,目前已经实现了30多万人次的数据应用服务。13个业务部门实现数据的互联互通,涉及30个业务系统。在数据分析方面,为学校大数据分析提供8大类数据,共计68张表。具体包含数据如表1所示。
以数据中台汇聚的数据为学校决策管理提供重要支持。具体包括监控整个招生过程,通过数据分析为招生工作进行量化与预测,为新生提供良好的体验,提高学校招录的效率。通过对学生校内消费数据进行多维度分析,找到真正需要资助的学生。通过数据分析改善食堂的工作效率,为师生提供更优质的就餐服务等。通过科研数据的分析,分析学校的科研发展趋势。通过多维度的校情分析,综合分析学校的发展全貌。
表1 学校数据分类
四、总结
数据中台具有聚合和治理各类数据的优势,并且能够将数据封装成服务,提高数据服务质量,能够助力智慧校园的建设。本文立足智慧校园的数据中台建设,提出了数据中台的整体框架,包括服务接入层、智慧应用层、平台支撑层和基础设施层,通过具体的案例说明了数据中台的实施策略和具体的应用价值。通过数据中台的建设,逐步释放数据治理的价值,让数据管理者了解数据脉络,掌握数据资产运行状态,促使数据在业务流转过程中更规范、更有效率,助力高校信息化的发展。