高校数据汇聚框架设计研究

高垣 佀洁 西北大学现代教育技术中心

近十年，随着信息化迅速发展，高校信息化业务系统如雨后春笋般快速搭建起来，大多数高校初期是没有信息化建设部门，并针对学校信息化建设做整体规划的，各个部门是按需建设，虽然建成的业务系统可以高效的梳理各部门业务功能和统计业务数据，但是这些系统之间的数据互不相通，信息孤岛日益增多，造成的不良影响越来越显著，例如很多基础数据需要反复采集、反复录入到各个系统中去，造成数据的准确性、时效性、唯一性不能保障，各个业务系统之间的数据也不能交叉使用，大多只能通过导出EXCEL等文件，再导入到其他业务系统中去，也会造成数据的时效性和完整性降低，还会不定时增加导入导出的工作量。

近三年，已经有高校开始对校内数据做整合，即校内数据汇聚工作，初期的数据汇聚只是简单的将业务系统的基础数据做周期性的数据采集工作，并存储在一个中心数据库中，但是采集来的数据并不能得到充分利用，新建的业务系统依旧是根据部门处室的工作流程指导建设，部门处室并不清楚校内有哪些共享数据可供他们直接采用，就会造成数据的重复录入，造成数据源来源不唯一，对共享数据库的数据可靠性造成严重问题。

所以，数据汇聚的框架设计是对高校信息化发展进程中一个非常重要的环节，为了保证高校数据的准确性、完整性、唯一性和安全性，需要提前做好三个方面:

（1）业务系统数据梳理:对现有业务系统进行梳理，重点梳理哪些数据可以作为数据唯一来源，哪些数据可以从其他系统中提供。

（2）数据采集:对梳理好的数据进行分类归整，使用数据抽取工具对数据源进行采集。

（3）数据治理:对采集的数据进行治理工作，对冗余数据和重复数据进行清理，将不完整的数据和无效数据进行排查清洗，将准确的数据、完整的数据和有效的数据存储入共享数据库。

完成以上三方面，已经为数据汇聚做好基础准备，由信息化建设部门指导，并规划统一的数据流向，针对数据流向权责信息电子化，需要精细到表级、字段级，便于持续优化与积累，以及对表级与字段级的U/C矩阵，便于清晰的展现数据的来龙去脉，最后，需要有IPO图形化的展示，便于直观的了解部门的外部数据关系。

数据汇聚主要针对主数据，即系统之间的共享数据，主数据的特征体现为结构化、跨部门需要、结果型的管理数据，非结构化、半结构化、行为分析等日志数据，以及管理信息系统内容过程性数据不属于主数据。主数据从各部门、各院系集成并管理起来，建立一个全校范围内、标准唯一的权威主数据中心，用以解决标准统一、数据不一致、数据冲突、数据质量低下等问题。主数据中心的数据来源、目标系统无需改变，各个数据来源系统中对主数据做的更改将同步到主数据中心中，同时通过主数据中心分发到数据目标系统中，实现数据收集的高效自动化，支持标准动态的优化调整，数据同步按需采取实时或周期等方式。

（1）底层业务系统将数据源数据通过数据集成工具，通过抽取、复制、整合进入校级主数据治理平台，再由主数据管理平台分发数据到相应的应用系统，实现各应用系统之间的数据共享及相互操作，支撑基于集成数据的全局应用建设，加强流程协作；

（2）校级主数据库可以把主数据推向数据仓库，支持多维数据分析挖掘，辅助管理与决策；同时，分析结果也可以作为衍生主数据同步到校级主数据库，供应用系统使用；

（3）主数据管理平台包括元数据管理、主数据管理、数据集成、数据质量检测等一系列工具，包括元数据库、代码标准库、主数据库等存储库；

（4）利用主数据管理平台中数据集成工具抽取、复制、整合学校有价值的数据进入校级主数据库，为学校长期发展积累数据，此数据为后期大数据分析做储备。

综上所述，可以将校内各个业务系统的数据协同使用管理起来，让数据在所有系统中可以充分利用，避免重复数据及冗余数据的产生，还可以为学校主数据库沉淀大量准确的、可靠的基础数据，用来做校内综合应用和数据分析应用，并且这些应用所产生的衍生数据依然可以累积到主数据库中继续沉淀数据，循环利用，使沉淀的数据的利用率提高，为领导层做决策管理更加准确和可靠。

[1].大数据融合研究:问题与挑战[J].孟小峰,杜治娟.计算机研究与发展.2016(02)

[2].不确定性数据管理技术研究综述[J].周傲英,金澈清,王国仁,李建中.计算机学报.2009(01)