应用型本科院校大数据治理现状及对策研究

赵健 王思奇

（长春财经学院 吉林省长春市 130122）

1 应用型本科院校数据治现状与问题

历经20 多年的发展，我国应用型本科院校数据治理主要经历了数据库治理、数据仓治理、数据湖治理三个发展阶段。

1.1 数据库治理阶段

应用型本科院校为了支撑各种业务建立了如招生、教学、医务、选课、上网管理、科研、财务管理、图书管理、设备管理等覆盖教育领域方方面面的信息化系统。为了支撑业务，一所高校往往会使用并维护若干个操作型数据库，这些数据库保存着日常操作数据，比如食堂结账、图书管理、学生成绩录入等，因此也被称为"面向应用型数据库"治理阶段。

这一阶段，追求快速、可靠和精准，治理的重点是减少数据冗余，“事务”型的操作避免更新异常，通过数据库的管理实现各种约束和范式要求，进而达到数据治理的目标。但由于信息系统建设多以业务部门牵头分别进行，缺乏全校统一的系统规划和数据标准，导致很多高校虽然已经积累了大量的业务数据，但数据质量低、数据冗余大，数据利用率差，存在大量信息孤岛，已经严重制约高校日常管理和教学水平的提升。

1.2 数据仓治理阶段

各种教育业务的信息化虽然解答了教育者心中“发生了什么？”和“什么正在发生？”的疑问，但是为了更好的教书育人迫切需要将分散于校内外部各种结构化数据加以整合并依据某些特定的主题需求，通过报表、图表、多维度分析的方式回答“为何会发生？”这一更深层次的问题。由于之前的建设中高校教学、科研、行政、后勤等系统彼此割裂、互不兼容，数据融合、不断整合再造业务流程成为这一阶段的主题。

这一阶段的特征是数据集成，以关系型数据库为基础的运营式系统慢慢向决策支持系统发展，对多个异构的数据源进行整合，并且利用信息交换，按照主题进行了重组，再进行必要的转换、清洗等，最后装载进数据仓，从而为分散的业务系统提供数据共享。

1.3 数据湖治理阶段

在数据驱动教育、变革教学的“互联网+”时代，教育大数据已成为教育治理的重要资源。挖掘高校积累的海量数据(包括结构化和非结构化数据)中的教学和科研价值、变革教与学的方式、为师生精准和个性化教学提供更多、更好潜在的信息，为教育教学提供有效的决策支持，促进教育教学的变革与创新，促进治理理念从“管理本位”向“服务本位转变、教育治理体制从“碎片化”向“网格型”转变、治理方式从“基于有限个案”向“基于大数据”说话转变、治理模式由“静态化”向“动态化”转变，推进教育治理现代化。

这一阶段，以数据为导向，构建了一个“四通八达”的数据湖数据流动体系，实现了对任意来源、任意速度、任意规模、任意类型数据的全量获取、全量存储、多模式处理与全生命周期的集中式管理，无论在云上云下，高校内部还是外部，借助数据湖，各个系统之间不再有壁垒，自由的流进流出，并以数据库的体验对外提供能力，更重要的是，这种流动是受监管的，数据湖完整的记录了数据的流动情况，结合先进的数据科学与机器学习技术，高校能挖掘出很多之前所不具备的数据的管理、治理和资产化能力，构建更多优化的教育教学运行模式。

2 应用型本科院校数据治理的中台解决方案

数据中台来源于企业的实践，其核心思想是聚合、治理跨域数据，将数据封装抽象成服务，使其成为企业数据资产管理中枢，提供给前台以业务价值。在应用型本科院校，教师熟悉教育，但不是所有教师都具备借助计算机开展精细化教育的能力，所以可借鉴企业数据中台，为高校师生及管理人员开展个性化教育提供技术支持，让他们专注于创新，而不担心技术问题。

应用型本科院校相较于其他研究型高校，其管理机制更加灵活，可以利用数据中台将后台各式各样的资源转化为前台易于使用的能力，为应用型本科院校持续创新、特色发展提供支持。目前，应用型本科院校数据治理中台建设的内容主要有：

2.1 业务中台

通过抽象各条教学业务线，将通用的服务抽象为共性需求，将其固化打造成组件化的能力资源包，如招生、教学、医务、学籍、选课、成绩、食堂、上网、体育活动、科研、财务、安全、薪资、住行、图书借阅、设备管理等基础模块服务，然后以微服务接口的形式提供给前台各教学部门使用，赋能教师及教学管理者，为其教育教学创新拓展提供开箱即用可，威力强大强大的后台炮火支援。

2.2 数据中台

利用大数据技术，构建高校数据资产库，为教育教学提供一致的、高可用性的、可视化的、最具价值的大数据服务，为学情分析、个性化教育、分层教学、变革教与学的方法、改进教育管理，调整方向，提供了强大及时的雷达监测能力。

2.3 技术中台

构建开放、灵活、可扩展的高校统一标准化的技术平台，帮助高校解决基础设施，分布计算等底层技术问题，将高校内外部随需关联，自检系统提供技术支撑，助力高校数字化转型落地。

2.4 组织中台

组织中台扮演战场的指挥部，战争的大脑的角色，承担前线指挥和后方调度的职能，为高校的项目提供教学管理、质量管理、资源调度等支持。

3 应用型本科院校数据治理中台化的意义

（1）强化应用型本科院校数据资产的管理能力。利用数据中台和数据湖技术，高校可以将教育数据持续沉淀，除了管理原始数据外，还能将处理过的过程数据和结果数据分类保存，极大的提升埋点数据的价值。

（2）增强应用型本科院校分析模型化能力。数据湖中不仅有原始数据，还有埋点数据的模型（schema）。埋点数据与学生注册信息、登陆信息、学习信息等结构化数据关联，借助埋点数据模型，高校可以更深入的理解埋点数据背后所体现的学习行为逻辑，帮助高校更好的洞察学生行为，因材施教。

（3）提高定制化教与学的能力。借助数据中台提供的数据集成和数据开发能力，高校可以定制数据处理过程，不断对原始数据进行迭代加工，从数据中提炼有价值的信息，最终获得超越原有数据分析服务的价值。

（4）促进应用型本科院校一体化运维的能力。把当前系统中各个业务的前端应用与后端服务解耦，将重复、类似的服务进行整合，强调服务的通用性和服务能力的集中管控，很大程度会促进其一体化运维的能力。

4 应用型本科院校数据治理平台设计

4.1 总体架构设计

应用型本科院大数据治理平台总体结构设计包括数据采集、数据存储、数据处理、数据分析、数据可视化以及监控、调度、安全、管理等功能模块，平台总体架构如图1所示。

图1：高校大数据治理平台结构图

平台由底向上分为三层，分别是各类异构数据源（数据源层）、大数据治理层（治理层）和大数据专题分析层（分析层）。

4.1.1 异构数据源层

这一层数据主要来源于高校内外两部分。内部如招生管理系统数据、教学系统数据、选课系统数据、教师相关数据与学生基本数据(选课数据、考勤数据)、一卡通数据、上网管理系统数据、图书管理系统数据、科研系统数据、医疗系统数据、设备管理系统数据、财务管理系统数据等各类信息化系统。外部数据主要来源于网络上爬取的非结构化数据，如信息化系统日志、微博、微信、校园等日志或媒体数据，同时还有其它和高校数据分析相关的各类数据。这些异构数据源是构成高校大数据分析平台的数据基础。

4.1.2 大数据治理层

这一层的主要功能有系统管理、数据采集、数据存储、数据处理、数据分析、数据呈现等。

（1）系统管理：负责整个高校大数据治理平台硬件资源管理、开源大数据组件管理(部署、状态监控、升级)、用户管理、系统安全等。

（2）数据采集：为各类异构数据源提供采集工具、研发适配接口，从而与校内的各系统对接获取全面的高校数据。

（3）数据存储：由Hive、Hbase、MySQL、HDFS 等组件构成。其中MySQL 主要用于存储元数据、权限管理数据、用户数据、监控数据等平台基础静态数据；HDFS 分布式文件系统存储半结构化或非结构化的未经过ETL 处理的原始数据；HBase、Hive 是位于HDFS 之上的数据仓库，其主要功能是提供快速查询、OLAP 支持、SQL 能力。

（4）数据处理：主要提供分布式数据计算能力，包括离线计算、实时计算。离线计算由Hadoop MapReduce、Spark、Kylin 支撑；实时计算由SparkStreaming 负责。

数据分析：是对即席查询、数据报告、数据挖掘、学校管理等功能及其通用接口/API的封装，使用插件框架为系统提供高扩展性，以满足新增业务功能的分析、查询、处理及展示需要。

数据可视化：使用免费商业工具FineBI 提供的功能实现高校大数据的可视化展示。主要包括各种图表、智能报表、用户画像、用户管理界面、数据建模界面、数据分析界面及平台管理界面等。

4.1.3 大数据分析层

这一层提供基础的分析框架，封装高校大数据应用专题分析包。分析框架是基于主流的Hadoop 实现的MapReduce 编程模型、Spark 编程模型、Spark SQL/HSQL 模型。定制的专题分析包包括但不限于：教学管理、学生画像、图书管理、医院分析、就业分析等高校大数据专题分析。

整个方案建立在PaaS 基础上、基于微服务及中台思想设计，力求轻、快、强、简单、开放五个目标，可对共享数据库、应用系统数据库进行融合，进行信息资源和数据治理，提供快速开发平台，基于适合高校的通用模型库、接口库、算法库、组件库，无代码快速构建高校的微应用、数据融合应用、流程融合应用及各类特色功能，并迭代开发。

4.2 业务中台的设计

业务中台实现应用的统一调用和管理，开发者和用户也可以灵活地将相关技术、数据、内容整合到教学、学习、管理、空间和服务等智慧场景中。基于学生画像、渠道特征、学习倾向、选课动机等评估，以数字化标签驱动，快速搭建学生与学习内容产生互动的一切场合场景。在内容场激活用户，提高内容的有效性、降低复杂度，为用户提供更精准的知识。在教学场围绕学前中后与学习强相关的场景，对学生学习体验负责。

业务中台的内容设计主要包括：

（1）教学业务中台：包括装备、助教、评测、科研等功能，以多样化教具，多元化内容，构建教师为中心的教学平台，个性化和差异化教学。

（2）智慧学习业务中台：包括在线课堂、AI 助学、浸入式学习、科技素质教育等功能，以过程性评价、个性化方案、自主化学习，构建学习者为中心的终身学习平台。

（3）智慧管理业务中台：包括智慧校务、智慧教务、智慧办公、智慧决策等功能，以泛在化资源、便捷式操作、个性化匹配，构建管理者为中心的数字化治理平台。

（4）智慧空间业务中台：包括智慧安防、节能管控、环境监测等功能，以情景感知，自主适配，打破数据孤岛，构建以人为本的教育空间。

（5）智慧服务业务中台：包括一码通行、开放社区、一站式平台、个性化助手等功能，以标准化体系，开放式生态，个性化供给，构建使用者为中心的服务平台。

5 展望

随着物联网、5G 通信的实施，一个“万物互联”基于“数据驱动”高校大数据治理融合平台值得进一步探索研究。