基于身份源的教育数据中台建设与实现

2023-04-02罗永星杨帆通讯作者胡巨波重庆市教育信息技术与装备中心

中国信息技术教育 2023年7期

罗永星杨帆（通讯作者）胡巨波重庆市教育信息技术与装备中心

●问题提出

近几年，国家强调教育智能化建设，大力推进智能教育，随着智能教学教研设备的逐渐装备，数据采集的方式和内容都发生了重大的变化。但现在的系统开发、数据设计管理模式还不能完全适应这种变化，主要体现在对数据的统一性、完整性和时序性不能进行有效的管理和应用，不能形成真正有用的大数据为决策服务。例如，教师、学生、家长的身份信息和生产数据存在于不同的应用系统中，由于各个应用系统都有自己的身份管理体系，所有的生产数据都封装在独自的应用体系里，使得业务数据无法进行统一归档，这就导致数据孤岛越来越多。

因此，需要建立一个能够关联各个应用的身份管理体系，为各个应用建立起数据交换的桥梁，既实现数据身份的多因子聚合，又实现应用数据的输出与管理。

●建设基于身份源教育数据中台的应用价值

1.建立身份中台，搭建数据关联的桥梁

身份中台是对应用和访问数据的组织、访问者的身份与角色等提供统一认证、授权服务。在实际运用中，需要对数据对象构建统一关联标识（包括人、物），通过统一的身份ID构建起来自不同应用的多因子身份关系数据的访问桥梁，再通过统一的身份ID，实现应用数据的关联与共享，以适应不同应用场景的身份标识聚合，最终构建起基于时间、位置、生产者、数据对象的管理与服务模式。

2.建立数据中台，实现教育数据的颗粒管理

数据中台通过身份中台从业务系统中采集业务数据，对数据按照数据标准字典进行数据清洗，然后对数据进行标签化处理，最终实现对数据的颗粒化管理，形成服务于应用和大数据分析的标准数据仓库，通过建立基于应用及对象的标准数据接口API和算法引擎，为数据共享、数据分析提供全方位服务。

3.以标准为基础，构建数据连接池

建立数据中台，除了数据身份的统一外，其关键是数据交换安全。数据连接池就是在数据仓库和数据应用之间构建一个缓冲层来为数据提供安全保障。数据清洗确权都在连接池中完成，接口API和算法引擎通过数据连接池实现数据的交换。

4.规范应用授权，开放数据接口

使用“三重授权原则”，即“管理授权+平台授权+用户授权”的模式，开放身份接口和数据接口。身份中台和数据中台在授权机制协调下将请求数据通过Open API将数据推送到连接池，应用系统则通过Private API将生产数据推送到数据连接池，从而实现数据交换。

●基于身份源教育数据中台技术架构及实现

1.总体架构

教育数据中台整体方案框架包括身份中台和数据中台两个部分。其中，身份中台汇聚各应用的身份信息，为各种应用建立起身份关联关系，为其后的应用建设和服务升级提供统一的身份认证服务和授权服务。而数据中台是基于身份中台实现区域内各系统的业务数据的整合与应用，为各应用提供统一的业务数据交换服务，减少应用数据对接的难度，提升数据使用价值，为数据分析和数据可视化展示提供方便。双中台总体架构如图1所示。

2.身份中台的基本框架

身份中台由前台、中台、后台三部分构成。

（1）身份中台的前台应用

通过身份中台的前台管理应用实现区县-学校二级分级分权的角色管理，将身份中台身份库的基本管理功能下放到每所学校和机构，由学校/机构的管理员维护和管理自己学校/机构的人员、组织等身份的基本信息和角色划分。

（2）身份中台的中台应用

①基于教师、学生、组织等身份信息构建统一的身份库，完成身份数据清洗以及身份数据标准的建设，并统一通过身份API接口服务向所有前台应用提供身份服务以及统一认证、数据授权服务（和数据中台联动）。

②通过身份中台的分级管理应用平台，对教职工、学生、行政组织、岗位角色，学生和监护人关系等身份信息进行区县-学校/机构二级分级分权管理。

③通过身份中台的自助管理平台，使教职工、学生能够自主完成自身身份信息的申请和维护。

④通过身份中台对前台其他业务系统，如阅读服务系统，无线上网认证系统，办公OA、教职工管理、学生管理、教育教学、教研培训等业务系统提供标准的身份API接口服务，用于支撑前台业务系统的身份信息日常使用以及数据的共享和交换。

（3）身份中台的身份源后台

身份源后台系统由三部分组成：

①现有身份文件导入（来自于现有的学生、教职工数据，并进行身份数据清洗后完成数据导入）。

②对接中小学学籍系统，实现定期或者自动的身份信息同步到身份中台。

③对接教师管理系统，学籍系统类似，实现定期或自动进行身份信息手工导入。

3.数据中台的基本结构

数据中台支持各类型数据的归类管理（如设备数据、互联网数据和校内业务系统数据等）；提供可扩展的分布式大数据平台存储和计算资源，为海量数据的存储和分析提供高效支撑；通过大数据分析和可视化应用，将数据进行直观呈现；提供监管组件对应用数据进行管理监控，保障数据中台的稳定性，形成一站式的数据服务，适应信息化建设与应用中的问题和挑战。整体架构如下页图2所示。

图2

（1）数据采集和建模（含数据仓库）

数据建模模块负责与外部系统进行数据交互，包含如下功能：①ODS层（Operation Data Store数据操作存储层）支持外部结构化、非结构化数据的实时以及批量数据采集。②数据仓库层对数据进行加工处理，按照指定模型存储。③提供数据的南、北向共享交互接口，或者ETL。④提供ETL任务的调度监控。

数据仓库是为教育主管部门所需主题数据提供所有类型数据支持的战略集合，是为了支撑分析性报告和决策支持而创建，具备分层存储、面向主题、海量数据、汇总且可冗余、查询性能优先等功能。

（2）数据分析和运维管控

数据分析模块提供数据计算引擎，包含流计算、批处理、数据挖掘、图计算等数据处理分析能力，并提供高可靠、安全、容错、易用的集群管理能力，支持集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检查、问题定位等功能。

（3）数据可视化应用系统

数据展示模块用于展现数据分析结果，为让展现更加直观，使用了各类图表（如二维表、交叉表、柱状图、饼状图、环图、趋势图等）展现分析结果。

该模块通过Web服务对外展现数据，方便各类终端访问。同时，嵌入了各种强大的统计功能：①通过报表编辑工具的搭配组合，如子报表、分组计算表、交叉表、数据过滤控制、全局变量控制等快速实现实时数据分析。②通过敏捷、可视化的操作，控制各种报表和参数编辑器。③通过多层次报表的扩展，除静态展示报表外，还可以与查询数据互动，实时分析、钻取、提炼各种数据源。

（4）数据共享

数据共享模块用于向外发布数据仓库中的规范业务数据以及数据操作标准规范。通过数据共享实现以下功能：

①提升数据价值。通过数据共享，数据仓库不仅用于支撑决策分析，还可以被各类信息系统使用。

②驱动业务系统持续优化。通过数据共享，将数据仓库的规范数据反馈给业务系统，让数据实现“业务系统→数据仓库→业务系统”的循环，驱动业务系统的完善与更新。

③业务系统联动。数据共享不仅使数据仓库与各业务系统间的数据互通，同时，也使业务流程实现联动。

4.数据连接池的技术实现

数据连接池是保障数据存储安全的一道防线，也是在应用数据交换过程中保证数据存储规范的交换屏障。在身份中台的确权下，各个应用系统通过数据连接池实现北向数据清洗和南向数据交换。它主要包含一个与核心数据库同样结构的中间库、一个用于数据清洗的标准库、一个API接口文件库、一个记录用户操作的日志文件等四个部分。

5.API的管理、授权规范

由于每一个应用或用户分配的数据使用和存储权限都不相同，API接口管理就是解决因应用对接太多带来的数据安全问题。

使用者通过应用对接进行自助申请、管理员审核，减少应用之间的沟通成本，快速推动业务落地，并对API接口实施有效管理。

API的管理与授权主要包括用户信息管理接口、组织岗位管理接口、标签信息管理接口、身份标准管理接口、角色数据使用接口等。为了应用规范，接口统一采用restful风格，并提供如token、http basic的安全验证机制。用户在应用数据时，针对获取的数据进行使用授权。

●基于身份源教育数据中台的实践应用

①构建多级管理体系，补全用户业务链。对区域内整个教师、学生、职工、管理员、所有中小学、机构、行政组织、监护人等身份信息基于教育部标准以及区域实际情况进行身份数据的清洗、聚合，构建完成区域基础教育身份库和身份标准。②建立身份数据规范，保障中台数据正确性。通过标准化的导入和系统联动，将学籍系统、教师管理系统、办公系统（钉钉）、上网实名认证系统等身份信息清洗和聚合流程做到规则化和自动化，保障后续身份库维护的快捷和正确性，建立一套自动运行的身份源区域数据规范。③规范身份库管理流程，多级协同共同维护。基于区域基础教育身份库，为区教委、学校提供二级管理平台，管理基础教育身份标准，对教师、学生、学校、组织、岗位、角色等各类身份信息进行维护，建立区域基础教育身份库管理规范流程。④建立区域内接入统一认证，提供标准化认证方式。基于基础教育身份库，为上网认证系统、钉钉等系统提供标准化的统一认证方式，建立区域内应用统一认证接入流程。⑤身份信息自动同步，保障数据中台信息实时性。基于基础教育身份库，为上网认证系统提供基于教师、学生、管理员的自动身份同步服务，保障区域内新增、更新、归档账号、组织、角色等身份信息的实时性和准确性。⑥沉淀用户身份数据，提升决策能力。基于上网认证系统、上网行为分析系统，构建基于教委、学校的上网行为态势感知主题报表，为学校和教委对网络资源的使用情况和均衡决策提供客观、具象化的判断依据。