教育大数据平台的构建与关键技术研究

邓志龙

（陕西学前师范学院，陕西 西安 710100）

0 引言

大数据已经成为当代社会快速发展的催化剂，为各行各业的发展注入新的动力。我国的教育行业积极构建大数据平台，就是想要利用大数据的分析和挖掘能力来推动教育的改革和发展。随着信息化技术和网络化技术在校园中的广泛应用，越来越多的数据相继产生。通过建构大数据平台，能够对这些基本的数据进行采集、存储、分析、挖掘等，将所有的信息数据进行有效整合，在很大程度上有助于教育的改革和创新发展。目前，各个学校的大数据平台尚未构建完善，需要不断探索和研究，帮助校园进一步完善各项技术体系，实现其具有的重要价值和意义。

1 教育大数据的特征及平台具有的功能

教育大数据就是指在教育教学的时候所产生的非结构化和结构化的、必须在分布式存储管理的新技术和新处理模式下才能够分析、存储和挖掘其内在价值的多元化的数据信息。大数据的新技术和新处理模式一般指认知计算、HBase分布式数据库、HDFS分布式文件系统、Hadoop分布式集群等分析挖掘和存储算法。教育大数据对推动教学改革和发展具有重要的价值和作用，一般教育大数据是高校在进行教学、研究和管理中产生的数据，其中主要的构成要素有学生的基本信息，例如学生的教材、成绩、选课等，还有教师的基本信息、与教学相关的信息以及科研信息等，这些信息数据独立的存在于各自的存储空间中，具有整体价值高、异构纬度高、类型多样化等特征[1]。

要想教育大数据的价值被充分地挖掘出来，需要构建具有以下功能的大数据平台。首先，要能对以往产生的数据信息进行融合存储；其次，要对新数据进行统一规划和整体存储。为此，在构建大数据平台的时候要从综合管理、治理和应用3方面的需要来对具有存储分散、数据不集中、不统一、数据来源多样化的问题进行有效治理，其采取的具体方法为：首先要制定统一的数据标准，清洗以往产生的数据信息；其次确定数据访问的统一接口和产生数据的唯一性归口；然后对有问题的数据进行分析、处理，使数据质量不断提升；最后构建合理的数据交换平台，在提高数据共享的基础上规范数据采集、管理和应用的全过程，提高数据的综合分析能力，实现数据的全量融合。

2 教育大数据平台的构建

通过构建教育大数据平台能将学校中所有产生的数据集中到一个数据库中，对数据库中的数据进行有效的分析和挖掘，可以针对学生的实际情况制定出有效的教学方案和科学的教学模式，同时还能为教学管理、科学研究等提供重要的数据保障，从而提升教学质量，促进高校教育教学的改革和发展。

高校在构建教育大数据平台时应该具有的功能，一是，提供有效的采集接口，能够将各系统的数据进行有效连接，从而实现对实时数据、结构化数据和非结构化数据的采集、融合和存储；二是，科学运用分布式存储系统，例如HBase和HDFS分布式系统，实现对各类数据的存储，提高查询和管理功能；三是，根据分析、管理和应用的需求，提供图式计算、实时计算等算法，实现对大量数据的采集、挖掘、分析和应用；四是，根据学校的教育教学的决策需求和发展需求，提供相应的数据分析法、数据计算法和挖掘模型等[2]。

2.1 数据采集层

教育数据一般包括与教学、科研、就业等相关的业务管理数据和教学过程中产生的教学视频、图画、文档等数据以及教学和学习过程中产生的实时行为数据。教育大数据平台在采集数据的过程中，一般采集各业务管理系统中产生的数据和实时行为数据这两种。其中在采集业务管理系统中产生的数据时，一般通过批量导入、公开接口处理和直接读取数据库记录的方式来实现；在采集实时数据的时候是依靠Agent技术才得以实现；对于图像、音频等数据采集是通过图像识别技术来实现的。

2.2 数据存储层

数据存储层是在Hadoop技术的基础之上利用服务器硬件和Hadoop分布式计算框架而构建的能提供Hive，HBase等大数据服务，同时还能完成高吞吐、高容错和高可靠的数据分析挖掘任务，并具有高扩展性和高可靠性的分布式系统。它可以满足和实现不同的存储方式和数据结构的教育大数据的采集和存储要求，从而为数据挖掘层提供有效的基础保障。

2.3 数据挖掘层

数据挖掘层主要是对教学管理进行分析、挖掘和应用，具体包括的内容有学生行为分析、学习分析、专业分析、教学分析和科研分析等。主要涉及的技术有以下两个方面：第一，根据新的数据挖掘需求，设计出新型的挖掘模型；第二，利用数据挖掘的功能，对教育大数据在应用过程中遇到的主要问题进行有效地解决。

2.4 应用层

对数据进行分析和挖掘就是为了发现数据的应用价值，而应用价值只有在实际的应用过程中才能充分体现出来。从学生角度来讲，通过对学生的知识掌握情况、心理状况、学习和生活状况以及综合素质等数据进行深度的分析和挖掘，可以对学生未来的发展轨迹和心理状况等方面形成精准的画像。从教师角度来讲，通过对上述数据的挖掘可以帮助教师制定有效的教学方案，从而创新教学模式，提高教学质量。对专业的发展进行有效的分析，可以及时发现专业改革和发展中遇到的制约问题，从而提出有效的解决措施，促进专业改革和发展。同时还能对制约学校整体发展的问题进行分析和预测。

3 教育大数据平台的关键技术

3.1 数据采集技术

大数据平台在进行数据采集的时候一般可以实现的渠道有以下两种：第一种，对已有的各业务管理系统进行有效对接，将各个业务系统中产生的数据都集中到数据仓库中，在合理制定数据存取标准的前提条件下，通过API对接和直接读取业务管理系统中的数据等方式来实现数据采集[3]。第二种，直接对数据仓库中的数据进行采集，可以通过Flume技术来实现。采集的过程是行为对象（例如学生和教师等）在触发事件源后所产生的事件对象的一种采集，而事件监听器在发现事件对象后，就会通过对应的事件处理器，将行为数据处理方法进行整合后推送给服务器中的接收组件，接收组件处理完数据以后会将信息推送到缓存组件中，然后再通过数据分发组件推送到Kafka消息处理队列中。

3.2 仓库设计技术

以往产生的数据一般都在各业务管理系统中进行存储，要对这些数据进行采集、知识点获取、关联和数据转换并在数据仓库建好后将其存储到数据仓库中。按照专业、学生、教师的不同行为分析和应用主题需求，结合数据颗粒度的原理进行数据组织，设计大数据平台存储仓库。

3.3 数据存储和计算技术

教育大数据涉及的范围和规模已经呈逐渐扩大的趋势，所以在对教育大数据进行管理和存储的时候要采用Hadoop技术来实现数据的存储管理以及计算机一体化。对于数据存储来说，可以运用非结构化的数据存储方式（例如HDFS存储结构）和非结构化的数据存储方式（例如Hive，HBase等），然后利用Redis和Kafka缓存需要快速查找和经常处理的数据。对于并行计算而言，利用Spark技术对数据进行处理和计算，利用MapReduce技术对大规模的数据集进行计算，来满足高速统计分析和实时性数据处理的要求。

3.4 分析挖掘技术

为高校建立教育大数据平台就是为了对数据进行综合分析和深度挖掘，使数据的内在价值充分体现出来。一般会利用神经网络计算法、概率和箱式图3种挖掘技术来对数据进行分析挖掘[4]。首先对这些数据进行关联、转换、清洗和分析、过滤等处理后，再利用概率、神经网络等计算方式来进行模型构建，从而将数据的内在价值充分挖掘出来。在进行大数据平台的构建过程中，可以利用关联的规则来对学生的学习、生活等相关数据进行挖掘，从中发现学生的学习规律和学习习惯，并以此为基础进行概念图的构建，使其能够将与之相关的知识点有效反映出来；同时还能利用学生的行为特征、心理建模、神态识别和手势等技术，借助多功能的摄像头捕捉技术，将学生的学习动态和生活动态等行为进行有效捕捉，例如学生的手势、神情等多模态的数据，通过对这些数据进行整合和挖掘，对学生的整体学习动态和生活动态行为进行综合的分析。