基于大数据的学习分析及其系统

文/谢晓广

近年来，随着社会快速发展，使得数据数量呈爆炸性增加，从而进入到大数据时代。由于大数据具有数量庞大、内容多样，传递速度较快等特点，使其得到了广泛的应用，其中当然也包括教育行业。教育行业通过对大数据的应用，开发出了智能化学习分析系统，通过该系统的应用，可以提升各方面人员的学习效率。因此，对基于大数据的学习分析及其系统进行研究具有重要意义，更为在学习分析系统中提升对大数据进行应用奠定良好基础。

1 智能化学习的需求分析

1.1 动态与静态分析典型场景

在学习过程中，主要由两种分析方式构成，一种为动态分析，即学生在利用信息化技术学习时，能够自主对学生情况进行分析，以掌握其具体要求，如学生学习过程中，在某个模块上停留了很长时间，则表明其对这一模块感兴趣，或者是很难对该内容进行理解，针对这一分析结果，系统即可向该学生提供相应的学习资料，以确保提升学习效果。另一种为静态分析，即在整个学习环境内，以日、星期、月、年等为基准，分析学生学习相关的信息，通过这些信息的分析，以了解学生对系统的应用情况，从而为系统进一步优化提供良好支持。

1.2 不同用户的需求分析

对于学习分析系统用户来说，可以将其分成四种类型，每种类型的用户对系统具有不同要求。

1.2.1 教师

教师作为知识的传授者，注重学生的学习情况，需要针对学生的学习情况，及时调整教学方案。然而在以往阶段当中，教师很难利用传统的技术，获取学生的全面实际情况，只能利用自身的教学经验进行观察与判断，使得分析出来的结果存在一定差异，导致其制定出来的方案不一定符合学生实际要求。此外，即使可以准确掌握学生的实际情况，但由于精力与时间有限，也很难根据每个学生的不同特点，采用合理的教育方式。因此，教师对学习分析系统应用时，主要用来对学生情况进行分析，并对不同学生的需求采用相应的教育方案。

1.2.2 学生

作为学习的主要参与者，应通过学习分析系统的应用，掌握自己学习情况，获得更多学习资源，并对学习方法进行调整。

1.2.3 教育决策者

通过这一系统的应用，应获得整个学习方面的信息，才会从宏观角度出发，对整个教育工作进行优化。

1.2.4 研究学者

通过该系统内数据的采集，以促进研究活动的进行。

2 智能化学习分析的面向目标

2.1 学习资源管理

目前，在我国教育事业当中，存在数量庞大的学习资源，有效对这些资源进行管理，可以为学习活动的开展提供重要帮助。然而，实际上，对学习资源管理时，主要以消除“孤岛信息”为目标，而构建出相应的数据库，并采用分布式的方式，对其进行储存从而在物理层次上，对学习资源进行了整合。但由于并未从学习资源管良性角度出发对其进行管理，导致这些资源管理的效率不是很高，用户对这些学习资源应用时，很难提取出全面、准确的资源，从而影响系统的应用效率。同时，以往对学习资源管理时，很难同时开展多项计算活动，导致系统无法同时为多个用户提供资源，也表明资源管理效率不是很高。因此，在大数据背景下，应对学习资源管理问题进行优化。

2.2 学习过程

在学习人员学习过程中，涵盖非常丰富的信息，如学习能力、学习效果等，通过这些信息的分析，可以准确了解其学习情况，如根据用户的登录时长，以及系统在线时间的分析，判断出其学习的意愿；针对系统的回应时间，判断出用户的是否专心；根据学习相关频率，判断出用户使用该系统时，是以学习为主，还是以其他方面的交谈为主等。总之，这样对学习过程进行分析，能够确定出合理的变量与模型，以加强对学习人员的学习状况，从而为学习方案的高进提供良好帮助。

2.3 动态知识地图构建

在智能化知识管理系统内。知识地图是其中非常重要的组成部分，其可以将整个学习过程当中涉及到的人员与资源等结合到一起，以构建出动态的网络。虽然，不同人员对知识地图的解释略有差异，但本质上基本相同，具体来说，主要包括以下两个方面：

（1）均是通过可视化的手段，反映出知识间存在的关系；

（2）均认为其是一个导航系统，通过其能够反映出知识的来源，从而为用户创造出信息交流的空间，使得知识能够被更多的人员获取。

所以说，在学习服务当中，知识地图至关重要。然而，对知识地图应用时，由于后台数据计算量较大，传统技术很难达到这一要求。针对这一问题，即可通过对大数据技术的应用，构建出良好的知识地图，以提升学习服务的效果。

3 基于大数据的学习分析系统

3.1 功能组件

目前，常见的学习细分析系统通常是利用Hadoop技术开发的，其主要由以下几个部分构成：

（1）Sqoop。主要为SQL与HDFS间，对数据转换的Aaache开源框架工具，通过其可以将整个数据库与Hadoop结合到一起，从而形成良好的互补。当前现有的学习分析系统内，存储了很多类型的数据，其中关系数据非常关键，若想要有效对该类型数据进行应用，则需要使用Sqoop；

（2）Flume。是一个日志聚合系统，其可以根据实际需求，确定出数据的发送者，以使数据能够得到介绍，同时还具备一定的处理能力，使数据符合实际需求。也就是说，该模块运行时，从应用方着手，向Hadoop HDFS方发送相应数据；

（3）Map Reduce框架。主要由两部分构成，一个是Ext：DIS，其主要针对学习资源的相应模型，确定出相应的检索方案，另一个为Ext：DRC，其主要是分析大数据；

（4）E-HDFS框架，主要完成学习大数据的管理工作；

（5）HBase，即数据库，主要为系统的分析提供数据支持。

3.2 主要功能

3.2.1 学习信息的记录与分析

学习分析系统运行时，需要通过学习过程数据的采集与分析，从而掌握学习的实际情况。所以，在该系统当中，应包含学习信息的记录与分析功能。根据Web环境内，学习分析服务器的实际情况，提供普适的学习分析数据汇聚接口，并通过Hadoop Pig，或者是Hiv与Flume的方式，对所有信息进行收集、分析。在这一功能当中，主要由三部分构成，

（1）数据汇聚模块，主要从整个学习环境当中，收集到相应的学习信息，将其传递给Flume节点；

（2）Flume模块，其将采集到的学习信息传送至Hadoop集群；

（3）Hadoop集群模块，其主要对数据进行分析，并将得到的结果导入到HBaxe内，使得用户可以对相关信息进行查询。

3.2.2 学习资源的管理

在学习分析系统内，还具备良好的学习资源管理功能，系统可以将学习相关的信息进行有效存储，用户对该系统进行应用时，可以针对自身的实际需求，快速获得相应信息，同时还可以对学习资源展开全面分析，从而建立出良好的知识地图，并为用户提供高质量的学习服务。该功能也有三个部分构成：

（1）通过学习大数据存储模型，获取相关的学习资源；

（2）将其传入到Hadoop集群内，由该模块分析数据；

（3）利用MapRsducer模块进行处理，从而得出相应的结果。

3.2.3 学习干预与开放式服务

作为学习分析系统当中的重要组成部分，学习干预可以判断出学习人员的行为方式，并针对学习人员的实际情况，对其进行相应的干预，以转变学习人员的不良行为，从而提升学习人员的学习效果。这些干预涉及很多方面，如资源的发送，科学的学习方案确定，不良学习改进方案的确定等。同时，该系统运行时，还要向用户提供开放式服务，即大量数据的采集、存储与提取，以及相关数据的分析。对于这一功能来说，主要以两种方式提供，一种为教育SaaS平台，另一种为教育PaaS平台。

4 总结

综上所述，大数据的出现，为我国教育领域学习分析提供了重要帮助，有效提升了学习分析的效率与质量，不仅可以为学习活动的开展提供良好支持，同时还为教师、研究学者提供了方面，从而推动我国整个教育事业的发展。需要注意的是，大数据技术作为当前非常先进的产物，一直随着社会的发展而不断更新与完善，想要使其在学习分析当中发挥出更大的作用，应持续不断的对这一内容进行研究。