基于大数据分析的大学生资助管理平台设计研究

姜攀

（苏州工业园区服务外包职业学院，江苏 苏州 215123）

1 概述

改革开放40 年来，我国经济水平发展迅速，但仍有许多学生因各种原因导致家庭贫困，无法完成学业。为了解决这一重大问题，我国已逐步出台了实施九年制义务教育，还制定了一系列贫困生资助制度，目的是确保贫困学生顺利入学，帮助他们顺利完成学业。但是，在助学工作的实施和落实过程中，存在着很多问题。只有充分分析助学效果，才能更好地开展助学工作，让真正需要助学的学生得到资助。

目前，国内外对于助学措施的方法有很多不同的政策。在文献中笔者介绍了德州针对社区学院的贫困生开发的一种新的基于绩效的资助模式（PBF）。笔者研究了改革引起的低收入学区学业成绩的变化，结果表明，学校资源对学业成绩有很大的影响。在文献中，笔者重点研究的是来自于德州的毕业生就业结果的对比分析。

2 平台总体架构

基于大数据分析的大学生资助分析监测平台的总体框架由：校园基础数据源、大数据基础运行平台（数据采集存储平台、综合分析挖掘平台、智能预警平台、安全运行管控平台）以及多种应用，如：智能预警、数据挖掘、多维分析、关键指标、专题分析等。其中数据采集和存储平台主要将学校各平台的基础信息和学生行为相关大数据进行收集，并将收集到的数据进行结构化存储和清洗；综合分析挖掘平台主要是对学校采集到的大数据分析建模，再对其进行深度挖掘和智能化分析；智能预警平台主要是利用平台所分析的结果对学生的异常行为进行智能预警以及自动生成对应的监督措施；安全管控平台主要是对整个系统进行数据监控和管理，确保系统的安全稳定运行。

3 学生行为数据抓取及存储

3.1 校园一卡通数据

我们可以通过校园一卡通系统中的各类终端机收集到的海量数据，针对具体的分析场景建模并智能判断预测贫困生情况。通过分析一卡通系统中的食堂和超市消费情况、宿舍购水电记录情况、医务室就诊情况，建立学生日常交易行为预警系统，通过在系统中预设值阀值来实现自动预警功能，然后学生管理者可以根据这些预警信息及时响应。

3.2 学工系统数据

通过分析学工系统中的学生、家庭基本信息、上网审计系统中学生上网审计记录等，通过这些数据的抓取来判断贫困生的其中重要的依据。

3.3 财务管理系统数据

通过分析财务管理系统中的学生学费是否存在延迟或者未缴费的情况，通过这些数据的抓取来判断贫困生的其中重要的依据。

3.4 上网审计数据

上网审计数据通常使用的来源是网络挖掘和文本挖掘（来自网络审计系统的日志），从社交网络中挖掘舆论以及从公共门户网站收集的数据。很多数据都是从微信、QQ和微博等社交网站公开的，例如：上传的照片和视频、评论、留言、点击喜欢按钮等，这些数据可以通过意识形态挖掘等技术进行监控。

4 研究方法

各种数据来源表明我们正在处理大数据，大数据分析的原理是收集大量的数据，然后利用大数据的研究方法对数据进行分析。这种大数据分析方法可以有效地解决了当前数据库技术无法满足的分析需求，提高数据处理操作的及时性和解决问题的响应速度。因此我们需要能够收集、存储和处理大量数据的技术，这些数据种类繁多，还有一些数据正在高速生成。此外，这些技术应具有足够的灵活性，以适应功能的逐步增加。在处理大数据时，最近流行的趋势是在云计算服务的帮助下使用Hadoop 平台，Hadoop 是在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架。Hadoop 是由许多不同的模块（超过150 个）组成，是一个处理大数据的强大平台，本文采用的大数据分析方法是基于Hadoop 架构的。

4.1 Hadoop 架构

Hadoop 简单来说就是用JAVA写的分布式，处理大数据的框架，主要思想是“分组合并”思想。所谓分组，比如有一个大型数据，那么他就会将这个数据按照算法分成多份，每份存储在从属主机上，并且在从属主机上进行计算，主节点主要负责Hadoop 两个关键功能模块HDFS、MapReduce 的监督。合并是将每个机器上的计算结果合并起来，再在一台机器上计算，得到最终结果。这就是MapReduce 算法。

4.2 MapReduce 计算架构的设计

在构建Hadoop 集群名节点和数据节点的条件下，我们使用Map 和Reduce 开发用户编程，这样我们可以通过补贴流量数据的方式，使用分区程序来计算需求。这个程序分为很多子任务，系统用它指向的数据来处理和归结子任务。在删除数据时，先对数据进行清理，统计数据中的异常数据，分析异常数据与正常数据之间的关系，并得到异常数据在所有数据中的比例。在这里，我们使用MapReduce 计算架构，实现学生资助数据清洗和数据切片过程。

EPC总承包的职能就像是房地产企业的工程管理，在牵头和配合与协调的过程中进行操作，就该层面分析，和地产项目的管理相比可以说是如履薄冰，房地产商能够在地产升值过程中提高销售高利润，在管理中出现的一些额外费并不属于过程控制的核心问题，地产项目的管理团队非常成熟，可以划分职能，这是真正的业主，管理权威是绝对的。

4.3 Map 阶段的任务配置与分配

系统将我们程序实现的数据清洗和切片分配到具体的Map 任务中。Slaver 角色全部交给Map 的一些数据节点，然后将调度名节点的任务也交给Map的数据节点进行操作。

4.4 Reduce 阶段的任务合并和数据存储

Reduce 阶段的作业输入数据流相当于前面介绍的Map 阶段的输出数据流。当每个学生根据两行排列的关系补助数据键对后，我们用Reduce 函数对数据进行处理，这是Reduce 阶段的Map 函数处理的输出数据统一的必要前提步骤。由于MapReduce 阶段的数据操作时间不同不确定，所以这些数据保存在数据库中的时间也不确定。

5 利用大数据进行大学生资助分析过程及算法

学生异常行为大数据分析过程：

大学生资助大数据分析过程如图1 所示。

图1 学生异常行为大数据分析过程

数据抽取与整合：通过搜索整个数据源，使用一定的标准来筛选出合乎要求的数据并结合数据库相应的工作模式，将学生行为数据从源数据库抽取出来，然后在合适的中间过程写入操作性数据ODS，这个过程叫做数据抽取，数据抽取工作原理图2 所示：数据抽取完成对结构化数据、半结构化和非结构化数据的全量抽取，通过ODBC 接口、专用数据库接口和文件数据提取器、音视频数据分析器等接口提取原始数据，并参照元数据来决定数据的提取及其提取方式，实现对各类主流数据库原始数据的提取。数据采集将按照业务数据具体概况对不同数据集定制适用的数据抽取策略。

数据清洗与分析：数据清洗将学工、财务、一卡通、上网审计等与学生行为相关的全量业务数据通过各类数据清洗方法，一般包括删除多列、更改数据类型、变量转换、缺失数据检查、删转换时间戳等，清洗后形成标准化数据。根据高校信息标准化的统一数据模型，数据存储实现分层数据存储的定义和构建，按照近源模型层、整合模型层、共性加工层和集市应用层四层模型进行构建。数据清洗过程模型与图2 类似。

图2 数据抽取过程图

6 实验认证

资助模式的创新只有全面考虑如何科学识别贫困生，深入分析学生的资助需求，密切跟踪资助过程，科学、统一评价资助结果，才能更好地完善现有资助模式。

6.1 科学认定贫困生

目前，贫困生的认定方式一般是通过证明材料、观摩认证，并通过走访同学、民主评议。证明材料法是一个复杂的程序，过于依赖在书面材料上有时很难有效保证证明材料的真实性和可靠性，存在很多造假行为。观察认证法多以平时教师对学生消费行为的观察为主，通过走访学生家庭可以了解学生的真实贫困情况。民主评议的方法与观察法类似，观察的对象也由老师变成了被观察者的同学，但这种方法容易受到被观察者性格和关系的限制，有时很难得出科学的结论。

6.2 制定个性化的资助办法

传统的资助方式往往采取“一刀切”的方式，强调单一的物质资助形式，难以全面满足家庭经济困难学生的学习、生活和成长需求。通过大数据分析，我们可以有效地对资金资源进行分配和个性化配置，这也是使有限的资金发挥最大效益的重要手段。在照顾贫困学生基本生活需求的基础上，用量化指标确定学生家庭致贫因素，针对不同的贫困程度采取不同的资助标准，确保有限的资金用在刀刃上。

6.3 落实有效的管理措施

制定实时跟踪和动态调整机制是我们高效筹资的重要环节。利用大数据综合信息管理平台，建立每个学生的预警和淘汰机制，实现对资助对象的动态管理。建立预警机制，对受资助的学生要及时关注，对其他未受资助的学生也要及时有效地关注其生活、学习、心理等。如果在这些方面有困难，应及时提早制定预警和帮扶措施。利用大数据综合管理平台和预测功能，建立受助学生的校园卡、银行卡、校园网等信息和支持平台的管理体系。通过对学生消费数据、学业数据、网络数据的分析，制定更加科学的筛查预警和淘汰措施。

7 结论

7.1 获得了更好的科学资助成果

通过对大数据的有效分析，我们摸索出一套较为科学的资助管理办法。针对不同原因造成贫困的学生，我们采取了不同比例的奖助方式，有效地将有限的资助资金发挥到极致。在资助学生的对象上，我们还通过数据分析制定了相关的淘汰机制。对于受资助的学生，我们通过调取他们的银行卡和校园卡信息，对其消费行为进行分析。如果学生长期以来的消费行为基本接近于大众消费水平，将降低或停止补贴的程度。学会利用大数据分析的结果来改进现有的资助方式。

7.2 获得了较高的师生满意度

基于大数据分析的助学管理方法实施以来，得到了师生的一致认可。在一定程度上，传统的“一刀切”的助学方法不能很好地解决学生的困难问题，而经过大数据分析后的助学方法，可以更好地将助学资金以不同的比例分配给不同情况的学生，力争使每一个学生不会因为贫困而无法完成学业。我校5600 名学生满意度调查结果如图2 所示。从图2 中可以看出，80%以上的学生对资助方式表示满意，超过了19%的学生非常满意，只有0.2%的学生觉得不满意。

通过对基于大数据分析的助学效果分析，使资助项目更加科学，真正达到合理利用资助的目的。同时也不遗漏任何一个需要资助的学生，更不会让不符合贫困资助标准的学生得到本不该得到的资助。只有通过科学的跟踪体系和完善的资助管理办法，才能让每一个贫困学生不因贫困而失学，让每一个学生都能安心学习，快乐成长。