以大数据分析技术促教育精准扶贫

摘 要 精准扶贫是具有针对性和科学性的扶贫新措施。在高速发展的信息化社会中，精准扶贫不在仅限于单一拘谨的模式，开始与大数据概念相融合，尤其在高校学生中，利用大数据种类的多样性、速度的高效性和信息的真实性切实的将学生精准分等级。用大数据实现精准扶贫、确实脱贫是未来教育精准扶贫的发展方向，本文将对大数据如何帮助落实教育精准扶贫进行深入分析，为早日实现全面脱贫提供参考。

【关键词】大数据 精准扶贫 高校 技术平台

1 背景

消除贫困、改善民生，一直是我国孜孜不倦追求的成果，自我国1986年开始扶贫工作以来，已经进入30多个 年头，资助工作取到了巨大成效。但是仍有部分贫困地区的人生活水平较低，多年来我们对贫困户的统计是统计部门及相关部门在农村抽样调查得出的数据，但是对于“谁是贫困户”，“贫困原因何在”、“如何帮扶”仍然没有准确的结论。于2013年习总书记首次提出“实事求是、因地制宜、分类指导、精准扶贫 ” 的重要指示，推动了“精准扶贫”思想的落地，而扶贫方式也开始由“漫灌”向“滴灌”转换，而对于高校学生，生源层次各不同、地点各不同，活动轨迹各不相同，这就产生了大量分散的数据，如何做到教育精准扶贫就成为了首要问题。

2 大数据监测和评估为科学决策提供支撑

大数据分析技术能够建立“用数据说话、用数据决策、用数据管理、用数据创新”长效机制。大数据（big data，mega data），或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的、多元的数据进行分析出最接近事实的结果，而 阿里巴巴创办人马云来台演讲中就提到，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology数据科技，大数据模型及分析技术的不断发展为科学扶贫奠定坚实基础。采用大数据手段采集与贫困人员、扶贫项目等内、外部的相关数据，健全贫困监测指标体系，可真实、准确、科学、合理地评估贫困地区、贫困人口状况及扶贫项目效益，为制定科学扶贫政策提供数据支撑。进一步做到在“大数据”支撑下“精准到人”，提高精准扶贫的准确度及加速扶贫步伐。

3 分析关联数据

事实上高校的在校生人数众多，而高校学生的活动轨迹大多也是在校园内，一个大学生肩上是一家人的希望，因为一个大学生在校的消费情况基本可以反映出一个家庭的经济情况，比如学生在校园中使用的是磁卡消费，例如饭卡、水卡、洗浴卡等。学生刷卡消费存在消费记录，消费了多少，在那个时间进行的消费，这些都储存于刷卡机上。利用大数据捕捉、挖掘、分析学生留下的数据的痕迹，便可揭示其背后隐藏的规律。通常家庭条件差的学生往往勤俭节约，他们知道父母挣钱的不易，所以他们基本只重量不重质，不求吃的太好，能吃饱就行，因此这类学生的消费会比一般学生低，而且这类学生没有吃夜宵的习惯，甚至有的连早餐都不吃，因为这样他们在相同的时间段里，消费次数也会比家庭条件好的学生少。此外，现在的学生都热衷于网上购物，闲来没事总会逛逛淘宝、京东、唯品会等网上购物平台，同样的，通过大数据可以获得学生们的网上购物记录，了解他们购买商品的价格和次数，和刷卡消费一样，家庭条件差的同学消费次数及金额应该会比较低。另外学生的微博、朋友圈等发布的消息可爬虫获取关键字，从而判断同学的生活情况。诸如此类，利用大数据获取并分析这些数据，便可大致知晓贫困学生，从而制定一系列保护学生隐私的帮扶措施。

4 大数据技术提供平台

4.1 大数据平台实现的功能

大数据平台要能实现实时历史数据分析、数据查询、数据统计、数据分析功能，主要为学生历史消费记录、学生朋友圈历史关键字、浏览网页历史数据进行查询、统计及分析；结合班主任及资助部门掌握情况进行综合分析。

4.2 构建大数据平台的重要性

随着历史数据不断沉淀及数据源的广泛，数据量大及广，因此建立大数据平台，可以对学生的具体情况，做出快速、精准的分析，必须通过分布式处理框架Hadoop的架构，实现低成本的数据分布式存储及分布式并行计算的技术手段。

4.3 大数据平台采用Hadoop大数据框架

Hadoop是Apache開源组织的一个分布式计算开源框架，起源于开源的网络搜索引擎Apache Nutch，包括分布式文件系统HDFS、并行计算框架MapReduce、Hadoop生态系统相关组件：Avro、Pig、Hive、HBase、Zookeeper、Sqoop等。如图1所示。

4.4 数据分析在大数据中的应用

MapReduce计算模型主要分为两个阶段，第一个阶段将各方数据并行输入数据分区，执行分组操作；第二阶段对第一阶段的生成数据分组结果进行聚合，并输出。在Hadoop系统框架中，对每个数据分片启动Map任务，在每个Map任务中，根据Map应用函数进行数据处理，同时对Map阶段的中间数据根据Reduce任务数量进行中间结果分片处理，最终输出存储到本地文件系统的临时文件中，启动Reduce任务获取Map任务输出的水质监测分片数据，并合并到本地文件系统临时文件中，然后对合并后的临时数据进行Reduce再排序处理，最后合并所有的Reduce任务结果并输出。

完成数据文件分片处理后，数据分片大小按照不大于HDFS分块大小设置的最大分片大小（有Hadoop配置文件中mapred.max.split.size文件设置），不小于最小分片大小（有Hadoop配置文件中mapred.min.split.size文件设置），数据分区后进行范式化，转化为键值对格式，作为Map阶段数据输入。

FeleInputFormat.addPath（“PathFile”）//获取各类的数据存储路径endprint

SplitSize（long blockSize，long minSize，long maxSize）

{

Return Math.max（minSize，Math.min（maxSize，blockSize））；

}//数据分片大小

Map阶段主要是利用Map函数将我们所要关注的数据，并转环为键值对的形式，存储为中间结果。Reduce阶段主要是对Map阶段中间结果进行处理，Reduce函数主要负责汇总所有任务的处理结果从而得到作业的结果。执行Reduce任务首先先将一份程序work从Master获取这些文件的位置信息，通过HDFS的RPC调度获取这些Key/Value对，worker迭代处理整个排序后的Key/Value对数据，将每个Key和它所对于的Value序列送入reduce函数中进行处理。最后reduce函数将处理完成的结果输出到文件进行储存，当同一个Map和Reduce任务执行结束后，worker会通知master，进而由其唤醒用户程序，直到用户作业执行完毕。

5 大数据推动精准扶贫

在我国“大数据”、“大扶贫”的战略目标下，自习主席于2013年在十八洞村首次提出精准扶貧的概念后，全国各个部门深入探索如何精准，在这样科技发展的契机下，大数据推动精准扶贫必然是趋势，利用大量的数据、多渠道来源的种类繁多的数据，通过大数据技术手段，经过数据存储、数据清洗、数据分析；从而得出更为精确的数据评估，同时帮助精准扶贫户画像、财产分等级、做出更加适合因人而异的扶贫方案。真正实现扶持对象精准、资金使用精准、招生对象精准、培养过程精准、就业辅助精准、脱贫成效精准等六个精准的精准扶贫，助力贫困学生无后顾之忧完成学业。

6 结论

教育强则中国强，职业教育更多的是帮助农村学生、帮助家庭贫困的学生，在教育精准扶贫的领域，有了大数据技术的助力，势必会取得更好的成效，把帮助给予最需要的人，对贫苦对象精准识别，识别后精准帮扶，完成精准扶贫政策的最初构想，实现亿万中国人民幸福生活的伟大中国梦！

参考文献

[1]大数据视角下的精准扶贫现状剖析（摘要、背景）.

[2]郑瑞强，曹国庆.基于大数据思维的精准扶贫机制研究[J].贵州社会科学，2015（08）：163-168.

作者简介

王钰（1986-），女，陕西省人。硕士学位。副教授。主要研究方向为计算机网络及大数据。

作者单位

贵州工业职业技术学院 贵州省贵阳市 550008endprint