基于大数据背景的Hadoop教学创新实践仿真研究

赵秀丽 彭银

摘  要 以高职院校Hadoop教学资源、实训设备等极度缺乏的现状为出发点，结合学校开设的大数据技术与应用等相关专业，探讨充分利用大数据平台，整合校企教学资源，开发Hadoop虚拟仿真教学管理系统，实现Hadoop集群配置管理与应用、实验辅助教学管理和Hadoop课程资源开放性、共享性、职业性，推动学校Hadoop课程的虚拟仿真实验室建设和实践教学改革。

关键词 Hadoop;实训设备;高职;大数据技术与应用;教学

资源;智慧教学;虚拟实验室;虚拟仿真教学管理系统

中图分类号：TP391.9    文献标识码：B

文章编号：1671-489X（2020）01-0053-03

1 引言

大数据已成为时下IT界最炙手可热的名词，在全球引领了新一轮信息技术革命的浪潮。因大数据而生的Hadoop可以处理海量规模的数据，其高可靠性、高可拓展性、高容错性和高效性的优点，一出现就受到众多大公司的青睐，同时引起研究界的普遍关注。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，充分利用集群的威力进行高速运算和存储，用户可以在不了解分布式底层细节的情况下开发分布式程序，只需要简单地实现相应的接口即可，完全不用考虑底层数据流、容错、程序的并行执行等细节，这种设计无疑大大降低了开发分布式并行程序的难度。并且，Hadoop依赖社区服务器，其成本比较低。

2016年后，全国各高校先后开设大数据技术与应用专业，Hadoop课程逐渐登上高校教育的舞台，但目前国内高校普遍面临实训设备、教学资源等缺乏的问题。本文以高职院校Hadoop教学资源、实训设备等极度缺乏的现状为出发点，充分利用大数据平台，开发Hadoop虚拟仿真教学管理系统，实现Hadoop集群配置管理与应用，提高学生学习兴趣、操作能力、编程能力以及自主创新能力，实现智慧教学，加快学校信息化建设。

2 基于大数据背景的Hadoop教学创新实践进行仿真研究的意义

Hadoop仿真研究对于解决实训资源匮乏至关重要    《2017年中国大数据人才发展报告》指出，大数据人才需求呈现爆炸式增长，但是大数据人才储备出现极度缺乏的态势。2016年后，全国各高校先后开设大数据技术与应用专业。近年来，由于高校普遍扩招，大数据相关专业的学生人数越来越多，而受制于实验室建设费用高昂、实验指导教师有限等因素，很多院校实验器材、实验设备、实验环境无法完全满足Hadoop实际教学环境的需求。基于大数据背景的Hadoop教学创新实践的仿真研究能够一定程度上解决这些问题，而且是一种经济有效的解决方式。通过仿真实验的开展，可以使学生对实验原理、实验结果进行更深入的了解，掌握Hadoop的关键技术，培养学生利用Hadoop

技术解决大数据问题的能力。

Hadoop仿真研究对于Hadoop信息化教学改革尤为重要    《教育信息化“十三五”规划》指出，到2020年，基本建成“人人皆学、处处能学、时时可学”的与国家教育现代化发展目标相适应的教育信息化体系。Hadoop仿真研究是加快大数据技术与应用相关专业信息化建设的需要，通过建立虚拟实验室环境，提供可操作的虚拟实验设备和实验辅助教学管理，使学生能够通过Web界面实现接近真实的人机交互界面完成实验，提高学生的学习兴趣，提升学生利用Hadoop技术解决问题的能力。虚拟仿真的研究，一方面顺应了时代发展的趋势，另一方面满足了大数据实训室建设和Hadoop实践教学改革与创新的需要。

Hadoop仿真研究对于提高学生运用Hadoop知识解决大数据问题的能力尤为必要  Hadoop仿真研究的课程整合校企资源，采用项目开展实践教学，知识和能力结构从低到高，涵盖了Hadoop的關键技术。将知识和技能包含在项目中，通过完成项目提高学生利用Hadoop分析大数据问题和解决大数据问题的能力。

Hadoop仿真研究对于实现Hadoop课程资源的开放性、共享性、先进性十分关键  教学资源可以开放、共享，学生和教师可以不受时间与空间的制约，随时随地都可以登录系统进行学习与研究，打破了传统实验教学必须依赖具体的设备和受空间约束等问题，真正实现“人人皆学、处处能学、时时可学”。

3 基于大数据背景的Hadoop教学创新实践进行仿真研究的国内外研究现状

2008年2月，雅虎宣布搭建出世界上最大的基于Hadoop

的集群系统——Yahoo！ Search Webmap。UC Berkeley等著名高校也对Hadoop进行应用和研究，以提高其整体性能，其Hadoop仿真研究处于国际领先的地位;格拉斯哥大学的Terrier Team拥有超过30个节点的实验集群，使用Hadoop

促进信息检索研究和实验，处于国际领先地位;内布拉斯加大学的Holland Computing Center拥有中等规模的Hadoop

机群用于存储和提供物理数据，在Hadoop的实验研究中处于国际领先地位。

2008年以后，特别是2015年后，国内对Hadoop进行研究的企业越来越多，互联网企业成为国内Hadoop研究的中坚力量。党的十八届五中全会公报提出要实施“国家大数据战略”，标志着大数据战略上升为国家战略。

2016年，教育部先后设置“数据科学与大数据技术”本科专业和“大数据技术与应用”高职专业，Hadoop课程正式登上高校教育的舞台。Hadoop在高校特别是在高职院校教育中面临指导教师、学习资源和实训设备缺乏等诸多问题，Hadoop仿真研究仍处于探索阶段。目前，国内有部分高校陆续开始创建省级Hadoop虚拟仿真实验机构，但是到目前为止，仍没有较为完善的Hadoop仿真教学资源，并且存在Hadoop教学资源开放共享程度不够的问题。

根据国家级虚拟仿真实验教学中心建设要求，高校虚拟仿真实验室的管理和共享平台应该具有扩展性、兼容性和前瞻性，能够实现校内外、本地区及更广范围内的实验教学资源共享，满足多地区、多学校和多学科专业的虚拟仿真实验教学的需求。目前，高校Hadoop虚拟仿真实验教学项目和实验教学资源大都仅仅满足对本校学生开放或者是对较少专业的学生开放，对周围高校或更广范围的实验教学没有较强的辐射作用。

4 基于大数据背景的Hadoop教学创新实践进行仿真研究的预期成果

通过开发Hadoop虚拟仿真教学管理系统，不断优化教学资源，推动信息化教学条件下学生自主学Hadoop、探究学Hadoop等实验教学改革方法，提高教学效率，丰富教学内容，降低成本和风险，开展绿色、开放的实验教学。该系统主要由Hadoop课程实验仿真平台和Hadoop虚拟实验教学管理系统两部分组成，可以完全满足“Hadoop实战”模拟实验教学，是真实实验教学很好的补充，预期成果：能够模拟实现Hadoop集群搭建和应用的真实实验中所用到的器材和设备;能够提供与Hadoop集群搭建和应用真实实验相似的实战环境;能够提供Hadoop集群搭建和应用全方位的虚拟实验教学辅助功能，包括实验预习、实战项目维护、实战项目的指导等;通过实现Hadoop虚拟仿真教学，提高学生的自主学习能力和学习兴趣。

5 基于大数据背景的Hadoop教学创新实践进行仿真研究的目标与内容

大数据时代的到来，造成大数据人才缺口较大的态势，通过高校教育培养复合型大数据人才迫在眉睫。培养复合型大数据技能人才，Hadoop集群的搭建成为其中最重要的一环。2016年后越來越多的国内高职高专院校开设了Hadoop

课程，为解决高职高专院校由于教师资源紧缺，教学资源、教学设备、教学环境等缺乏的突出问题，本课题以Hadoop集群搭建与应用为研究对象，开展Hadoop虚拟仿真教学管理系统研究。通过Java Web开发技术，开发Hadoop虚拟仿真教学管理系统。利用该系统，用户能够在客户端通过Web方式学习Hadoop的基础知识及Hadoop集群搭建与应用的虚拟仿真;同时，系统管理员能够对学生的实战项目的进度、效果进行有效监督和管理，减轻教师的教学负担，充分发挥学生的主观能动性，提升Hadoop的教学质量，从而真正实现培养复合型大数据技术技能人才的目标。

基于大数据背景的Hadoop教学创新实践进行仿真研究主要有三方面的内容：智慧教学管理平台、智慧学习平台、智慧实训平台。智慧教学管理平台主要实现学生信息管理、课程信息管理、在线考试管理、在线交流;智慧学习平台主要实现学习实时跟踪、在线发布实验、学习资源库;智慧实训平台主要包括在线交流、在线实训、实训资源库。

6 基于大数据背景的Hadoop教学创新实践进行仿真研究的方案

系统总体规划与设计  通过大数据平台，对Hadoop虚拟仿真教学管理系统进行需求分析，确定系统的概要设计与详细设计，并且确定开发所需的软硬件环境。

课程标准的制定  课程标准制定依据大数据技术与应用职业行业规范，积极引进行业、企业的岗位技能标准，嵌入真实工作任务的大数据技术与应用大赛赛项规程，建立课、岗、赛融合的课程标准。

课程教学资源的完善，提高教学质量，提升学生岗位适应能力  依据行业发展状况，服从贵州省“大扶贫、大数据、大生态”的战略，对课程内容进行优化整合，将与职业岗位相关的Hadoop新知识、新技术尽可能引入课堂教学项目中，把学生的兴趣引导到对新产业、新知识、新技能的思考中来，确保教学内容与时俱进。形成突出职业能力培养、项目为导向的教学内容组织，以项目或典型工作任务驱动开展教学，通过实践项目教学，充分调动学生的学习热情，提高学生的主动学习能力、团队合作精神以及协调能力，进一步提升学生岗位适应能力，提高教学质量。

Hadoop课程实验仿真平台和Hadoop虚拟实验教学管理的实现  通过仿真平台和虚拟实验教学管理，达到Hadoop集群搭建与应用的目的。

7 基于大数据背景的Hadoop教学创新实践进行仿真研究的科学问题

虚拟化技术  虚拟化技术是一种资源管理技术，是将计算机的各种实体资源，如服务器、网络及存储等，予以抽象、转换后呈现出来，打破实体结构间不可切割的障碍，使用户可以运用比原本的组态更好的方式来应用这些资源。

HDFS  Hadoop分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

MapReduce  MapReduce是一种编程模型，用于大规模数据集（大于1 TB）的并行运算。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。

8 结语

信息化时代，国家倡导发展“互联网+教育”。响应此号召，以Hadoop集群搭建与应用为研究对象，将教育技术与信息技术深度融合，开展Hadoop虚拟仿真教学管理系统研究，实现资源平台、管理平台互通，形成优质Hadoop课程体系，实现高效Hadoop教学管理，共享Hadoop实训资源，能有效解决高职高专院校教师资源紧缺，教学资源、教学设备、教学环境等缺乏的问题，实现网络化、智能化、个性化的Hadoop智慧教学。

参考文献

[1]薛占熬，王楠，司小朦，等.多粒度粗糙直觉模糊截集的研究[J].河南师范大学学报：自然科学版，2016（5）：131-139.