Hadoop框架核心技术在高校大数据教学系统中的应用分析

孙荣明

摘要：在大数据时代，数据集或数据处理能力是市场与企业对人才的一大关键要求。在高校大数据专业教学中，数据的安全与运算能力开始备受重视。而大数据教学系统的有序运转经常受各种因素影响，尤其是硬件故障与不足等。但是，Hadoop框架核心技术具有其自身的独特优势，即可靠性、拓展性、容错性、有效性都非常高，主要是通过大型的分布式集群，建立并布置数据储存与分析系统，这是最佳的数据解决方案，能够实现高效管理。本文主要对Hadoop框架核心技术在高校大数据教学系统中的应用进行了深入探究。

关键词：Hadoop框架核心技术；高校；大数据教学系统；应用

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）25-0129-02

1 大数据Hadoop两大核心技术

Hadoop框架核心技术实际上主要包括HDFS与Map Reduce。其中，HDFS是数据存储文件系统，是大数据的重要基础。而Map Reduce直接为大数据提供了一定的数据调度与管理算法。HDFS属于Hadoop的文件格式系统。在单机版的系统内，数据主要在物理硬盘上进行储存，而文件系统将硬盘划分为多个存储盘，即呈现为C盘和D盘等等。但是，在Hadoop系统中，数据的存储位置在集群不同的物理主机上，所呈现的是网络路径形式。用户只需要网络路径，便能够进行数据储存，而HDFS则需要格式化数据物理硬盘，并将数据分配到物理主机上加以储存、管理即可。Map Reduce属于Hadoop系统数据调度、传输、硬件资源管理算法，其主要利用分离治理的理念，将大型任务划分成小任务，再把小任务分配到集群结点上，在结点完成任务，汇总整理中间结果，以完成最终结果。总之，就是分解任务，汇总结果，以此促使Hadoop系统运行效率与水平得以明显提升。

2 Hadoop框架核心技术在高校大数据教学系统中的应用分析

2.1 Hadoop教学系统的应用现状

S高校Hadoop大数据教学系统是学校相关部门统一进行招标购置，在实训中心进行布置，并由其进行统一管理与维护的。既有Hadoop系统单独布置在物理计算机上，导致硬件的利用率相对较低，而且学生规模不断扩大，需求也随之明显增加，根本无法确保正常教学工作的开展。由于大数据相关专业招生数量在逐渐增加，高校根据相关需求，安置了大数据教学平台。而S院校采购了Hadoop大数据教学系统云中实验室，通过发挥服务器虚拟化技术的优势，在服务器上模拟学生机教学环境Linux系统。这样一来，不仅促使服务器硬件的利用率得到了明显提高，还进一步缩减了管理人员的工作量，从而保障了教学系统的正常运行。

2.2 在教学系统中的详细应用

S院校在浪潮服务器与宝德服务器上，安装了Ubuntu，并构建了云中实验室系统，主要划分为两部分，即Web教师端与学生端。学生利用Web学生端，构建多项系统，在系统上创建并布置Hadoop，以此開展HDFS与Map Reduce等各项试验。学生利用云中实验室系统的Web学生端，还可以实现与教师之间的实时互动交流，教师则可以以Web教师端为载体，查看并评估学生的实验情况，及时给予一定的有效指导建议。

2.3 应用效果分析

经过多次测试应用可知，Hadoop服务器集群的高效利用性技术，在很大程度上能够满足大数据教学系统正常有序运行的多元化要求。而适当增加云中实验室的投入力度，直接提高了物理服务器的有效利用率和水平。通过利用高校利用性功能，大数据教学系统服务器中断不会产生较大的代价，可以进一步满足大部分教学系统运行的需求，从而为建立高校大数据教学系统奠定了坚实的基础。

3 基于Hadoop框架核心技术的高校大数据分析教学设计

3.1 明确目标

目前，我国各行各业都为大数据专业技术人才提供了一系列发挥自我才能的平台，而大数据专业的岗位需求主要可以划分为三大类。其一，系统研发工程师，主要任务是构建数据业务模型，分布式云存储，数据库架构，数据平台的优化升级等等；其二，大数据分析师，主要承担的工作是在海量数据中，寻找数据信息之间的潜在联系，将大数据中所潜藏的利益开发出来，以便于进行产品研发；其三，应用开发工程师，主要负责通过非结构化数据研发以大数据技术为基础的应用程序和行业应对策略，从而为企业带来良好的综合效益。课程主要是从系统框架构建、应用研发、数据分析三个角度，进一步培养出同时具备理论基础知识与实践经验的复合型人才。在教学过程中，还需要培养学生的实践创新意识与能力，以此指导学生根据自身职业规划，在通识整体的基础上，选择特定领域深层探究。而想要深造的学生，教师则应该正确引导其走进学科的领域前沿，实时掌握最新的相关动态与原理，提出设想，并深入求证。

3.2 健全内容

所谓大数据专业课程内容主要就是切实结合理论知识与工程实践，对其相关原理、技术进行详细讲解，同时阐述大数据平台构建、优化、数据分析的方式方法，深入探索成功经典案例。在教学中，应在Hadoop框架核心技术的基础上，向整体生态系统扩展，积极引领学生发挥框架优势，获取一定的技术能力。可以将大数据专业内容划分为三大部分，即Hadoop的发展历史与技术特点、Hadoop宏观架构与应用场景、深入理解Hadoop技术架构的原理细节。

3.3 多元化教学方式方法

首先，将基础理论与工程实践放置在同等位置。大数据分析基础理论具有其自身的独特性，即指导并优化工程实践，从而为实践指明信息资料、方法策略、目标方向等。工程实践应做到与基础理论密切相结合，促使学生以实践总结经验，并从中深入理解和掌握基础理论。其次，采取研究性互动式教学模式。在讲解全新框架的时候，将学生预设成角色，教师则作为设计者、引导者，教师引领学生设计框架功能与结构，并处理核心功能，以此完善设计，有效应对其中出现的各种异常。在自主设计框架设想完成后，与所需学习的框架进行对比分析，突出学生创意，并对其中的不足进行详细分析，以此激发学生的积极性和主动性，培养学生的创新意识与能力。再次，深入Hadoop开源框架内部，分析并解读源码。学习并掌握框架的核心功能，明确框架的运行过程，按照程序逻辑执行过程，利用断点调试形式，逐步跟踪，以此详细了解业务执行的代码逻辑。然后，在不改变源码的同时，进行扩展开发。后续工作中可以基于源码，进行完善与优化，以二次开发。最后，分析企业案例，演练实际工程。培养处理数据，整合数据的能力，熟练应用Hadoop平台技术，分析、处理、预测并优化工作，督促学生积极参加实习，参与到大数据平台构建工作中，从而提高自身的综合素质与能力。

3.4 构建一支完善的师资队伍

充分结合学校与企业的优势，构建师资队伍组合授课模式，教师在擅长的领域进行专业教学。加强校企合作，邀请企业中具有丰富实践经验的数据分析工程技术人员，承担实践教学任务。将工程案例与实践经验引入教学过程中去，需要教师充分理解企业的多元化需求，才能确保教学的针对性，调动学生的积极性，为学生指明方向，以此提高教学效率与质量。在企业邀请员工担任教师，以完善优化师资队伍结构。还可以定期安排专业教师到企业参加实践工作，以锻炼并吸收更多经验，了解市场与企业的大数据最新动态，以便于后续开展教学工作。

3.5 加强实践训练基地的建设

在硬件设施上，大数据分析需要利用分布式计算框架，分派工作任务，这就进一步提高了服务器平台要求。但是，在构建课程时，可以小规模做集群测试运行，搭建集群，构建具有一定保障的实验室高速传输网络。在软件设施上，大数据实践平台应搭建开发和处理大规模数据的Hadoop系统平台，以计算和处理数据，为挖掘、储存、分析大数据奠定坚实的基础。学生也可以设计新算法，开发新应用，以此为做出正确决策提供有效依据。

3.6 多元化课程考核评估制度

为了适应时代變化发展需求，培养高素质、高能力的创新人才，结合大数据分析课程的特性，利用以核心能力考核为基础的方式，强化平时考核所占比重，把考核始终贯穿于整个教学过程中，采取平时成绩、实验成绩、项目成绩、期末考试有机融合的评估方式，其中应将过程考核放在关键环节。完成核心框架实际上就是组织针对此框架应用与编程的演习，据此调动学生的学习兴趣和热情，提高学生的实践能力和创新能力，实现学生的综合发展。

4 结语

总而言之，通过Hadoop框架核心技术，构建高效利用性大数据教学系统集群，将各种高等技术应用到大数据专业日常教学过程中去，不仅可以确保大数据专业教学工作的有序进行，还能够保障大数据教学系统运行的稳定性与可持续性，从而为高校开展大数据实验提供更加完善的基础条件。

参考文献：

[1] 任建新.基于Hadoop平台的大数据应用系统架构的研究与实现[D].北京邮电大学，2014.

[2] 赵亮.基于Hadoop的高校校园大数据系统设计[J].中国管理信息化，2017，20（10）：222-223.

[3] 唐燕，刘仁权，王苹，等.基于Hadoop的高校大数据平台的设计与实现[J].信息技术，2017（12）：105-109.

[4] 王涛，邵国强，邹红，等.“基于Hadoop的大数据分析”课程规划与设计[J].电脑知识与技术，2015，11（7）：190-192.

【通联编辑：张薇】