Hadoop大数据技术课程实践教学解决方案探索

摘要：详细介绍了Hadoop大数据技术课程的实践教学解决方案，包括课程简介、实践教学内容规划、实践教学平台选择、实践教学方法与手段以及实践报告的规范。强调了理论与实践并重，规划了涵盖验证性、综合性、设计性和创新性实验的16个实验项目，提出了五种实践教学平台选择方案，并介绍了多种有效的教学方法。同时，提出了撰写实践报告的规范要求。这些解决方案的探索旨在提高Hadoop大数据技术课程的教学质量，培养具备实战能力的大数据人才。

关键词：Hadoop；大数据技术；实践教学

一、前言

近几年，因大数据和人工智能技术在社会的广泛应用，很多高校相继开设了Hadoop大数据技术课程。Hadoop大数据技术是数据科学、大数据等专业本科生的一门专业核心课，Hadoop 是当前热门的大数据处理与分析平台。通过Hadoop相关课程的学习，学生能够比较系统地掌握大数据应用的框架，包括Hadoop的基础组件、原理架构和使用方法，并初步具备大数据应用的开发和能力，为从事大数据处理、应用、开发奠定基础。

目前，Hadoop大数据技术的课程建设资源还是较少。一方面是因为大数据相关专业是新兴的专业，建设时间较短，相关的课程资源不多；另一方面更重要的原因是该课程需要搭建大量实践环境。因此，Hadoop大数据技术除了考虑实践课程的内容外，实践环境或平台的建设、实践教学方法与手段，以及实践报告的规范都是要考虑的问题。在该课程多年的教学基础上，本文对课程的实践教学解决方案进行了探索，包括实践内容的规划、实践教学平台的选择、实践教学的方法与手段，以及实践报告的规范等。

二、课程简介

Hadoop课程是大数据相关专业，如数据科学与大数据技术、大数据技术与应用、大数据与信息工程等的专业核心课。课程名称较多，如Hadoop大数据技术、Hadoop系统搭建与项目实践、Hadoop大数据技术与应用等。其前导课程包括大数据导论、Java面向对象编程语言、数据库原理与应用和Linux操作系统等。该课程涉及理论部分和实践部分，一般为64学时，理论与实践教学各32学时。

三、实践教学内容规划

Hadoop课程的内容大多围绕其生态圈构建，Hadoop生态圈组件众多，常见的包括HDFS、Yarn、MapReduce、HBase、Hive、Pig，Flume、ZooKeeper、Ambari和Mahout等[1-2]，如图1所示。

在多年的实践教学中，作者基于教材《Hadoop大数据技术与应用》（浙江科学技术出版社）[3]，对Hadoop生态圈的各组件进行了实践教学内容规划，将32学时的实践分为16次课（每次课2学时），每次课安排一个实验，包括验证性实验10个、综合性实验1个、设计性实验4个、创新型实验1个，见表1。其中，实验类型的验、综、设、创分别表示验证性、综合性、设计性和创新性实验。

四、实践教学平台的选择

Hadoop课程在许多高等院校的计算机和大数据相关专业普遍开设，但由于Hadoop实践课程对设备的依赖性较高，部分院校在教学平台上的建设满足不了该课程的需求。因此，学生的实践教学平台选择决定了教学的质量，教学平台的选择显得十分重要。根据近几年的教学经验，可以通过以下几种方式构建教学实践平台。

（一）教师学生自行搭建

教师课前在教学电脑上搭建好环境，把搭建的方法传授给学生，学生在个人电脑上完成实验环境的搭建，并在此环境下完成课程实验。

该方式对教师和学生的要求较高，工作量较大。要求授课教师对搭建各种环境十分熟练，能及时解决学生遇到的各种问题，同时对学生个人电脑硬件（CPU、内存和硬盘等）有一定的要求。学生通过该方式完成实验后，能扎实掌握Hadoop相关内容，但也存在实验环境搭建不成功的个例，适合动手能力较强的学生。

（二）实验室统一搭建

实验室统一搭建Hadoop环境，并在Hadoop环境上分别搭建其他实验环境供学生实验课使用，学生不必为搭建实验环境操心，可以专心完成每部分的实验内容。

该方式需要实验室搭建多个实验环境，对实验室工作人员要求较高，不利于多个连续或关联性的实验，适合动手能力较弱的学生。

（三）校企合作共建实验平台

部分高校与企业合作，充分利用企业现有的资源与实践平台，如与中科曙光瑞冀教育中心以校企合作方式共建专业，并利用企业的人才、技术和数据等资源进行教学。该平台以集群作为基础，以私有云的方式搭建名为LSN的课程管理系统，该系统提供了完成的Hadoop课程全部实验环境，课程界面与实验平台如图2和图3所示。

该方式利用与企业共建的实验平台，学生能在宿舍或实验室登录到LSN系统，利用干净的实验环境重复实验，大大提高教学质量。该方式能发挥行业办学优势，加快培养符合大数据行业发展所需的技术人才。

（四）利用现有的教学实践平台

利用现有的教学实践平台，如头歌实践教学平台或中国大学MOOC等，找到相关课程进行实践教学，如图4和图5所示。

该方式比较容易实现，学生不受环境限制，但部分平台可能会有一些要求，如收取一定费用。

（五）多种平台相互结合

综合利用以上平台进行实践，如个别实验对环境要求较高，或个人电脑上搭建不成功时，可利用其他平台进行补充实践，其优点是充分利用学生和平台的特点，因材施教。

五、实践教学的方法与手段

Hadoop大数据技术的实践教学是培养学生掌握大数据处理能力的重要环节，通过多年教学的总结，以下是一些可行的实践教学方法与手段。

（一）理论学习与讲解

学生需要掌握大数据的基本概念、Hadoop生态系统组成、HDFS、MapReduce、YARN等基础知识，通过讲解经典的Hadoop应用案例，有助于学生理解Hadoop在实际场景中的应用。理论学习与讲解作为学生入门环节的教学手段必不可少，有助于学生理解掌握课程的全貌。

（二）实验室教学

通过让学生搭建Hadoop集群环境，可以是物理服务器或虚拟化环境，让学生熟悉Hadoop的安装和配置。在此基础之上，学生在自己搭建的环境下进行文件操作、WordCount等基础实验，让学生熟悉Hadoop的操作流程。

（三）项目驱动学习

可将学生分组，每组完成一个基于Hadoop的大数据分析项目，如日志分析、数据查询等。然后以项目的方式进行实施，让学生体验项目开发从需求分析、设计、实现到测试的全过程生命周期。

（四）互动式教学

鼓励学生在课堂上提问和讨论，通过互动深化对知识的理解。采用翻转课堂或在线开发课堂，让学生在课前学习理论知识，课堂上或以在线方式进行问题讨论和实验操作。

（五）实践考核

要求学生撰写实验报告，总结实验过程和结果。项目完成后，进行项目答辩，检验学生的学习成果，该方法作为课程实验报告或课程大作业均有效。

（六）企业实战

引入企业的真实数据案例，让学生在模拟的企业环境中进行数据分析。邀请企业中的大数据工程师作为导师，指导学生的实践学习，该方法在部分院校中取得较好的效果。

（七）在线学习资源

利用在线课程资源进行Hadoop相关课程的学习，作为课程辅助学习手段。鼓励学生参与Hadoop相关的技术论坛和社区，如Apache Hadoop官网、CSDN论坛等。

六、实践报告的规范

Hadoop大数据技术实践报告是学生在完成Hadoop相关实验或项目后撰写的文档，用于记录实践过程、分析问题、总结经验和展示成果。一般包括以下几方面：

第一，封面。一般含有：实验题目、学生姓名、学号、指导教师姓名、实践日期和提交日期等信息。

第二，实践环境。包括硬件环境（服务器或虚拟机配置）和软件环境（操作系统、Hadoop版本、其他相关软件），一般由教师提前完成填写。

第三，实践内容、实验目的和实验步骤。可由老师撰写，也可由学生根据理解填写。

第四，实验结果。由学生撰写。

第五，结果分析、讨论及总结。对实践过程中获得的数据进行分析，对实践成果进行评价，对遇到的问题深入讨论，进行总结。

实践报告的撰写还需统一格式，如字体、字号、段落、间隔、图表、代码长度等。遵循以上规范，可以撰写出一份结构清晰、内容完整、格式统一的Hadoop大数据技术实践报告。

七、结语

本文通过多年的教学经验，就Hadoop大数据技术课程实践教学的解决方案进行了探讨，包括Hadoop大数据技术的课程简介、实践教学内容的规划、实践教学平台的选择、实践教学的方法与手段，以及实践报告的规范等，希望对Hadoop大数据技术相关课程的任课教师有参考或借鉴作用。

参考文献

[1]Tom White.Hadoop权威指南：大数据的存储与分析（第四版）[M].北京：清华大学出版社，2017.

[2]许桂秋，孙海民，胡贵恒.大数据处理技术基础与应用（Hadoop+Spark）[M].北京：人民邮电出版社，2024.

[3]方曙东，许桂秋.大数据技术与应用[M].杭州：浙江科学技术出版社，2020.

基金项目：广东省本科高校在线开放课程项目“在线开放课程驱动高校混合教学变革研究——《Hadoop大数据技术》在线开放课程的建设”（项目编号：2022ZXKC593）

作者单位：广州城市理工学院计算机工程学院

责任编辑：王颖振 杨惠娟