高职院校大数据平台运维实践教学研究与探索

夏吉安，林晓军，胡光永，余侠芸，刘向东

（1.南京工业职业技术大学 计算机与软件学院，江苏南京 210023；2.浙江华为通信技术有限公司，浙江杭州 310051；3.深圳市商汤科技有限公司，广东深圳 518000）

随着数据科学和云计算等信息科学的快速发展，我国大数据学科和相关产业也得到了迅猛发展。国际数据公司（IDC）2021年8月发布的《IDC全球大数据支出指南》，预测全球大数据市场在2025年将超过3 500亿美元，并且在未来5年将实现约12.8%的复合增长率。我国“十四五”规划提出“实施国家大数据战略”，加速推动数字产业化，推进产业数字化转型，这为大数据产业发展提供了巨大机遇。

2016年，教育部发布了普通高等学校高等职业教育（专科）专业目录，其中增补了大数据技术与应用专科专业[1]。2019年，教育部在深入推进新工科建设中指出高校应根据产业与经济发展需求，加大对大数据相关人才的培养[2-3]。目前，全国共有474所高校开设了数据科学和大数据相关专业[4]。

高职院校学生的培养目标定位于技能型大数据人才。与研究型和应用型大学相比，高职院校需要结合当地产业经济的发展和企业的实际需求进行大数据人才培养[5-6]，培养具有较强实践操作能力的专业技能型建设人才，能够有效满足企业一线岗位需求，能够对大数据行业领域发展产生直接影响[7-9]。目前，大数据相关技术已在我国数字产业经济中得到广泛应用与发展，现在已经被应用于电力系统[10]、轨道交通[11]、油田保护[12]以及风力发电[13]等诸多相关行业。随着我国大数据相关产业的快速发展，企业单位对大数据运维的人才需求也在持续增加。

1 大数据运维实训课程

1.1 教学目标

大数据运维是大数据技术与应用专业的重要专业方向，针对目前大数据专业教学中存在的问题，结合校企合作项目，构建大数据运维综合实训的教学体系结构。通过分析目前大数据产业的发展趋势，结合企业的实际需求，建立适合职业院校的大数据运维实践实训课程，同时在实训课程中设计在线实验平台和在线开放实验项目。最后在实践教学中注重培养学生的团队配合意识、交流沟通以及语言表达能力。

目前IT行业使用的主流大数据技术包括以Hadoop为主的大数据生态圈，主要包括Hadoop、Hbase、Hive、Spark、Redis等组件。大数据运维实训课程目标是使学生熟悉大数据运维以及Linux操作系统的基本操作；掌握大数据生态圈各个组件设计思想和使用方法，使得学生通过理解大数据组件的底层架构，学会使用大数据运维工具和组件的常用命令、配置方法、参数调优以及常见问题的处理方法。同时学会使用主流大数据运维工具Prometheus、Granfa的配置与使用方法，构建完整的大数据运维架构，并通过大数据平台框架培养学生的大数据运维实际应用能力和创新实践能力。

1.2 大数据运维实训教学设计

大数据运维实训的教学内容包括大数据平台的搭建，大数据生态圈的相关知识以及大数据运维创新实训实践（如图1所示）。综合实训课程通过虚拟机构建大数据物理平台，使用Linux操作系统，Hadoop作为大数据平台运行框架，通过大数据运维工具Prometheus、Grafana、HBase以及相关组件，构建一个完整的大数据监控维护系统平台，并在此平台上进行大数据运维的实训实践教学。此外，在实训内容之外，设置扩展性实验，通过使用Nginx和Logstash组件，进一步完善大数据平台运维工作，扩展学生的大数据运维实际应用和创新实践能力。

图1 大数据运维综合实训思维导图

2 大数据运维课程设计

2.1 大数据实验平台搭建

VMWare10.0虚拟机搭建大数据平台，在大数据平台中设计三个计算节点。其中一个节点作为Master（主）节点，其余2个节点作为Slave节点（从）节点，如图2所示。其中Master节点作为命名节点(NameNode)，管理大数据平台的命名空间和进行作业调度，2个Slave节点作为数据节点（DataNode），进行数据存储和数据计算。大数据平台的平台操作系统采用基于Linux的CentOS7。

图2 大数据平台结构

通过搭建基于VMWare10.0虚拟机的大数据平台，使学生理解大数据平台的基础架构，掌握Linux操作系统的基本操作，提高大数据平台构建的基本技能。

2.2 Hadoop平台教学实践

Hadoop是目前行业主流的大数据平台，是大数据生态圈中的核心框架，涉及大数据采集、处理、分析和存储等多方面的内容，特别是在大数据领域的交叉学科中有广泛应用。大数据框架实践教学以校企合作项目作为载体，充分对接企业对大数据应用人才的实际需求，培养具有扎实基础、高综合实践素养的创新型、应用型人才。

2.3 分布式数据库教学实践

在大数据生态圈中，对分布式数据库的理解和应用是十分重要的环节。HBase（Hadoop Database）是目前广泛使用的分布式数据库系统，Hive是分布式数据处理与计算框架，两者构成了大数据生态圈数据层面的处理框架。通过大数据平台框架，将分布式数据库相关知识进行融合和应用，根据企业实际的生产场景，构建分布式数据库，并在此基础上进行大数据平台的具体应用和创新实验，HBase相关配置如表1所示。

表1 HBase 节点信息

2.4 Prometheus教学实践

通过使用Prometheus，对于搭建的大数据平台进行监控，针对大数据平台的数据进行采集、分析与处理，使学生掌握大数据运维基本知识与技能。在综合实训中，根据不同学生的学习基础，指导教师设计不同的实训内容与方案，根据实际的项目需求进行教学内容的设计，充分调动每名学生的学习积极性和实际项目的参与度。Prometheus的大数据平台信息相关配置信息如图3所示。

图3 基于Prometheus的大数据平台信息

2.5 Grafana教学实践

通过大数据运维教学采集的大数据平台数据，使用数据视觉技术进行数据展示，使用数据分析工具进行数据挖掘和数据分析，发现其中未知和异常的数据信息，使学生掌握大数据平台数据可视化的基本原理与方法。同时，进一步采用自动化监控方式，并通过图形化界面展示数据分析结果。

对于Prometheus框架获取的大数据平台运行状态和基础数据，使用Grafana进行图形化的展示。通过使用安装与配置Grafana进行数据显示，使学生掌握大数据平台数据可视化的基本原理与方法。通过将Grafana和Prometheus关联，安装配置Zabbix控件，提供基于WEB界面的可视化服务。在Grafana中添加数据源，采用自动化监控方式，通过3000端口接收大数据平台监控数据，并通过图形化界面进行展示，如图4、图5所示。

图4 大数据运维平台实时运行图-1

图5 大数据运维平台实时运行图-2

2.6 扩展性实验教学

针对对于大数据运维感兴趣以及学有余力的学生，设计大数据运维扩展性实验。进一步使用Nginx、Logstash等工具对大数据平台进行监控与维护。配置部署Nginx，构建WEB服务器，监控大数据平台的服务请求，实现平台网络负载均衡。使用Logstash进行大数据平台日志信息的获取，并将收集的日志信息存储到大数据平台的HBase数据库中。通过扩展性实验，满足不同学生对实践教学的需求，进一步提高大数据专业学生的学习兴趣。

3 在线实验平台与开放实验设计

3.1 在线实验平台

大数据运维涉及大数据生态圈中各个领域的知识。在理论教学中，学生无法深入理解和了解大数据学科专业知识和目前的大数据产业发展趋势及需求，尤其是大数据学科交叉的相关知识，需要较多的知识理解与积累。因此在实训教学中，设计实验实训预习在线平台，通过线上教学视频、分解实验案例、实操手册和大数据相关参考文献，引导学生通过线上与线下结合的方式，了解大数据行业的相关知识与发展趋势，激发学生的学习兴趣和创新意识。

3.2 开放实验设计

对于大数据运维实训内容平台设计、大数据生态圈配置与数据可视化等多个方面的内容，每个部分可以采用不同的策略与方法进行设计与实现。在实训教学中，教师对每个方面的内容，设计多种实验方案供学生选择，学生可以根据自己理解与兴趣，选择相应的设计方案进行改进完善。对于选择相同设计方案的学生，指导教师通过设计团队成员的工作任务，分配相应的实训任务，以此发挥各个学生的特长，增强学生团队协作能力。

4 课程考核

在大数据平台运维综合实训考核方式上，首先要反映学生对大数据运维相关理论知识与操作技能的掌握程度，同时需要培养学生语言表达能力与交流的能力，培养适应社会需求的高技术水平大数据人才[14]。在具体的实践教学中，将学生分为若干项目小组，各小组组成项目团队，实验项目由整个团队统一完成。在课程考核中，选用答辩式考核方式。团队小组除了完成实训内容，提交实验报告外，项目组成员还要参加答辩，由组长负责组答辩，对实训项目的设计、规划、成员职责进行叙述，再由各个成员叙述各自完成的部分，同时重点考查各个成员对大数据运维实训中存在的问题以及如何解决等方面的思考。通过这样的方式，可以更加有效地反映出学生在实训课程中对知识技能的掌握情况，也能更好地培养学生的交流与表达的能力。

5 结语

本文面向高职院校大数据专业学生的实践教学内容，设计了大数据平台运维综合实训课程。课程内容包括大数据平台搭建，分布式数据库部署，大数据运维工具的相关安装、部署、运行和调试。通过对大数据生态圈框架的使用，培养大数据专业学生的基本操作技能，使用大数据运维工具进行配置、部署、调试，加强学生对大数据平台运维操作技能的培养。在实训课程中，学生以小组为单位进行任务分配、团队交流完成实训课程内容。通过课程答辩的方式考查学生对基础知识和操作技能的掌握情况。

此外，针对学有余力的学生设计扩展性实验，进一步加强学生对大数据运维相关知识与技能的掌握，使学生对大数据相关知识与技术有更加深入的理解与认识。通过对大数据运维综合实训教学内容和授课方式的不断改进与完善，使得实训课程更加符合职业院校大数据技能型人才培养的目标。