高职大数据专业实训云平台建设研究与实践

陆赟

关键词：大数据专业；实训云平台；实训课程

0 引言

随着新一代信息技术的快速发展及国家数字中国建设需要，行业企业对大数据人才需求急速增长，目前有800多所高职院校都开设了大数据技术专业，但是学校在实施大数据专业教学过程中遇到了很多问题。例如，高校存在教材和配套资源短缺的问题，还面临师资无法满足授课需求、学校实验设备无法跟上技术迭代的困境[1]。另一方面学校缺少来自一线企业的综合实训项目，导致培养的人才与企业需求存在偏差。针对这些问题，建设大数据专业实训云平台，为大数据专业打造专业的实验实训环境成为当前迫切需求。

1 建设背景

近年来，国家的大力推动和各行各业对大数据人才的需求都对高校大数据人才培养提出了新的要求。

1.1 大数据政策背景

2017年1月，工业和信息化部确定了“十三五”期间中国大数据行业的发展规划方向、政策与标准，将引领中国大数据行业的科学发展，并强力推进制造业强国与互联网强国的建设。

2018年9月，中国工信部发布“2018年大数据产业发展试点示范项目名单”，共发布了涉及大数据分析存储处理、大数据分析信息挖掘等的十个领域，近二百个国家重点建设项目。

当前，大数据分析领域已成为以采集、存储、处理、挖掘、分析等活动为主的中国重要新兴产业，并成了促进中国经济开展质量革命、效益革新、经济动力转型的关键动力。中共中央、国务院一直以来高度重视大数据事业建设，并积极推进落实国家大数据战略。

“十四五”规划强调要积极推动大数据、人工智能、区块链等新兴产业发展，打造具有国际竞争力的数字产业集群。

可见大数据的重要性越来越受到重视。大数据技术将海量数据处理变为可能，并且大幅降低了成本，使得越来越多跨专业学科的人投入大数据的开发应用中。

1.2 大数据行业需求

新一代信息技术的快速发展引发数据迅猛增长，如何从海量数据集中获取有商业价值的数据成为各行各业追求的目标。企业对大数据人才的需求也越来越大，需求的岗位主要包括大数据开发工程师、分析师、运维工程师等，而且岗位对大数据技术的实践能力要求很高，比如熟悉Hadoop或Spark生态相关技术，包括MapReduce、HBase、HDFS、Hive、Spark、Storm 等，而且能够在Linux环境下进行安装部署运行维护等。人才是驱动数字经济发展的第一资源，也是驱动大数据产业演进发展的第一资源。在数字经济发展高歌猛进阶段，以大数据技术人才为代表的信息化人才培养数量和质量严重滞后于产业发展。

1.3 高职大数据专业发展现状

我国职业院校承担培养高素质技术技能人才，为了响应国家大数据发展战略，满足行业企业对大数据人才的需求，从大数据专业人才培养角度来看，大数据专业弥补了传统的信息技术专业诸多的缺憾，但是该专业对高校的教学提出了更高的要求[2]。在实验设备及技术更新上增加了巨大的困难，其原因主要在于：

1） 大数据技术发展迅猛，日新月异，而高职院校老师的技术和知识更新跟不上大数据技术的发展，导致部分学校的教学内容和知识传授面都十分有限和滞后。

2） 數据源的缺乏，大数据技术其核心就是对数据的处理和分析，从数据中挖掘出其潜在的价值的，学生要掌握这套技术是需要大量的项目实践，这需要大量的案例数据源，而部分学校是严重滞后甚至没有的。

3） 由于校内实验实训条件和教师项目经验的缺乏，只能进行一些模拟训练或者短时间的基础技能训练，不能满足大数据行业发展对应用型人才需求的要求。

4） 高校在开设云计算、大数据专业课程的时候往往缺乏教学实训的实验平台，并且缺乏教学实训方案[3]。

新疆农业职业技术学院于2018年招收第一批大数据技术与应用专业的学生，到目前为止已招收5届大数据专业学生。大数据技术专业开设的专业课程有Hadoop集群部署、Spark开发、Python数据分析等课程，其中Hadoop 和Spark 课程对实训环境要求比较高，机房的电脑配置相对比较低，在集群部署阶段只能分组完成任务，学生个人无法独自完成实验，技能提升相对缓慢，而且缺乏很多实际项目应用的实训课程资源及教学实训方案等，导致培养出的大数据人才和企业需求的人才有一定的差距。

2 平台设计

人才培养以提高师生学习能力、教学能力、实践操作能力为目标，需要在原有的大数据技术与应用基础上，把大数据企业产品技术标准、岗位操作流程等融入专业人才培养方案中，以实现学生和用人岗位之间的无缝对接，以适应大数据行业技术进步和社会经济发展方式转变后，对人才培养的新要求。因此，大数据实训平台应该是以大数据应用与技术专业的课程为基础、以锻炼学生大数据岗位技能为目的而建立的。在构建过程中，学校可以利用大数据对于信息搜集与处理能力强的优势，为学生提供个性化的专业实训知识，同时为他们理论知识的应用提供实践平台[4]。在应用实践中，高职专业学生能够掌握核心课程的基础知识，并利用项目任务的方法来提高对知识点的掌握，最后也能够把基础知识运用在实践练习之中。所以在设计的阶段，需要运用新的大数据分析框架和技术，根据新疆农业职业技术学院信息技术分院学生知识的认知特性，为学生的实训课程创造条件。

2.1 平台需求目标

通过深入调研开设大数据技术专业的高职院校，了解大数据实训平台的建设现状。大数据实训云平台需要基于云搭建。目前云平台以其扩展性、按需弹性、运营成本低等优势逐渐地被企业所采用。学生要做实验同样可以采用云平台，来部署ICT大数据教学平台，上线相关技术领域的实验。学生需要一台电脑和网线就可以联入进行实验，可以省去大量底层软件安装和环境搭建。在教学模式上，可以采取以项目式教学或者以实训为主理论和实践相结合的教学模式，采用分阶段、分进程的模式教学。学生通过完成实验任务来获得大数据的相关知识和技能，同时获得职业能力，提高人才的培养质量。

2.2 平台功能简述

实训平台围绕工科学生工程实践能力培养为目标，根据我国工科学生工程实践能力的现状与问题，结合学校开设的应用课程，建立集实训、教学、考试、就业、评价等功能为一体的综合型平台，将制作出来的基于实际项目应用的实训课程资源移植到平台上供学生实验。

大数据实训云平台总体目标是建设成为以学校大数据课程资源为中心、面向教学与科研的计算、管理、服务平台。具体包括：三个面向：学生、教师、管理人员[5]。两个兼顾：教学与科研。一个全覆盖：学生从入学到毕业的过程记录与监管，专业所有的教学资源、实践资源与研究资源。立体型：支持新媒体教材的资源管理与服务，能做到五个结合：线上线下相结合、纸质与电子相结合、文本与媒体相结合、演示验证及设计分析相结合、引导与探究相结合。

从软件设计上来看，大数据实训云平台需要包含大数据实训课程资源、教学管理、云平台管理模块。功能模块图如图1。

1） 实训课程资源

将大数据内容按照不同类型的知识模块可以分成两类，分别为大数据基础课程体系、大数据进阶课程体系。大数据基础课程体系，主要包括：Linux系统、Python基础、Java编程、数据库基础等课程;大数据进阶体系，主要包括：Hadoop集群部署、Spark开发、数据分析、数据可视化、项目实训案例课程等。

每个课程体系都考核了学生多方面知识领域的全面学习，与现在教育方式一致，仍然保留传统教学方式。除此以外，教师还可定制实验内容及实验镜像，将文本类、实操类、视频等课程资源上传到教学平台，供学生们学习。

项目实训案例课程可以完全还原项目的实际工作完成流程，将与大数据分析相关的技术理论知识点和具体的项目实践过程相结合，让学生体会感受到各个知识点在具体项目中的有效运用。其实现过程就是将企业大项目分解成若干个实验小任务，不同任务间需要共用一个实验系统，从而整个项目的连贯性和真实性。每个实验小任务都会提供整套的实验环境，当用户切换实验时，对应的实验环境不变，到下一个实验会继续使用上一实验的环境，最终完成该项目。具体项目案例可以包括大数据集群部署项目、手机流程统计、天气数据分析等。

2） 教学管理

教学管理模块主要包括课程管理、班级管理、考试管理、线上答疑、实验报告等。

①课程管理

在课程管理页面下，可以选择需要授课的大数据实训资源课程，查看已经选择的实训课程，同时可以在线创建新的课程、修改原有课程、添加课程视频、管理视频等，以及上传新的课件或删除已上传的课件。

②班级管理

每个课程可以有多个班级上课，在班级管理页面下，可以对多个班级进行管理，可以查看班级、学生数量等信息，同时也可以面向不同的班级在线进行布置实训任务、管理学生、管理考试等操作。

③考试管理

在考试管理页面下，可以在线创建考试，考题主要就是课程中的实训任务，不同实训任务设置不同的分值，并定义考试的相关考试信息，包括：考试开始日期、考试时长、考试的班级、考核通过分数等，也可以查看学生的考试答题情况并导出成绩。

④线上答疑

系统具备实时的在线答疑能力，包括系统智能答疑和教师在线解答两种模式，方便用户简单、快速的获取信息。

⑤实验报告

系统自动为用户生成可下载的实验报告，内容包括实验完成结果分析、实验过程日志、关键步骤的截图、实验结果分析等。

3） 云平台管理

云平台管理模块包含用户管理、资源管理、权限管理等。

①用户管理

管理员可对平台中的用户信息进行新增、修改与删除，根据条件对已有用户进行查询，可以增加新的角色并赋予角色相应的权限，可以根据层级新增组织、学院、系别、专业、班级等。

②资源管理

管理员或者教师可以在后台资源监控中心可查看平台的用户数量、实验数量、用户分布、活跃用户等数据，通过查看实时的CPU、内存、硬盘、实例的使用情况来时刻关注学生实验的状态，从而提高了教师的教学质量和效率。

③权限管理

大数据实训云平台根据用户的角色不同，可以将用户分为管理员、教师和学生，三种角色拥有不同的权限。权限管理主要是针对不同的角色，选择所拥有的功能权限。

2.3 平台应用

大数据实训云平台的管理员、教师、学生拥有不同的功能权限，共同完成大数据专业课程的教学实战。

1） 管理员用户权限

管理员可以登录大数据实训平台的统一管理后台，可进行大数据实训课程资源管理、实验报告设置、用户管理、权限管理、安全设置等操作。

2） 教师用户权限

教师用户可以在教学管理模块进行课程管理、班级管理、考试管理、在线答疑、查询学生实验报告等。

3） 学生用户权限

学生可以进入教学管理模块的课程管理页面，选择需要学习的课程，点击实验任务进行学习和操作，每个实验页面按照操作和指导文本分为两部分内容，左边为课程内容模板，右边为实验集群页面。学生还可以进入项目实战课程进行项目实战。

大数据教学实战的流程一般是选择创建环境、实验操作、提交报告、教师评分。首先是学生在教师的授课课程中打开对应实验任务，学生开启实验后系统自动创建所需实验环境。其次学生参照实验手册完成实验，并记录实验流程，生成实验报告。然后学生提交报告，教师可根据实验报告提交情况，管理掌控实验进度。最后教师根据学生实验报告内容的正确性、完整性和及时性打分。实战流程如图2 所示。

2.4 平台部署模式

大数据实训云平台支持用公有云、私有云及混合云部署模式，学生、教师、管理员等所有相关用户通过能够连接互联网的终端就可以访问实验平台，能够做到随时随地学习，极大地降低了本地化运维成本。

2.5 平台物理承载环境需求

大数据实训云平台需要本地物理空间支持，物理空间需要满足综合布线、教学需求和终端机、网络联机等基础设施部署。在教学规划中，实训类课程是专业建设的重点内容。针对本次项目，大数据实训室应规划能够满足50人的使用规模，从空间设计到平台、实训环境部署都将以此学生人数为标准进行规划，提供相匹配的实践环境建设的解决方案。因此，建议学院的实训云物理承載环境要求如表1：

大数据实训室采用传统的计算机教室布局方法，此种方法可最大程度节省空间面积，满足一个班50人同时进行实训要求。

3 结束语

大数据实训云平台的设计贯彻“产、学、研、用”一体化的思想。采用虚拟化技术和大数据管理的架构，通过构建教学系统和集群网络，把大数据管理的技术应用到企业真实项目中，将理论、实验教学与大数据项目实战结合，通过由浅入深，循序渐进，逐步提高学生的专业知识与项目实战水平，使学生的能力与企业人才需求无缝连接，从而缓解企业大数据管理人才培养不足现象。同时，借助强大的技术体系、数据挖掘系统，匹配教师的科研需求，从而增强老师的科研能力。