大数据导论课程教学探索

李秀秀?沈洪锐

摘要：针对大数据导论课程教学中存在的学生专业基础薄弱、课程内容多且结构复杂、传统教学手段教学效果不佳等问题，提出了利用大数据实训平台和工程案例进行实践教学的优势，阐述了课程重点内容的具体教学设计思路。

关键词：大数据导论;大数据实训平台;实践教学

随着大数据时代的到来，大数据技术应用越来越受到各行各业的重视。大数据导论课程的目标和任务是通过课程的学习，使学生了解大数据相关基础知识，熟悉大数据处理的主要环节（数据采集、数据预处理、数据存储和管理、数据分析和数据展现），了解大数据处理各环节涉及的理论知识、技能和相关通用工具。该课程是大数据人才培养方向的学科基础课程，对学生今后专业的深入学习具有基石作用，因而提高这门课程的教学质量、培养学生浓厚的专业兴趣具有重要意义[1]。

1大数据导论课程现阶段存在的问题

1.1学生专业基础薄弱

由于大数据导论课程为专业基础课程，在课程开设时，学生还未学习相关的↓专业课程（如：hadoop技术、大数据采集和可视化、数据库应用、数据挖掘等）。在实际教学中发现，大部分学生对大数据专业认识尚浅，对深入的大数据技术理论知识难以理解。因而如何能在学生专业基础薄弱的学情下，深入浅出地让学生直观感知大数据平台（了解hadoop分布式存储架构及其组件，并能执行相关操作指令），通过案例实践学习大数据分析各环节内容显得十分必要[2]。

1.2课程内容多且结构复杂，传统教学手段教学效果不佳

大数据导论课程内容涉及范围广，体系庞杂。涵盖大数据基础知识、大数据技术处理流程和大数据应用等方面[3]。而大数据技术处理流程这一主要模块又包括数据采集与预处理、数据存储与管理、数据分析与挖掘、数据可视化及数据安全与隐私保护等方面知识，如图1所示。其中每一个处理流程包含各种传统技术和前沿技术等不同模块知识点介绍。以数据采集为例，在渠道来源方面有网页、传感器、数据库等;在数据类型方面有文本、图像、视频等。如果使用python工具包从各源头进行数据获取，方法可多达十几种。

面对课程繁杂的知识内容和知识结构，若采用传统知识传授型的授课方式，由于理论体系复杂，技术内容深奥，学生对课程内容难以消化吸收，授课效果较差，影响学习兴趣。因此，如何能将课程的主要知识架构和重难点知识在有限的课堂时间内尽可能直观、生動地让学生理解，引起学生对专业学习的浓厚兴趣，是大数据导论课程亟待解决的一个难题。

2.大数据实训平台和工程案例在大数据导论实践教学中的应用

2.1大数据实训平台的应用

大数据处理平台架构是大数据导论的重点模块内容，是大规模数据处理的基础架构。以开源大数据分布式存储和处理框架hadoop为例[3]，hadoop生态系统（如图2所示）核心是分布式文件系统HDFS、分布式计算框架MapReduce，其他组件有数据采集系统Sqoop和Flume、分布式数据库Hbase、数据仓库工具hive等。

对此模块进行实践教学时存在两大难题：一是学生缺乏搭建大数据分布式架构所需的软件基础知识（如Linux基础、java基础和数据库语言sql基础）;二是学生使用单机进行大数据虚拟平台搭建存在对硬件要求高、软件安装繁琐的问题。大数据虚拟实训平台以大数据分布式存储系统HDFS为基础，根据不同的实践内容安装相应的组件，既能让学生免去繁琐的基础架构搭建和组件安装，又能通过终端指令界面直观地进行Hdfs的文件操作、MapReduce分词计算、Hive数据库表格处理等实践内容，能较好地解决大数据架构模块实践教学难的问题[4]。大数据实训平台具体设计模块如表1所示。

2.2工程案例的应用

大数据导论课程另一重点内容是大数据处理的一般过程（数据采集、数据清洗和预处理、数据存储、数据分析和挖掘、数据可视化）相关的基本理论和技术。

根据理论课程教学进度（每个处理过程分章节讲解），选择不同类型的数据（如：结构化表格、网页文本、图形等），设计实践案例，要求学生在实际业务数据集上运用所学知识解决实际问题，提高学生的动手能力和学习兴趣。本模块的学习可由浅入深，分别采用描述性分析案例和数据挖掘案例进行实践教学。描述性分析案例实践重点培养学生数据清洗和预处理、数据统计结果获取和结果展现的能力;数据挖掘案例实践重点培养学生对数据宽表进行特征提取、建模和分析预测的能力[5]。

描述性分析案例具体设计思路：为了让学生初步认识数据结构，能够跟着老师的讲解，通过数据理解、数据预处理和数据分析，一步一步解决实际业务问题。笔者根据教学进度，设计难易适中的业务数据集和描述性分析任务，让学生体验通过用python编程，处理繁杂数据获取信息的乐趣。

数据挖掘案例具体设计思路：数据挖掘案例涉及数据特征提取、建模和模型评估等环节，涉及算法知识，流程较为复杂;针对学生基础薄弱的实情，此部分内容重在让学生直观了解数据挖掘流程，为后续数据建模、数据挖掘课程学习打下基础。结合学校已有实训平台资源。笔者主要采取用python工具进行数据挖掘案例演示或学生登录实训平台，用已有案例进行数据挖掘流程操作。

3结束语

大数据导论课程既是一门基础性课程也是一门综合课程，相对于其他专业课程而言，本课程教学内容的综合性和复杂性特征更加突出。通过对大数据导论课程设计实践教学模块，我们发现，学生积极性大幅提升，课前能够积极预习，课堂踊跃回答老师提问，课堂学习氛围浓厚。课下，学生也能积极对课程相关专业知识进行扩展学习，极大地提高了学生学习的自主性和创造性，为后续专业课程的学习打下了良好的基础。

参考文献：

[1]张祖平.新工科背景下大数据专业导论课程的改革与探索[J].大数据，2018，4（06）：38-45.

[2]唐国明，雷军，赵翔，唐九阳，郭得科.基于教育云平台的数据科学导论翻转课堂设计[J].计算机教育，2019（08）：18-22.

[3]张尧学.大数据导论[M].北京：机械工业出版社，2018.8

[4]覃雄派，陈跃国，李翠平，柴云鹏，徐君，文继荣，杜小勇.“数据科学”课程群与“数据科学导论”课程建设初探[J].大数据，2018，4（06）：19-28.

[5]肖雄，韦茜妤，王萌.“新工科”背景下“数据科学导论”课程教学研究[J].工业和信息化教育，2020（03）：54-59.

[6]周苏，王文.大数据导论[M].北京：清华大学出版社，2016.

资助项目：

2019年省本科高校质量工程建设项目——《电子信息工程》特色专业（项目序号：69）;

全国教育信息技术研究课题（编号：176140036）。