大数据技术与应用课程的内容与教学方法研究

刘广钟等

摘要：大数据作为时下热词，是目前技术发展和应用的热点。大数据技术与应用是计算机及相关专业的重要课程。本文结合当前大数据技术发展的趋势，分析该课程教学中存在的问题，并针对这些问题提出解决方案，进而提高教学质量。

关键词：大数据；Hadoop；云计算；课程建设

中图分类号：G642 文献标识码：A 论文编号：1674-2117（2015）10-0120-02

前言

“大数据”时代是由于互联网使用者人数和广泛的数据密集型应用程序暴涨而产生的。在过去的五年时间里，全球IP流量增加了8倍，预计到2016年底，全球每年的IP流量将超过1.3泽字节。[1]因此，社会对具有大数据管理和分析能力的人才需求大幅增长。目前很多高校有关大数据的课程已经开始出现[2]，以笔者所在的上海海事大学为例，学校已将该门课程列入到2013级学生的教学计划中。

存在的问题

第一，理论教学和实验教学内容亟待优化。大数据分析需要以云计算平台作为支撑，但锻炼学生实践能力的实验往往因实验条件、实验设备不够而较少涉及。[3]

第二，在教学中缺乏真实平台的构建，学生难以对所学的理论知识形成良好的理解，也缺乏真实编程的平台。

第三，教学中，不注重理论和实验相结合。单纯进行理论教学或实验教学，教学内容和方式死板教条。

第四，考核方法和评价机制不科学。使用单纯的书面闭卷考试，对基础理论、基础实验、设计实验没采用不同的考核方式进行考核。

解决措施

1.搭建大数据实验教学平台

在教学过程中，通过引入虚拟化技术克服实验设备硬件要求限制，搭建大数据实验教学平台，在Hadoop平台上完成MapReduce编程模型的开发与应用，建立相关虚拟环境，为学生用户提供随时访问、使用平台处理数据的机会。笔者使用Oracle VM VirtualBox[4]来搭建虚拟机环境，下载安装VirtualBox。

2.搭建虚拟化的Hadoop环境

在VirtualBox上安装centos 6.5操作系统，开始搭建虚拟化的Hadoop环境。Hadoop作为一个开源的软件平台使得编写和运行用于处理海量数据的应用程序更加容易。[5]Hadoop是MapReduce的实现，它使用了Hadoop分布式文件系统。完成后，使用命令hadoop namenode–format来格式化HDFS文件系统。启动Hadoop后，在master和slave上分别运行JPS查看当前运行的进程。至此，Hadoop平台搭建完成。把海量数据存储在HDFS上之后，将数据在集群中分而存储，然后集群的各个节点在本地任务中处理本地数据，最后把结果汇总，这就是MapReduce的过程。之后提取海量数据的关键信息作为索引，把这些非索引的数据索引存入到HBase中，方便后续数据查找和处理。

3.改革教学模式

在教学中，将理论和实验相结合，采用自主式、团队式、研究式学习模式。在创新实验部分由学生自主选择实验课题，或自主拟定实验课题，同时开展团队协作模式完成创新实验内容。实验要求学生2～4人为一组，共同拟定实验方案，集体完成实验项目并写出总结报告，培养学生查阅资料的能力，根据具体要求设计实验的能力，以及总结、归纳、撰写、宣读论文的能力。由于大数据实验教学紧跟学术前沿，所以研究式学习十分有必要，如将实验教学与科研进行结合。以上实验教学模式的改革能激发学生的学习热情，调动学生的积极性和主动性，提高学生的动手能力、分析问题和解决问题的能力，以及培养学生的综合素质和创新精神。

4.改革考核方法和评价机制

根据理论和实践教学的特点，我们从有利于激发学生学习兴趣、提高学习能力的目的出发，建立了多元化考核办法。基础理论主要采用书面闭卷考试的形式进行考核；基础训练类实验主要考查学生对指定技术方法的掌握程度，重点考查学生对实验原理的理解和实际操作能力；综合设计类实验成绩评定主要参考项目的任务指标，以答辩等形式进行考核，成绩需经过答辩小组审核后认定为相关实践环节的学分；研究创新型实验，由学生自拟或教师提出实验项目，方案设计以及作品制作均由学生自主完成，以科研论文或技术总结的形式提交设计报告，其考核的依据是学生是否发表科技论文、申请专利、获得各类奖项等。

参考文献：

[1]Cisco White Paper. Cicso Visual Networking Index：Forecast and Methodology[N].2011-2016，May 2012.

[2]刘海永.IBM携手西电助力大数据及云计算人才培养[J].中国教育信息化，2014（14）：94-95.

[3]陈玲.高校云计算教学初探[J].价值工程，2013（27）：189-190.

[4]fengchenkan.Virtualbox使用图文教程[EB/OL].http：//jingyan.baidu.com/article/9c69d48f49186b13c9024e30.html.2013-10-22.

[5]K.Shvachko，H.Kuang，S.Radia，et al.The Hadoop distributed file system[C].IEEE Twenty-Sixth Symposium on Massive Storage Systems and Technologies Proceedings，Washington，2010，1-10.

本文获上海市2014年上海高校本科重点教学改革项目：基于“校企协同”的计算机专业卓越工程人才培养模式改革与研究支持。