新冠疫情背景下大数据爬虫技术实训课程构建

2021-01-25彭学军

山东商业职业技术学院学报 2020年6期

彭学军

(义乌工商职业技术学院，浙江义乌 322000)

引言

为贯彻落实习近平关于打赢疫情防控阻击战的指示精神，针对新冠疫情对高等院校的正常教学秩序造成的重大影响，教育部要求各高等院校依托各种在线教育课程平台、校内网络学习空间等，根据校情、学情科学制定新冠疫情防控期间线上教学实施方案[1]义乌工商职业技术学院大数据爬虫技术教学团队充分利用线上教学优势，将疫情数据深度融合大数据爬虫实训课程进行重新构建，改进学习方式，实现“课停教不停、课停学不停”[1]，确保按时完成疫情期间课程教学任务。

一、大数据爬虫技术实训课程受到的严峻挑战

大数据爬虫技术是主要介绍大数据爬虫的基本原理、运行方式和应用方法的一门大数据专业方向核心主干课程。传统的实践教学方式是按照知识点配套实训案例进行教学：首先在实训机房配置教学设施，然后教师带领学生利用校内实训教学软件和教学资源按照教学计划完成各个实训配套教程。在新型冠状病毒疫情环境下，全国大中小学都延迟开学，学生不能返校、教师不能到教室正常授课，正常的教学秩序发生了严重改变。大数据爬虫技术课程的正常教学环境和流程也受到了严峻的挑战，主要有以下三点：

(一)高职学生自学能力、自控能力较差

针对新型冠状疫情对高等院校正常教学秩序造成的重大影响，教育部要求地方政府、高等院校、社会力量三方共同参与，确保高等院校在疫情防控期间的在线教学，实现“课停教不停、课停学不停”[1]。高职学生为高考录取最后批次，生源质量不高，其自学能力、自控能力均相对较差，这导致教师不能实时掌控学生对知识的掌握情况，不利于教学的开展。

(二)实训教学环境配置难度高

大数据爬虫技术课程需要安装并配置Python程序开发环境、Scrapy爬虫组件、MySQL数据库环境等多项专业软件。该系列软件配置较为复杂且难度较高，另外部分学生又没有纸质教材，无法参照书中教学案例正确配置实训教学设施，这导致课程实训无法正常有序开展。

(三)正常实训教学案例实施难实现

大数据爬虫技术实训教学案例的实验数据和教学软件都安装在校内的局域网服务器上，其数据因安全因素仅对校园网内部开放。疫情期间教师和学生都在校外不能返校，无法连接校内服务器，导致无法获取校内实验数据，更无法使用校内的实训教学软件和其他教学资源。而大数据爬虫实训教学案例按照正常教学环境要求学生、老师、实验员共同参与，因高职学生的学习能力、自学水平等因素，需要按照既定的实训步骤进行实训指导教学。

由此可见，传统的大数据爬虫技术实训课程教学受到严峻挑战，在新冠疫情下正常的实训教学难以实施。

二、大数据爬虫技术实训课程疫情再构教学流程可行性分析

(一)学生具备自学能力

大数据爬虫技术课程开设时间为大学二年级第二学期，学生已经在上学期开设了《Python程序设计》《数据库基础及应用——MySQL版》《Hadoop基础环境搭建》等相关前导课程，基本掌握了从开发语言到数据库管理、Hadoop集群搭建等相关专业知识。由以上因素可以推知学生已掌握大数据相关知识、基本具备大数据爬虫技术课程自学的基本能力，可通过网络在实训老师的指导下完成大数据爬虫技术课程实训教学任务。

(二)课程教学资源丰富

大数据爬虫技术课程属于大数据专业系列骨干课程，任课教师都具有计算机专业硕士及以上学位。计算机专业教师应用新技术水平高，信息化教学能力较强，能独立制作课件、音视频教学资料，这些教学资源为疫情期间线上教学提供了强有力的支撑[2]。同时，大数据爬虫技术课程已在较多高校开设多个学期，其课程资源十分丰富，完全满足疫情期间在线教学需求和学生自学需求。

(三)疫情数据量大真实

我国自SARS疫情以来，成立了疾病预发控制中心，并建立了疫情数据上报及发布系统。[3]关于此次新型冠状病毒疫情，我国各级政府实时公开、透明公布各项疫情数据，如确诊病例、疑似病例、治愈病例、死亡病例、重症病例等数据。该数据发布在各级政府官方网站，供全社会监督与查阅。这些疫情数据正好可作为大数据爬虫技术课程实训教学的数据资源，供学生练习使用，为大数据爬虫技术课程提供了丰富的数据基础。

(四)即时通讯软件高效

在此次疫情期间，阿里巴巴和腾讯公司调配数以万计的服务器搭建网络云，用来保障疫情期间全国大中小学生的线上教学。全国教师利用即时通讯软件(QQ、钉钉)在线开展直播、录播进行授课和交流讨论。通过及时通讯软件进行直播教学，确保了“停课不断教、停课不断学”，帮助学生居家学习。

由此可见，在疫情期间将疫情数据应用到大数据爬虫技术课程，通过即时通讯软件开展在线实训教学是可行的。

三、大数据爬虫技术实训课程利用疫情数据教学模式设计

新型冠状病毒疫情环境下学校正常的教学秩序发生了严重改变，大数据爬虫技术课程团队利用此次疫情各地政府发布的新型冠状病疫情数据(确诊病例、疑似病例、治愈病例、死亡病例、重症病例等数据)为教学实训案例，灵活架设教学环境、再构教学流程，开展大数据爬虫技术实训课程教学。

(一)远程配置实训教学环境

大数据爬虫技术课程需要用到Python3版本程序开发包、Pycharm开发环境、Scrapy开发组件、MySQL数据库环境等多个专业性软件。针对学生没有教材、电脑环境配置较复杂等情况，课程组教师利用QQ远程控制、TeamViewer等软件进行远程协助，帮助学生解决课程实验环境、网络访问等相关配置问题。

(二)搭建在线课程网站

课程组教师根据课程的知识点制作PPT、音视频教学资源，同时在网络上搜寻与爬虫技术相关的题目、学习视频、在线学习站点、典型程序等优秀资源，搭建大数据爬虫技术在线学习网站。学生通过网站观看视频、题库练习、上传作业进行自我学习，教师通过网站掌握学生的学习过程和学习成效、批改作业等，师生之间通过网站进行沟通交流、答疑解惑等。[4]

(三)疫情数据再构实验教学流程

1.学生自学预习新知识

学生自学预习新知识是进行在线课堂的第一步，是整个在线学习的重要组成部分，其学习成效对课程的实训教学将产生重要的影响。以大数据爬虫技术实训教学案例——新冠疫情数据的爬取与展示为例，按照软件工程模型，将实训项目的开发过程构建为以下四个部分：

(1)实训项目的可行性和软件需求分析部分。指导学生根据各地政府部门公布的疫情数据、大数据网络爬虫技术、需花费人力和时间等条件，指导撰写软件可行性分析报告。要求学生按照实训要求将疫情数据爬取与展示需求用软件工程语言表达出来，设计好程序功能和数据库模型，完成编写软件需求设计书。

(2)软件设计阶段。指导学生根据所学到的数据库知识创建疫情数据库，完成疫情库、表等各数据库组件，撰写疫情库设计说明书。[5]根据需求分析，完成疫情数据爬虫的创建、数据爬取、管道过滤、数据存储和结果展示的设计图，并完成疫情数据爬虫详细设计说明书。

(3)软件编码阶段。指导学生利用Python语言，编写访问疫情库、数据爬取与展示等程序代码。[6]

(4)软件测试阶段。要求学生利用测试工具编写测试用例和流程对疫情数据爬取与展示程序进行功能和性能测试，找出程序bug并进行修改完善。

表1 大数据爬虫技术课程结构设计

教师利用在线课程网站发布视频学习任务(以大数据爬虫技术课程的“3.2 Scrapy网络爬虫数据采集”为例)。通过在线课程网站，要求学生保质保量完成视频的观看学习，对照视频实现Scrapy爬虫创建、数据爬取、管道过滤、数据存储等课程内容。[7]学生利用即时通讯工具(钉钉、微信等)在教师、学生中互帮互学、共同进步；通过在线开放网站教师及时推送课程重难点内容和相应注解，及时专题回答多数学生的共性难题。学生完成规定任务后，撰写学习心得和课堂总结并上传至在线课程网站。

2.在线直播教学

利用阿里巴巴、腾讯公司提供的钉钉、QQ、微信等工具，将平时课堂的师生互动、答疑解惑、知识总结等环节通过网络进行，将传统课堂变为开放课堂。教师及时收集学生在自学过程中的共性难题、实训报告、学习总结等开展研究，并直播串讲共性问题。根据学生的实训作业完成情况，让优秀作业学生进行连麦视频演示并介绍编程经验。[8]直播完成前，教师进行课堂总结，对重难点知识进行归纳总结提炼。学生通过“自学、互帮互学、学生提问、教师答疑、再自学”，在教师的直播教学指导下开展深度学习，综合提高学生理论水平、增强学生动手能力。

3.课后拓展巩固

通过在线直播教学，学生掌握了重难点知识，教师通过在线课程网站发送课后知识提高项目(英国新冠疫情数据爬取与展示)，供学生课后进一步提高理论知识水平和实践动手能力。与课堂教学实训项目相比较，提高项目的难度系数较高，指导教师采用分组教学，每个小组配备一个课堂作业优秀的学生担任组长。[9]组长要对拓展项目进行分解，团队成员之间互帮互学、一起完成课程内容。采取分组教学，不但提高了学生的自学能力，而且凝聚了团队的战斗力。[10]

4.直播总结

任课教师利用在线课程网站发布本次学习小结撰写任务，要求学生针对本次学习任务的完成情况，总结知识并进行归档。教师通过查阅全部同学的学习小结，分析知识难点，通过直播总结知识难点，化解学生的疑难困惑，帮助学生克服知识难点。