物联网专业实践教学网络学习资源爬虫技术应用

徐兵 吴宪君

（广东石油化工学院 计算机学院 广东省茂名市 525000）

2010年我国首批物联网工程专业通过教育部审批开设，近年来国内许多高校都已经开设了物联网工程专业，为我国新一代信息技术的发展培养了大量的专业人才。广东石油化工学院物联网工程专业自2017年开始正式招收本科生，该专业以培养应用型本科人才为目标。尽管经过了几年的努力发展，但是和国内办学较早的院校相比，我们在专业建设和人才培养经验方面尚存在不足，实践教学体系的建设还在不断完善过程中，尤其是相关的实践教学资源建设还比较薄弱，依托自身教师队伍开展物联网工程专业课程的教学资源建设进度较为缓慢，不能很好地满足师生教学科研工作的需求。近年来，随着物联网相关技术的快速发展，网络中关于物联网工程专业课程的相关技术文档、视频、案例、课程等教学资源也越来越丰富，且大部分资源是开发共享的，为了更好地辅助我校物联网专业师生开展教学科研活动，本文探讨基于网络爬虫技术构建物联网专业实践教学网络学习资源的思路和方法，以期为物联网专业实践课程资源库建设提供具体的解决方案，为增强学生专业实践能力，提高人才培养质量提供技术支撑。

1 实践教学资源建设现状

我校物联网工程专业目前开出的专业基础课、专业课等课程涉及到专业实践教学环节的包括程序设计基础、数据结构、计算机组成原理、路由交换技术、无线传感网络、TCP/IP 协议、Python 设计与应用、物联网安全等20 多门课程，累计1700 多学时。由于是新专业开课，前期专业实践教学资源主要依靠任课教师自己积累，已有的实践教学资源均以课程教学所需为主，在专业层面考虑通识性、认知性、整体性方面的教学资源开发明显不足，且尚未建立起专业层面的实践教学资源库体系，也缺少针对不同类型、不同层次学生的个性化特色实践教学资源的规划。因此，本文提出在加强自身实践教学资源开发建设的基础上，基于网络开发共享的教学资源，采用爬虫技术进行采集和整合，并开展二次开发创作，形成适合自身专业发展的物联网工程实践教学资源库，为实践教学提供资源支撑。

2 资源库建设的思路

图1：实践教学资源库建设思路

图2：爬虫抓取流程图

物联网工程实践教学资源库建设基于“前期规划-＞需求牵引-＞资源开发-＞教学实践”的实施方案。本文采用的资源库建设与应用模型如图1所示，在分析我校物联网工程专业实践教学方案和人才培养要求的基础上，结合专业实践特点，摸清实践教学资源开发和资源库建设的需求，按照课程和专业体系两个层面进行资源的开发创作，既能充分利用教师自己创作的教学资源，又能高效整合网络学习资源，并进行二次开发创作，形成包含网络爬虫资源、教师课程资源和专业特色资源的多维学习资源体系。同时，建立物联网专业实践教学资源库，坚持开放共享的原则，对各类实践教学资源进行综合管理，并对资源开展动态评价，不断完善优化资源库的开发和建设，并在专业实践教学过程中进行应用推广。

本文研究的物联网工程专业实践教学资源库建设不仅可以提供丰富的实践教学资源，还可以随时把相关的学习资源进行二次开发和创作，并通过开发共享形式集成到学校的教学管理平台上，学生可以及时得到更全面、高效的教学资源支持，通过它完成自主学习。

3 相关技术与实现

3.1 网络爬虫技术

网络爬虫技术主要是通过自己开发的爬虫程序模拟浏览器的站点请求，把站点返回的相关数据抓取到本地服务器，进而通过分析提取自己需要的相关数据资源，并通过数据库或者其他形式保存起来，以便后续的使用和二次开发。本文在设计开发过程中采用的网络爬虫的主要工作流程如图2所示。

首先，通过网络搜索分析相关物联网工程的实践教学资源，确定适合抓取的资源网站，分析抓取的URL，建立抓取任务列表，再通过爬虫程序进行数据采集，采集的资源包括物联网工程专业相关的网页文字、图片、视频、动画等，采集的数据形式包括HTML、JSON、图片、视频等，再将采集的相关数据进行数据清洗，转化后基于数据库或者文件形式进行数据保存，最后再通过二次开发等方式对采集的数据进行深入应用。

3.2 开发环境

资源爬虫程序开发主要采用Python 程序，资源库建设主要采用php+MySql，爬虫所需工具包括：请求库（requests 等）、解析库（正则表达式等）、存储库（文件，MySQL 等）。

3.3 爬虫抓取实例

本文以物联网工程《无线传感网络》专业课程实践教学资源的抓取为例来说明爬虫抓取和资源库建设的过程。首先在分析网络学习资源的基础上，确定了互联网中的几个主要学习资源网站，建立了网站的URL 列表和任务列表，设计好爬虫程序后，启动视频资源抓取程序，以下为爬虫程序的示例代码和抓取结果。

4 结束语

近年来物联网专业人才在就业市场较受欢迎，同时企业对相关人才的实践能力要求也越来越高。对物联网专业人才培养而言，建立丰富的实践教学资源库系统，能够为师生提供便捷、高效、丰富的学习资源，有利于学生更好地理论联系实践，提升学生的实践动手能力，也有利于学生开展基于网络的自主学习。本文通过对物联网工程专业实践教学资源库的建设和应用，能够深入积累课程教学改革的实践经验，对提高应用型人才培养水平有较好促进作用。