基于物联云平台及智能处理的大数据专业实训探索

黄晋 汤俊伟 罗瑞奇 陈佳

[摘 要] 基于对大数据专业实训教学的探索，将物联网的云平台和数据分析处理技术引入大数据课程实训教学中。针对大数据专业实训的特点和难点，尝试以云平台为专业实训基本手段、以物联网设备作为前端数据获取技术组织教学，以提高学生的综合设计水平和实践能力。针对前端数据预处理和后端数据智能处理需求，进行前沿数据分析的理论知识和实践方法教学，拓展学生的专业深度和广度，为国家培养复合型信息技术人才。

[关键词] 大数据;物联云平台;智能处理;实训

[基金项目] 2020年度湖北省自然科学基金计划一般面上项目“基于MR影像的柔性生物组织变形场测量应用研究”（2020CFB801）

[作者简介] 黄 晋（1982—），男，湖北武汉人，博士，武汉纺织大学计算机与人工智能学院讲师，主要从事大数据方向研究;汤俊伟（1990—），男，湖北蕲春人，博士，武汉纺织大学计算机与人工智能学院讲师，主要从事移动安全与人工智能研究;陈 佳（1982—），女，湖北武汉人，博士，武汉纺织大学计算机与人工智能学院副教授（通信作者），主要从事图像处理、人工智能研究。

[中图分类号] G642 [文献标识码] A [文章编号] 1674-9324（2022）25-0033-04 [收稿日期] 2022-03-17

引言

大數据学科是随着互联网的飞速发展和数据科学的发展逐渐形成的，它针对数据获取、数据分析和数据可视化各个环节，利用计算机网络技术进行数据传输，借助数学模型和人工智能算法进行数据处理和分析，并利用二维和三维技术实现分析结果的可视化。在当前世界信息化和全球化的趋势面前，做好高等院校大数据专业的教学研究工作，为国家培养适应形势变化的复合型信息技术人才越发重要。

武汉纺织大学计算机与人工智能学院下设大数据专业和人工智能专业，并于2019年开始招收全日制本科生。开设了大数据专业的全套本科课程，包括“数据科学导论”“数据采集与网络爬虫”“数据分析与实践”“大数据可视化技术”等。目前，我校大数据教学方面还有长足的发展和较大的提升空间。

针对大数据课程的特点，结合我们在专业实训中的实际经验，就大数据专业实训内容提出自己的想法和若干建议，希望能为大数据专业建设提供新的思路。

一、大数据专业实训特点

（一）大数据专业实训的特点

1.大数据专业内容涉及面广。大数据是一门新兴学科，也是一门综合性很强的学科，涉及计算机网络、人工智能和机器学习、概率论等诸多学科。

2.大数据专业基础课程体系复杂。基础类课程包括数学基础课、计算机基础课、大数据基础课程;进阶类课程包括数据获取类课程、数据分析和机器学习类课程、数据可视化类课程。每一类课程由若干门课程构成，且课程之间存在较多的依赖关系。

3.大数据专业知识更新快，前沿性强。随着互联网的飞速发展，新的数据类型不断产生，新的应用需求不断发展。这就要求针对新的需求和数据类型，提出新的大数据技术和理论，解决不断出现的实际问题。

（二）大数据专业实训中面临的困难

大数据专业实训中的主要困难有：（1）大数据知识和技术资源相对独立和分散;（2）理论知识和实践知识结合得不紧密;（3）前沿内容众多且理论难度较大;（4）省属高校学生能力参差不齐。

二、物联云平台实验的概念和模式

物联云平台实验是学科专业实训与云计算发展的产物。随着计算机网络和传感器的飞速发展，海量数据大多数产生于该类平台。基于该类型平台进行专业实训[1-3]，能够让学生实际体验平台的内容和特点，提高实践能力。

现有物联网设备主要包含多种类型的传感器设备，如视频、音频、红外等;其中树莓派是一种使用广泛的开源嵌入式平台[4，5]。该平台选用的Linux操作系统是一种嵌入式的系统。目前云平台包括新浪云、百度云和阿里云，这几种云架构[6，7]是类似的。其中新浪云使用较为广泛，且部分可以免费使用;阿里云商用最为广泛，但是费用较高;而百度云使用较少，不在我们考虑之列。

根据目前业界开发应用需求，并结合目前市场上提供的设备及在线云资源的情况，物联网前端传感器负责数据采集和预处理，拟采用基于平台树莓派的硬件平台。该平台软硬件都具有较高开放性，软硬件支持非常丰富。后端云平台负责数据管理，拟采用新浪云。

三、智能数据处理实验的概念和模式

智能数据处理实验是大数据专业和产业技术应用深度融合的产物，将人工智能和数据挖掘中的各种技术和算法[8-10]在实训的实验中加以应用。国内外智能数据处理技术总结如下。

Tensorflow是由谷歌公司开发的开源深度学习平台，尤其擅长分析图像和自然语言，主要技术是使用卷积神经网络，内置各种最先进的深度模型。Pytorch是另一种开源的深度学习开发平台，与Tensorflow类似，且其编程方式更加简洁并易于理解，硬件同时支持CPU和GPU。国内也有自主研发的类似平台，如百度的飞桨（Paddle）和清华大学的计图（Jittor），软件部分实现了自主可控。智能数据处理实验模式如图1所示。针对具体的产业应用需求，在物联网平台和云平台上构建数据处理算法支撑环境，进行算法的学习和实践。智能数据处理教学分为两个部分的内容。

（一）物联网前端软硬件学习和处理算法学习与实践

物联网前端设备负责原始数据的采集和数据的预处理，预处理通常采用机器学习或者图像处理的方法。因此，需要学习在树莓派的嵌入式Linux操作系统环境中进行环境配置及编程实践方法，将预处理后的数据通过网络发送至远程云平台。

（二）云平台中数据分析算法学习与实践

首先，学习内容方面，在学习Python的基础上进一步掌握机器学习和深度学习算法的理论和实验。其次，技能实践方面，需要掌握云平台中各种算法库的使用方法，以及算法集成技术，为了将这些算法功能在项目工作中正常使用。最后，完成项目设计、程序设计实践，并完成最终的演示和报告内容。

四、大数据专业实践教学方案

通过对现有应用和教学经验的研究，将物联云平台和智能数据处理算法应用到大数据专业实训的教学实践中。课程设置方案包括准备阶段、教学阶段、实践阶段。

1.准备阶段：配发讲义，其内容主要与教材《Raspberry Pi用户指南》（Raspberry Pi User Guide）和《利用Python进行数据分析》（Python for Data Analysis）的内容接近。本阶段还要安排教学进度，其进度可以根据具体时间长短对内容进行精简或扩充。

典型教学进度安排包括教学阶段和实践阶段两部分，总计16个学时，具体分为四个阶段。第一阶段，基础知识教学阶段。安排2个学时，主要介绍树莓派及设备的安装和使用，以及Linux系统安装使用以及简单编程开发。由于课堂教学时间非常有限，需要学生在课下熟悉和掌握Linux平台c语言和Pyhton语言开发方法和应用实例。第二阶段，系统架构搭建阶段。安排6个学时，完成云架构的设计和实现、传感器网络通信的协议和方法，以及应用端的设计和实现，同时要求学生在课下开通云平台账号，使用Python实现传感器的数据采集、传输和云端存储，并学习使用php实现云平台数据管理。第三阶段，进阶实践阶段。安排4个学时，完成数据分析核心算法，包括使用Python语言在Linux中实现数据预处理算法，使用php语言在云端实现数据分析算法。第四阶段，评估阶段。安排4个学时，以小组的方式进行，每组2～3人，选出1人为组长负责沟通和安排工作，最终以小组为单位向大家讲解和展示项目成果，并完成小组互评和教师点评。

2.教学阶段：根据教学进度安排，实施教学。教学过程中结合树莓派的软硬件资料和云端开发的教学资源供学生参考和使用。针对不同的应用场景，教师讲解，学生组成合作小组，根据教学安排给出设计方案并完成系统搭建。

3.实践阶段：学生根据教学安排和内容完成系统设计和实现工作。在设计阶段，首先画出整体层次框架，包括具体的功能模块及模块之间的交互内容和方式。完成云平台的搭建、前端物联网设备的初始化和数据通信，以及设备端和云端的数据分析。通过团队合作，完成一系列的设计和实现，进一步巩固、实践所学习的理论知识。

五、教学心得体会

将物联云平台和智能数据处理教学引入大数据专业实训教学中，使得教学模式和方法产业化、智能化、规范化，旨在提高学生实际工程能力，扩展学生知识的广度和深度，并接触业界最前沿的技术和知识。具体意义描述详见图2。

搭建包含物联网的云平台开发环境，将专业实训和当前产业应用相融合。在实训教学过程中将传感器硬件、物联网、云平台的软件和硬件优化组合，探索本类案例的产业特点，旨在调动学生学习积极性、深入实践、锻炼能力。通过该物联云平台，整合大数据实训的相关资源，提供针对实践的教学服务，同时培养学生的工程能力和动手能力。

引入智能数据处理的实训内容，将人工智能和数据挖掘算法融入实训内容。学习并探讨产业和学术前沿的技术内容，在此基础上探索适合大数据专业的教学内容和教学方法方式，在专业实训的教学过程中，讲授算法的原理及算法的实际应用场景。将算法能力培养与大数据专业实训融合起来。在此过程中，平台和智能算法将共同发挥作用，旨在提高学生的算法应用能力、拓展前沿知识，为国家培养出面向产业的高素质专业人才。

本论文的探索方向主要是鼓勵主动自学、注重实践、开放思考。选择的讲授方式为线上线下结合的教学模式，激发学生学习热情，提高学习的主动性，提高学生的实践动手能力。通过物联云平台中各类应用技术，逐步提高学生的实践动手能力，扩展知识的广度和深度。

结语

在计算机教学中，专业实训是非常重要的一环。专业实训能够提升学生的动手能力，使学生能够更加深刻地理解和掌握理论知识，并初步掌握实际工程中分析问题和解决问题的能力。同时，本次实训探索能够完善学校实训内容，并进一步推动实训与产业和实践的深度结合。此外，所选软件和硬件平台成本较低且开放程度高，不会给学校和学生带来明显的经济负担。通过实践教学证明了专业实训的可行性和有效性。然而实训的内容和方式还有改进的空间，需要在今后的教研中更进一步地探索。

参考文献

[1]王彤，夏利，张立立.基于树莓派的计算机类专业实训教学探索[J].计算机教育，2018（1）：25-29.

[2]关静丽，艾红，陈雯柏.基于树莓派和Yeelink的开放实验室监控系统设计[J].实验研究与探索，2017（36）：115-119.

[3]朱轶，曹清华.基于Android、树莓派、Arduino、机器人的创客技能教育探索与实践[J].实验技术与管理，2016（33）：172-175.

[4]严莆青，朱剑林.基于Raspberry Pi的老年人室内移动监测系统设计与实现[D].武汉：中南民族大学，2017.

[5]李文胜.基于树莓派的嵌入式Linux开发教学探索[J].电子技术与软件工程，2014（9）：219-220.

[6]龚洪敏.基于云计算环境的优质资源共享平台的研究[D].西安：陕西师范大学，2013.

[7]吴玫.基于SAE与微信公众平台的校园信息化服务系统[D].上海：复旦大学，2013.

[8]KRIZHEVSKY Alex， SUTSKEVER Ilya， HINTON Geoffrey E. ImageNet classification with deep convolutional neural networks[J]. Advances in neural information processing systems， 2012（25）：1106-1114.

[9]GIRSHICK Ross. Fast R-CNN[C]. IEEE International Conference on Computer Vision （ICCV）， 2015：1440-1448.

[10]SCHROFF Florian， KALENICHENKO Dmitry， PHILBIN James. FaceNet： a unified embedding for face recognition and clustering[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR）， 2015：815-823.

Exploration on the Professional Training of Big Data Based on IOT-Cloud Platform and Intelligent Processing

HUANG Jin， TANG Jun-wei， LUO Rui-qi， CHEN Jia

（School of computer Science and Artificial Intelligence， Wuhan Textile University， Wuhan， Hubei 430200， China）

Abstract： This paper explores the practice training and teaching of big data major， and explores the introduction of the IOT-Cloud platform and the data analysis and processing technology into the practice training of the courses of bid data major. According to the characteristics and the difficulties of big data professional training， we try organize teaching by taking the IOT-Cloud platform as the basic means of professional training and IOT equipment as the front-end data acquisition technology， so as to improve students’ comprehensive design level and practical ability. According to the needs of front-end data pre-processing and back-end data intelligent processing， we will discuss the theoretical knowledge and practical methods of cutting-edge data analysis， expand the professional depth and breadth of students， and cultivate compound information technology talents for the country.

Key words： big data; IOT-Cloud platform; intelligent processing; practice training