军队院校物联网工程专业大数据实验室建设方案研究
2021-07-01刘国松李先利吴书金
刘国松,万 平,李先利,吴书金
(陆军勤务学院,重庆 401331)
0 引 言
物联网是互联网的扩展和延伸,是实现万物互联互通的智慧网络。物联网的快速发展伴随着传感器的急速增长,从而带来了海量低价值密度数据。大数据技术为从这些数据中挖掘出有价值的信息,提供了技术支撑。因此,物联网工程专业学员必须掌握大数据技术相关的理论知识。而作为军事院校,强调为战育人,围绕实战搞教学,大数据技术相关课程的教学不能只停留在理论教学层面上,应增加实践教学部分。而传统的计算机实验室设备难以满足大数据实验环境配置要求[1],所以迫切需要建立物联网工程专业的大数据实验室。
1 大数据实验室建设需求分析
现有的高校大数据实验室建设方案大都围绕大数据专业人才的培养进行建设[2-12],以促进学生的就业率提升为目标。军队院校大数据实验室是为培养新型军事人才服务,面向的是部队的需求,因此军队院校大数据实验室建设具有其特殊性。下面以陆军某军校为例,从教学、科研和人才培养的角度分析实验室建设的需求。
1.1 教学需求
我院大数据实验室的建设是为了满足物联网工程专业人才培养相关课程的教学需求,物联网工程专业人才培养方案中将物联网数据管理、大数据概论、数据库技术与应用、大数据分析技术与方法等课程纳入培养体系,为满足上述课程教学,需要构建大数据实验室,提供相应的实验平台。
1.2 科研需求
大数据实验室的建设还应满足教员的科研需求[13]。一方面需要“以研促教”,在教学和培养人才的过程中,难免会产生新的问题,需要教员进行相关的科研活动,以促进教学活动的开展。另外,军事院校还承担了为部队提供科技服务的任务,解决部队大数据相关的问题,也需要依赖大数据实验室进行相关的科研攻关。
1.3 人才培养需求
军事院校教育要面向战场、面向部队、面向未来,因此,进行大数据技术的学习应紧跟部队实际需求。而现有的大数据学习资源多为产业应用数据,没有针对军事领域的数据来源,无法满足部队实战化训练需求,应增加与军事紧密结合的数据源,而相关数据源大都存在安全保密的问题,难以获取也无法在实验室进行应用。因此,考虑军事数据最终都是通过通信技术完成数据的收集工作,应增加与大数据相关的通信(数据)技术的学习。同时,考虑到未来物联网工程专业技术人才在部队实际工作中将接触大量保密数据,还应掌握基本的物联网安全技术。
2 大数据实验室建设方案
根据大数据实验室的需求分析,拟建设以硬件平台为基础、软件平台为支撑、教员系统集群和学员系统集群为主体的四层实验室架构,如图1所示。
图1 大数据实验室架构
2.1 硬件环境
大数据实验室硬件平台是实现教学和科研活动的基础,包括基本教学环境和实验教学环境两个部分。基本教学环境包括满足基本教学活动的教室、桌椅、投影仪等基础设施,以满足理论教学和实验教学讲授部分的需求;实验教学环境包括实现大数据实验所需要的服务器、交换机以及终端设备等实验设施。
2.2 软件平台
大数据软件平台为学员和教员的教学、科研活动提供技术支撑,由容器、编排管理系统、虚拟网络、应用平台、挖掘算法和交互编程平台组成,如图2所示。
图2 软件平台
软件系统底层采用基于容器的操作系统层级虚拟化技术,相比于传统的虚拟机技术,具有占用资源少、启动快、性能开销小的优点。容器架构降低了硬件成本,能够更快速地部署开发、测试、生产环境,更简便地维护开发、测试、生产环境,与微服务架构更为契合。教学过程中,Docker容器技术能够一键创建集成环境,快速虚拟大量实验机供教学班学员进行大数据实验。学员可同时拥有Hadoop、Spark、Python语言、R语言等多套集群进行实验,能够支撑实验项目近400个,满足日常教学的需求。
实验平台采用基于容器技术的分布式架构方案,使用开放的Kubernetes容器编排工具开发平台,解决了通过脚本或插件实现应用安装的传统应用部署不利于应用的更新升级以及回滚等操作的问题。Kubernetes平台可以方便管理云平台中多个主机上的容器化的应用,使部署容器化的应用简单高效。
在服务器与终端设备之间采用基于软件定义网络(Software Defined Network, SDN)的虚拟专用网络(Virtual Private Network, VPN)技术方案,以满足大规模复杂网络下的数据传输安全和扩展性问题。浏览器和服务器(B/S)架构模式统一了学员学习的终端电脑部分,将系统功能实现的核心部分集中到服务器上。
挖掘算法方面,提供Python和R语言两种语言的算法实现实验,包括决策树分类、随机森林分类、朴素贝叶斯分类、K最近邻分类、支持向量机分类、K-means聚类、DBSCAN聚类、回归分析、Apriori关联规则等实验。
终端环境方面,采用基于网页的交互计算应用程序Jupyter Notebook搭建编程环境。利用Jupyter Notebook,学员可直接在网页页面中编写和运行代码,运行结果可以在网页中被显示出来。
2.3 教员系统集群
教员系统集群包括教学系统、科研系统和教务系统。
教学系统用于满足教员日常教学需要,包括向学员提供电子版的课程教材和实验指导内容,进行随堂检测,布置、批改作业,检测学生对知识点的掌握程度。
科研系统用于满足教员科学研究的需要,提供支撑海量数据处理的Hadoop生态圈及周边组件,包括HDFS、YARN、MapReduce、Hive、Spark、Zookeeper、HBase、Storm 等 ;提供支撑数据挖掘分析的Python和R语言生态,还可以支持数据可视化、数据爬虫、系统运维、数据清洗、数据标注等方面的研究需求。利用以上工具结合部队实际需求取得的科研成果,可以形成案例库,补充到教学活动中。具体而言可以通过实验内容开发工具,导入实验内容生成实验手册,从基于平台镜像库中的标准镜像或根据实验内容构建自定义容器镜像并存入本地镜像库,实现自定义实验+平台自带实验,更新实验资源库,从而促进教学工作的开展。
教务系统用于满足课程管理以及考试测评的需求。课程管理系统实现创建课程、指定授课教员、学员选课管理等功能。考试测评系统提供分类标准题库,题库可自定义分类,可扩展试题;提供辅助评分功能,部分客观题型可以实现自动评分;提供试卷自动生成功能,可按照设计难度目标自动生成试卷;提供在线考试功能等。
2.4 学员系统集群
学员系统集群包括教学系统、创新实践系统、综合培养系统。
教学系统针对学员日常实验教学需要,提供标准的实验流程模式,保证实验课程的稳步有序进行,具体分为4步:
(1)创建环境。系统按照学员实验内容自动创建所需实验环境。
(2)实验操作。学员参照实验手册完成实验,并记录实验流程,生成实验报告。
(3)提交报告。学员提交报告,教员可根据实验报告提交情况,管理掌控实验进度。
(4)教员评分。教员根据学员实验报告内容的正确性、完整性和及时性打分。
创新实践系统向学员提供自由探索模式,包括Hadoop、Hbase、Hive、Spark等 集 群 环 境,Python、Notebook、MySQL、R语言等单机环境以及Ubuntu图形环境等,可根据需求进行开发和功能拓展,提升学员的创新实践能力。
综合培养系统针对军队院校人才培养的特殊性,增加了通信(数据)实验系统和物联网安全教学实验平台。
通信(数据)实验系统为学员了解和获取军事大数据来源提供支持,满足学员未来任职的实际需要,同时为物联网通信技术课程提供实验技术支撑,使大数据课程与通信课程形成联动效应,更好地服务于军队现代化人才培养的目标。通信(数据)实验系统按照军事通信的重点,围绕卫星通信网络、天线测量实训、微波微带电路、光纤通信、无线电通信电路建设,具体包括微波微带电路系统实验设计平台、天线测量实训系统平台、卫星通信网络实训平台、无线电通信电路系统创新平台、通信原理人机交互实验教学平台、模拟电路试验箱、数字电路试验箱、4G移动通信原理与实训终端系统、光纤通信实验系统和实时频谱分析仪等。
大数据实验平台与互联网进行了物理隔绝,保证了平台运行数据的安全,但是学员在未来军队实际应用中,仍然会面临各种安全威胁。为了使学员能够掌握基本的物联网安全知识,增加了物联网安全教学实验平台,贯穿大数据实验平台始终。物联网安全教学实验面临内容繁杂、难度大、专用安全实验设备昂贵、实验破坏性强、网络环境配置困难和维护费时费力、对学员动手能力要求高、物联网安全暂无统一规范以及没有成熟示范课可以借鉴等众多挑战。因此,在有限教学硬件基础上,定制研发创新性的物联网安全教学实验平台,该平台依靠专业的开源软件和虚拟计算技术,采用虚实结合的教学资源,开展多方位的物联网安全实践教学,能够仿真、克隆和部署多样化的真实网络环境和安全实验环境,同时解决网络安全实验的独占性和不可逆性等传统难题。平台配套实验指导书和实验参考示例代码,支持以下类型实验:古典密码学实验、现代密码学实验、网络安全与认证协议实验、RFID/NFC安全实验、无线传感器网络安全实验、物联网感知层安全实验、网络层认证实验、应用层访问控制实验等。
3 预期效益
3.1 提高人才培养质量
大数据实验室面向研究生、本科生和部队任职培训学员,可开设综合性、设计性实验,在培养学员创新思维、科研能力方面将发挥积极作用,提升创新实训教学质量和水平。建成后,能支撑物联网学科专业教研团队人才培育。
3.2 支撑学科特色方向研究
通过大数据实验室的建设,物联网学科专业的实验条件更加完备,课程体系支撑力更加充足,进一步增强物联网学科专业教学科研硬实力,助推现代信息技术与创新实训教学项目深度融合。大数据实验室能够有效支撑物联网学科专业在大数据理论教学、实训实验、大数据分析模型、通信平台系统等相关特色技术研究,扩展学科研究领域和研究方向。
3.3 提高科研学术水平
为学员与教员提供大数据科学研究平台,满足对当前大数据前沿领域进行跟踪和研究的需要,实现与部队需求有机结合。对大数据挖掘技术、大数据分析技术、大数据处理技术等关键技术展开进一步深入的学习和研究,提升科研创新能力,提高本领域学术研究水平,扩大物联网学科专业在该领域的国内外、军内外的学术影响力,吸引更多的人才来部队进行建设。
4 结 语
根据军队院校物联网工程专业对大数据实验室的需求,提出了四层架构的大数据实验室的建设方案,对军队院校物联网工程专业大数据实验室建设具有一定的参考价值。
注:本文通讯作者为万平。