大数据技术在计算机基础实验室管理中的探索与应用

刘洁　陈畅频

关键词：大数据；实验室管理；精细化管理

实验室是高校开展实践教学和科研创新的重要场所，承担着高校人才培养、创新活动和科研的重要任务。在“新工科”“双一流”和“高水平”大学的建设背景下，学校对实验室投入不断增加，实验课程数目持续增长，实验设备和材料数量迅速增加，服务的实验室的师生人数也显著增加，创新开放要求也在迅速提高，实验室管理软件也越来越多，同时实验技术人员却越来越少，如何合理规划实验室资源，对传统的实验室管理提出了巨大挑战。大数据的广泛应用给提升实验室管理提供了新的方向，探索以大数据、物联网等新兴技术为基础的精准化管理模式势必成为一种必然。

1传统计算机实验室管理现状

传统的计算机实验室管理主要存在以下几个问题：

1.1设备陈旧，实验管理手段落后，实验室场地范围大

学校在基础实验室的经费投入少，基本都在更新计算机、云桌面节点等设备和购买正版软件上。大部分高校计算机实验室配置普遍不高，且硬件种类繁多，差异性大，课程的多样性导致软件需求复杂，实验管理的智能化手段少，很多工作仍然是人工完成。目前高校多校区办学现象普遍，每个校区都需要建设计算机实验室，从而导致实验室分散管理，增加了实验室的工作量。

1.2工作任务繁重

计算机实验室除了承担大量实验教学和实训任务，还要承担各种无纸化考试、开放上机、各类培训、学科竞赛创新、教学评估、检查参观等活动，人员流动大。除此之外，还有各种表格核对、计算和统计工作。

1.3实验室管理软件过多，存在大量的信息孤岛与数字鸿沟

随着信息化的发展，实验室各项业务都需要在网上办理，但每项业务都有独立的管理软件，如实验教学管理系统、实验资源管理系统、实验材料系统、门禁系统、开放预约系统等，每个系统产生大量独立的数据，无法互联互通，存在大量冗余和错误，缺乏科学管理与利用，给实验室管理无形中增添了很多工作量。

1.4实验技术专职人员缺乏

传统的实验室管理以个人经验为主，管理人员相对充足。但近年来政策导向下，新进实验技术人员人数减少，很多高校甚至暂停招聘专职人员，使用部分外包模式，加上原有人员也陆续退休，但随着高水平大学建设的推进，学校也对实验室发展提出新的要求，实验室任务日益加重，实验技术人员还需要承担繁杂的实验室教学资料的收集、整理、汇总、上报工作和各种实验室建设项目及各种名目的实验室检查。

1.5实验室安全制度不完整

安全管理上基础设施差、经费投入少，虽然有门禁系统但缺乏智能管理。对学生创新活动及教师科研活动的支持虽然抱有强烈的意愿，但客观条件却只能使少数学生和教师受益。

2建设以数据为驱动的实验室综合服务管理平台

2.1实验室综合服务管理平台架构

针对以上存在问题，我校实验中心计算机实验室基于大数据、云计算和物联网技术，建立了集教学、学生实践创新、教师科研于一体的实验室综合服务管理平台，充分利用信息资源，提升服务水平，实现实验室的智能化和精准化管理，更好地为教学和培养人才服务。实验室综合服务管理平台分为四层，见图1。

2.2实验室综合服务管理平台设计

2.2.1基础设施层

基础设施层是整个平台的基础，包括所有软硬件及其他实施，我校在高水平建设实验室改造项目中已对实验室的基础设施进行了改造，包括综合布线系统、空调、安防、智能监控、门禁系统、智能电气控制、各类传感器，这为项目的实施提供了良好的基础环境。随后，在多次设备专项购置及信息化项目中，合理优化和购置云桌面节点、服务器、网络设备、电气控制系统，为建设数据仓库存储中心和计算中心奠定基础。平台建设后，可较全面地收集教学、设备、网络、运维、门禁、电控、安全等各方面的数据，为基于大数据的实验室管理创造有利条件。

2.2.2数据仓库

这一层需要对基础设施层收集来的数据进行清洗、转换、整合、分析和储存，并为虚拟资源层和应用层中各种应用提供数据支撑。基础设施层除了自实验室原有各种系统中采集的实验教学、用户、资产等关系型数据库数据外，还采集来自各种监控、传感器、教学过程等数据，数据类型不一。这些数据有结构化数据也有非结构化数据，结构化数据主要来自实验室原有各种系统，例如教务、资产、材料等，可采用ETL工具进行采集，按照数据仓库建立的方法定期从各个业务系统中采集，并根据需求进行调整，最后存储到Hadoop大数据平台的数据库Hbase中。由于数据来源不一，比如班级数据有来自学生处的行政班级数据，也有来自教务处的选课班级数据，同一个学生可能属于多个班级，经过平台抽取后，需要先对数据源进行清洗，部分数据还需要人工校验。利用完整性约束对数据不一致情况进行检测和校验，从而保证数据一致性。利用朴素贝叶斯分类的缺失值填充机制优化对缺失的数据进行填充。最终将清洗后的多个数据源通过ETL技术进行同步集成，从而使分布和异构的数据集中构成适合业务特点的宽表形式，为上层提供数据挖掘和决策支持。对于大数据平台中的非结构化数据，例如从摄像头、视频会议、传感器、网络爬取等采集的非结构化或半结构化数据将存储到HDFS和Hbase中，进行定期清洗和筛选，决定数据是否保留，这部分数据大约占到数据总量的800/0。最终利用大數据应用框架中的Hadoop平台的数据仓库实现存储、查询和管理。

2.2.3虚拟资源层

虚拟资源层利用虚拟化技术实现将实验室各种资源及数据有机整合，包括云计算资源、云存储资源、网络资源和管理控制设备等，再按需规划并重新逻辑动态分配。实验室综合服务管理平台的虚拟资源层将这些资源和数据应用整合和集成到统一的虚拟化平台上，利用Docker集群化部署，实现快速部署集群，混合使用共享存储和本地存储资源，隔离计算环境，向上形成多租户数据分析服务，包括分布式数据存储与计算服务、实验环境管理服务、教学资源管理服务、可视化服务等，支持实验环境一键访问，达到统一管理和使用的目的，而这种基于容器及容器集群架构运行的大数据实验基础平台，降低基础架构的复杂度和运维成本，可靠灵活，同时显著提高了利用率。

2.2.4应用层

应用层是整个平台的核心，实验室专职技术人员在这一层完成对实验室的精细化管理，包含对实验教学、考试、资产、材料、安全、开放等一系列业务。其在基础设施层和数据仓库层利用物联网技术实现对人和物的行为数据和管理信息的采集和清理后，在应用层实现各种智能终端对实验室内设备传感器的远程控制，为人和物建立直接联系。其利用大数据多样性的特点，收集来自不同设备不同系统的数据资料和教学资源库，构造业务逻辑，从而对实验室管理综合和科学处理，利用神经网络等技术挖掘有价值的实验教学数据，构建大数据分析框架，利用集群、分割、孤立点算法和语义引擎进行浅层分析或者深入挖掘，分析对比，提取数据中隐含的、未知的、极具潜在应用价值的信息和规律，对数据进行直观展示，为实验室的教学管理、用户管理、实验预约管理、资产材料管理等各项工作提供决策和指导。

2.3提升管理手段与加强实验室队伍建设相结合

实验室队伍建设是关系到实验室综合服务管理平台建设后是否能发挥优势作用的关键。从提升实验室管理角度及人员稀缺的角度出发，定期对实验技术人员进行相关培训，使相关人员从根本上转变工作观念，打破过去以各自经验和手工为主的管理模式，善于利用新的技术手段，勇于创新，提升个人业务水平，更好地为高水平建设服务。

3以大数据技术实现资源整合，推动实训实验环境的管理

实验室综合服务管理平台基于大数据的视角开展顶层设计，收集整合实验教学产生的各种数据，从中提取出有价值的信息，从而进一步推动实验教学改革、科研活动及学生创新。

3.1对实验室管理模式的创新

平臺可以对实验室管理可视化分析（如图2），展示实验室实时数据、实验室开放信息、能耗分析、设备信息、预约信息、门禁信息、材料信息、教学信息，实验技术人员可以实时掌握实验室的数据，实验室原有的多个系统的数据经过平台整合共享后，避免了反复在多个系统中进行数据比对，减少了部分统计工作，并能智能预警和报障。

我校计算机实验室分布在两个校区，利用大数据技术可以实时分析设备利用情况，减少人员压力，为实验技术人员在设备购置的各项决策中提供数据支持，避免浪费。

平台充分利用大数据、云计算和物联网相关技术，提升了实验室管理水平。平台的虚拟化技术，在一定程度上简化了实验技术专业人员的工作，不用耗费大量人力于临时考试、培训、创新活动的环境布置。

3.2对实验教学模式的创新

随着信息技术在教学过程中的深入融合与应用，越来越多的实践实训教学环节是在计算机上模拟仿真完成的。实验室综合服务管理平台中的虚拟资源层能够实现对实验环境的资源调度的弹性管理。平台基于H.264数字视频编解码标准，支持SRT传输协议，利用虚拟化技术搭建线上实验教学环境，集课程软件环境、分组实训、桌面共享、音频视频交互、图像文字、课程录像及点播、文件传输、论坛交流、教师管理控制等功能于一体，为实验室提供了远程的实时交互线上实验教学环境，使得实验教学在空间上得到延伸。通过该平台教师和学生可在校外访问教学实验资源，在家完成实验和授课，将原来受环境限制的实验室开辟到了网络空间中。

实验室综合服务管理平台还可以全面地呈现教学过程和相关数据。一方面，平台为教师多维度地展示学生的学习进度，使教师能直观了解课堂的学习情况，有效帮助教师调整教学进度和教学方式，提高教学效果。教师也可以在平台中根据教学目标和学生情况，灵活制定实验项目和实验环境。另一方面，老师还能根据多年积累的教学经验或者其他老师共享的资料定制资源库、习题库及案例库，通过对教学过程的组织，可以实现教师备课、学生预习、实验作业布置批改、教学过程检查等功能。同时，这些数据可以反过来量化教学过程，有助于教学评价的智能化和公平公正化，为教学决策提供数据。

3.3推动学生和教师创新实践活动

平台也为学生实践创新活动和科研活动助力，面向全校师生提供课外科技创新研究的资源和服务。在开放实验室中部署一套物联网智能网关，实现对实验室电气设备、空调、灯光控制器以及对烟雾传感的采集，并与平台实时联动，实现统一控制与报警联动功能。平台实现实验室内学生和教师的预约、实验室分配及与门禁系统联动、数据采集、自主考勤，通过人脸识别摄像头，判断学生信息并记录学生在实验室学习的时间，得到开放人机时数，平台增设电器控制系统，可对实验室电源插座、空调、灯光、烟雾进行开闭的智能控制，通过采集的信息与平台实现联动，进一步增强基地开放实验室安全性，同时具有火灾和盗窃的检测和报警系统，为实验室全天安全开放提供技术保障，提高实验室利用率。

结语

我室对基于大数据的计算机实验室管理进行了初步探讨，实验室综合服务管理平台数据的一致性使实验技术人员减少了在多个系统中核对数据的工作，虚拟化技术提供各种虚拟化实训环境和考试环境，免于反复同传和克隆，从一定程度上使实验技术人员从烦琐的重复劳动中解放出来，更好地服务实验教学、科研与学生创新。大数据的数据分析特性更好地为材料购买和资产建设提供很多趋势数据，为实验室建设提供依据。大数据正以独特的技术推动高校计算机实验室的建设，为实验室信息化、精细化、智慧化管理提供了新的途径，提升了实验室管理水平。

作者简介：刘洁（1980— ），女，汉族，广西桂林人，博士，实验师，研究方向：实验教学与管理。