大数据技术在高校实验室管理系统中的应用

晁妍 陈文龙 王浩

摘要：高校实验室是大学生实践创新、开阔眼界的场所，传统的实验室存在着不能及时反映实验设备的利用和损坏等情况。论文旨在研究大数据技术在实验室管理系统中的作用与意义。论文介绍大数据技术的一些概念和基本体系架构，结合实验室管理系统，重点阐述大数据技术在实验室管理系统中的应用。对Python数据分析与数据可视化进行介绍，分析数据挖掘技术和遗传算法在实验室管理系统中的应用前景，将大数据技术应用在实验室管理系统中来提高实验室的管理水平，做出科学决策，促进学生学习的主动性与效率。

关键词：大数据;实验室管理系统;Python;数据挖掘;遗传算法

中图分类号：TP3 文献标识码：A

文章编号：1009-3044（2020）18-0031-03

开放科学（资源服务）标识码（OSID）：

在现实生活中，大数据已经与我们的生活息息相关，例如网上购物时的个性化推荐。本文将阐述大数据的定义、特征和关键技术，结合高校实验室管理信息系统，分析大数据在高校实验室管理信息系统中的实际应用。

1 大数据简介

1.1大数据的概念

“大数据”，现在主流的说法有研究机构麦肯锡研究所等提出的定义，总结就是大数据是海量数据需要进行加工处理的信息资产，海量的数据的采集和存储都需要新的处理模式。

1.2大数据的特点

1.2.1体量大[1-3]

从上图中可以分析得出，2015年全球数据产生量是2005年的66.08倍，预计在2020年将会产生40ZB。

1.2.2速度快

大数据产生的速度远远超出我们得想象，2013年，有数据显示淘宝网每分钟成交8300多笔订单，这些订单会产生大量的信息，例如订单双方的个人信息，订单成交号，订单成交时间等。早在2017年，淘宝网每天产生的数据就达到了7T。

1.2.3种类多

现在大数据可以大致分为三类。第一类是传统企业数据。第二类是机器和传感器数据，工业中的各种仪器设备产生的数据。第三类是社交产生的数据，像现在比较流向的抖音、微博、微信等产生的数据。

1.2.4价值密度低

数据只是信息的表现形式和载体，对于我们有价值的是数据背后的某种关系或者知识。需要我们自己去采用高效的方式探索。大数据的体量庞大，种类繁杂，其中的价值就被其体量的庞大和复杂性所冲淡。

1.3大数据的幾种基本体系架构

1.3.1商业智能（Business Intelligence）系统架构[4][5]

商业系统简称BI，商业系统架构首先需要数据源，数据源来自企业的历史业务数据，它是企业运行时的状态的记录。传统关系型数据库中数据转换服务（DTS）中有强大的工具可以使用，可以从多种数据源中提取和转换数据。

1）工业大数据系统技术[6]

采集交换层：采集交换层是将各个传感器获取到的数据以及企业内部的各个管理系统中的数据进行收集，在这个过程中，需要一些数据搜集的工具以及初步数据预处理的工具。

集成处理层：集成处理层在功能上将建立不同主题的数据模型进而产生不同主题的数据库，此外，还进行数据清洗。

建模分析层：建模分析层在功能上是将现实生活中的实体进行抽象，然后进行分析建模，最终得到一个可以给决策者提供参考的结果。技术层面上在这一层将会涉及机器学习、统计规划等知识以及工具。

决策控制层：在建模分析层的基础上，将产生一个可信的结果，形成对工业系统决策产生影响。这将在工业的智能化生产等方面产生积极影响。

2）Lambda架构[7]

Lambda架构是由Apache Storm（-种分布式实时大数据处理系统）的设计者Nathan Marz提出，其特点是：批处理计算、实时计算、读写分离、复杂性隔离、高容错、低时延和可扩展性。

2 大数据在高校实验室管理系统中的应用

近年来，高校实验室发生意外的新闻报道屡见不鲜，据统计2010年到2015年我国发生高校实验室事故高达66起，意外带来了严重的损失。

2.1 实验室管理系统

2.1.1系统开发技术[8][9]

系统采用的是Java和Tomcat后台服务器技术，设计中采用了HTML和JSP技术完成页面设计的过程。

2.1.2 JavaScript

JavaScript可以增加HTML网页动态功能，例如反馈用户的所有操作。JavaScript的一个关键作用是向对象的功能，根据以对象为基础的程序开发，能够用更直接、系统化和能够反复利用的方法设计程序。根据HTML程序，可以采用JavaScript对交互式Web网页进行设计。

2.1.3 MySQL数据库

MySQL是一种常用的关系数据库管理系统。它包括电子商务、数据仓库和业务流解决方案所需的基本功能。

2.1.4 S2SH框架

主流的S2SH的技术架构有很多优点，例如：可以降低程序员面对问题的手忙脚乱的概率以及给程序员比较清晰的思维框架S2SH框架有很好的抵抗风险的能力并且具有良好的解耦性。

2.2 实验室管理系统中的大数据技术

2.2.1 Python语言[10]

Python是现在主流的数据分析语言，其具有代码量小、丰富的类库、便捷性强的特点。其中有三大库Numpy、Pandas、Matplotlib和Seaborn广为人知。下面是导人这些库的代码。

使用饼图能够比较直观地显示学生平均每周在实验室学习的频率，matplotlib提供了pie函数，我们可以给pie -些参数，使它能够清晰地显示我们的信息。

2.2.2数据挖掘技术[11][12]

数据挖掘是从大量可能不完整的数据或者随机的数据中获取有用知识的过程。现在Fayyad等人设计的多阶段模型被大家广为认可。从原始杂乱无章的数据经过数据初步选择成为任务数据，然后经过数据处理成为已经进化的数据，再将数据转换成事物数据，从事物数据中提取出我们需要的模式，最后经过分析评估得到我们具有价值的知识。

分析学生在做实验的时候产生的问题。在实验过程中，学生可能会遇到棘手的问题，在系统中学生可以记录下问题。在教师端可以查看到学生的问题所在，有效的改善学生遇到难题就退缩的习惯。每学期结束之后，系统将会统计全班学生遇到的难题分布表，有利于教师在传授知识时具有一定的针对性。

实验室每天都会产生大量的数据，实验室人员流通情况，实验设备流通情况，实验时间，实验人员信息等等[13]。将实验数据分类然后进行实体之间的关联，运用统计分析的方法来探讨实验设备的使用情况、实验人员的任务完成情况等。结果将会对实验室管理人员采购实验设备以及分析学生的学习情况提供依据。

3 大数据在實验室管理系统中面临的挑战

随着时代技术的发展，信息世界将会产生越来越多的数据，如何建立有效的数据存储模型成为一大难题。随着智能终端应用的多样化，挖掘信息世界的有效数据成为一个挑战，数据挖掘算法还需要进一步改进。在个人信息如此宝贵的时代，保护好用户的个人隐私又是一个及其重要的挑战。

4 结论

本文从大数据的特征和概念开始介绍，随后分析了一些常见的大数据架构，明确阐述了大数据技术在实验室管理系统中应用的可行性。之后探究大数据技术在实验室管理系统中的应用，主要体现在数据挖掘方面。最后分析了大数据在未来的实验室管理系统中的机遇，希望越来越多的学者能够参与到实验室管理系统的研究。

参考文献：

[1]程学旗，靳小龙，王元卓，等.大数据系统和分析技术综述[Jl.软件学报，2014.25（9）：1889-1908.

[2]吕登龙，朱诗兵，大数据及其体系架构与关键技术综述[J].装备学院学报，2017，28（1）：86-96.

[3]陶雪娇，胡晓峰，刘洋.大数据研究综述[Jl.系统仿真学报，2013，25（S1）：142-146.

[4]陶礼亮.基于云计算的Bl处理技术研究[Dl.长春：吉林大学，2013.

[5]惠瑜，商业智能关键技术的研究与实现[Dl.成都：电子科技大学，2008.

[6]王妙琼，马鹏玮，魏凯，等.工业大数据架构分析[J].信息通信技术，2018，12（3）：49-57.

[7]罗琦芳.一种基于Lambda架构的电信数据平台解决方案[J].电子技术与软件工程，2017（11）：182.

[8]雅娟.实验室管理系统的设计与实现[D].长春：吉林大学， 2016.

[9]杜朋，基于“互联网+”的高校开放实验室管理系统研究[D].淮南：安徽理工大学，2018.

[10]李俊华.基于Python的数据分析[Jl-电子技术与软件工程，2018（17）：167.

[11]马永杰，云文霞.遗传算法研究进展[J].计算机应用研究，2012，29（4）：1201-1206+1210.

[12]李成，杨淑媛，刘芳，等，神经网络七十年：回顾与展望[Jl_计算机学报，2016，39（8）：1697-1716.

[13]石军，数据挖掘在高校图书馆的应用[J].江西图书馆学刊，2005（3）：94-96.

【通联编辑：张薇】

基金项目：安徽省大学生创新创业项目：基于大数据的高校实验室管理系统的应用研究（编号：201810371022）;阜阳师范大学一阜阳市政府横向合作项目：阜阳市“平安城市”项目监控设备故障智能诊断系统的开发与应用（编号：XDHX201732）

作者简介：晁妍（1986-），女，青海人，硕士，讲师，研究方向：信息安全、数字图像处理;陈文龙（1998-），男，安徽人，本科，研究方向：大数据、计算机应用;王浩（1976-），男，安徽人，硕士，副教授，研究方向：数据挖掘、信息处理。