基于大数据技术实验室建设探索与研究

2017-04-13黄叶超郑庚

电子测试 2017年24期

黄叶超，郑庚

（广东轻工职业技术学院，广东广州，510300）

0 引言

在科学技术不断革新的基础上，数据量的稳定增长促进着大数据时代的带来，也进一步推动着大数据技术的发展，在此时代背景下，各大高校积极在教学过程中，加大对大数据技术人才培养的力度，而大数据技术实验室的建设正是源于此。目前高校在人才培养的过程中，往往存在缺乏实验基地以及实验条件差的情况，这无法满足学生实际需求，因此建设大数据技术实验室就显得十分重要了。

1 大数据分析

大数据是一种信息资产，并且无法通过常规的软件工具，进行捕捉、储存以及管理、分析，同时大数据有着多样化、海量以及增值量高的特点，是新时代的备受关注的基础性战略资源[1]。并且大数据具有高数量、速度快以及多样性、高价值的特点，人们同对大数据的整理以及分析，能够获得新的需求，并持续增长新知识，对社会建设有着创新性价值。

大数据技术主要是对数据中蕴含的特点进行挖掘，通过建立模型、迭代验证以及模型确立、预测实现这整个流程[2]，能够对各行业进行预测性分析，提出具有建设性、可行性的建议，有着一定的辅助决策作用。大数据技术主要分为计算分析技术以及数据存储技术这两个方面，其中数据存储技术主要包括着MPP架构新型数据库集群以及非结构化数据收集架构等，而数据计算分析技术主要包括自然语言处理、预测模型以及模式识别技术等。

2 高校大数据技术实验室建设的意义

大数据技术实验室的建设，一方面可以给广大师生搭建一个大数据技术研究与探索的重要平台，能够给一些工程研究生、青年教师，提供研究大数据处理技术、课题研究以及课堂教学实训的良好环境，另一方面能够有效的培养学生掌握大数据技术应用理论、应用能力，使得高校学生能够具备扎实、良好的大数据处理、分析技术，提高高校学生的创新能力、实践能力以及动手能力，有利于高校培养出大数据技术型人才。

3 大数据技术实验室建设探索

3.1 硬件设施建设与软件设施建设

大数据技术实验室建设需要在高校实际科研需求以及教学需求下，遵循国家建设标准，通过国内外先进大数据技术支持，结合安全有效的技术手段，建立起有可行性、可扩展性以及实用性佳的大数据技术实验室。在这个背景下，大数据技术实验室硬件设施建设需要包括数据存储与数据计算中心、数据终端以及可视化模块[3]。数据存储以及数据计算作为大数据技术实验室整个核心部分，其主要包括计算资源、虚拟化以及存储资源等基本功，常见的硬件设施多选择HP、Dell以及IBM等。通过一些列的软件部署以及架构，支撑起大数据技术实验室基础功能，常见的软件设施有多种存储模型管理系统等，在实际建设的过程中，高校可以积极借鉴国内外有效高校的大数据技术实验室建设经验，同时也可以参考一些科技公司在这方面的经验。

3.2 实验室建设总体框架

大数据技术实验室由硬件与软件设施整合而成的，主要包括了应用层、云服务平台以及虚拟资源层、基础设施层。其中“应用层”主要作为教学实验实训管理；“云服务平台层”主要作为云服务运维管理；“虚拟资源层”主要作为计算资源的虚拟化管理，主要负责用户管理，对用户的申请、权限以及生产环境等配置模板进行管理，同时也针对用户的实际需求，制作出相应的系统镜像，然后对其分配计算资源；“基础设施层”则主要为服务器以及网络设备，主要负责用户VM管理以及在基础设施中进行为物理服务器的维护以及添加。

3.3 大数据技术实验室管理平台建设

大数据及时实验室管理平台建设主要包括知识资源库管理平台、协同开发服务云端平台以及协同开发桌面云平台。首先知识资源库管理平台建设，一方面建设源码库、类库等支持性构件，另一方面要建设开发计划、测试用例、实际素材以及案例库等相关文档，以此保障项目研发效率得到有效提升。另外，针对高校人才培养目标，需要建设相关的知识资源案例，提供详细的项目案例示范、文档撰写示范以及编码案例示范等。其次协同开发服务云端平台建设，需要将项目设计部分以及实际需求产生的项目软件说明书，在平台中进行系统导入，在此要注意的是，该说明书必须要作为注册的初始化文档进行导入。最后为系统开发桌面云平台建设，在实际建设的过程中，必须要将桌面计算机的CPU、内存自己硬盘与计算资源在云计算数据中心机房进行部署，然后再对物理资源进行虚拟化转变，并根据用户的实际需求，提供符合用户意见的虚拟桌面服务。

3.4 Spark大数据实验室建设分析

简单以Spark大数据实验室建设作为案例进行分析，Spark实验室的建设是在基于OpenStack云平台基础上的，OpenStack主要起到一种虚拟机管理的作用，也就是说，主要对虚拟机的建设、挂起以及重启、销毁等操作进行管理。作为Spark实验室的主要集群平台，其通常由≧6台的虚拟机配置，其中4台虚拟机主要为工作节点，1台虚拟机为主节点，剩余1台虚拟机为主备份节点，组成Spark服务器集群。同时可以合理增加hadoop2.X配置，并要保障其部署结构能够和Spark部署结构相一致，该配置能够当做Spark on yarn的模式环境，这样就能够保障Spark集群可以提供Spark standlone以及Spark on yarn这两种模式。在这种陪着下，Spark大数据实验室建设具备了轻配置以及易扩展的优势特点，同时能够重资源、易安装，基本能够满足高校教师的课堂研究与教学需求，同时也满足了学生的实践需求。