基于云计算环境的非结构化大数据存储系统开发

2021-02-25曹海平

通信电源技术 2021年17期

曹海平

（湖北国土资源职业学院，湖北武汉 430090）

0 引言

云计算实际上是一个大规模的分布式计算平台，一方面能够在单个计算机环境下运行，另一方面也可以依托于互联网和许多计算机连接到一起，利用每个电脑的计算能力完成海量数据计算任务。在利用云计算进行海量数据信息处理时，其最大的问题点在于如何妥善安置大规模数据的存储问题[1]。这是由于在进行海量数据计算的过程中，不同数据信息需要存储到不同的硬件资源上，而当下已有的硬件资源难以达到海量数据的存储要求，使得计算机需要反复进行寻址，浪费大量时间，不利于提高云计算效率与效果[2]。所以，设计一个可以满足需求的大数据存储系统，对进一步提高云计算应用效果有着非常大的帮助。本文提出了一种非结构化大数据存储系统，从多个通道入手，完成基于云计算背景的非结构化大数据硬件与逻辑设计，有效解决了云计算环境下海量数据存储问题，提高了云计算效率。

1 基于大数据的智慧教育应用模式探究

非结构化大数据拥有存储形式多种多样、数据格式繁多、业务流程多样、数据标准化程度低以及信息数据量庞大等特征[3]。为了更好地实现对海量非结构化数据资源的存储，依托于分层网络结构，将云计算环境下非结构化大数据划分为多个功能层，涵盖有应用层、会话层、数据层、路由层和物理层。每个层有着各自具体的功能，应用层主要是为依托于云计算的非结构化大数据应用提供相应的接口；会话层在行使权限上表现更高的能力，拥有系统安全管控能力；数据层的主要功能是对依托于云计算的非结构化数据与元数据进行有效掌控；路由层的具体功能是确保相连设备交互稳定，同时实现路径计算[4-6]。

1.1 基于云计算环境的非结构化大数据存储系统开发框架

云计算属于分布式计算范畴，依托于将互联网中的不同计算节点视为资源地，实现对互联网资源的分析与整合，同时基于相应的专业软件完成对资源的管理。Hadoop是完成云计算必不可少的一部分，而在Hadoop中HBase又是极其关键的内容。

HBase属于一种分布式、面向列的数据储存系统，能够实现对海量数据的随时读取与访问[7]。HBase具备将表划分为多个区域的功能，各个区域都涵盖了表中所有行的一个子集，另外包含了一个主节点。以此节点为基础，对初始安装、给定服务区等相应区域进行引导，同时当区域服务产生问题时，能够帮助其解决问题点，总的来说，主节点负载不重[8,9]。

依托于HBase的非结构化大数据存储系统框架开发过程中，选择分布式架构中包含的主从方式，一方面提高了数据库的扩展能力，使得数据库的应用范围更加广泛，另一方面也确保了数据的一致性，为提高数据应用质量奠定基础。依托于HBase的基于云计算环境非结构化大数据储存体系框架如图1所示。

图1 依托于HBase的云计算环境非结构化大数据存储系统

基于云计算背景的非结构化大数据存储系统依托于网络收集与整合云计算环境下的大规模数据，然后利用后台系统对非结构化大数据进行有效存储。非结构化大数据储存平台如图2所示。

图2 非结构化大数据储存平台

1.2 基于云计算环境的非结构化大数据存储算法开发

在实际进行云计算网络环境中非结构化数据储存架构探究过程中，按照依托于云计算的非结构化大数据调度模型以及存储方式相似性较高的属性，能够获取依托于云计算背景下的非结构化大数据储存方式的二元域分布标准。假使利用k代表非结构化中众多数据中大数据源的具体个数，有k+ε个节点，以此为载体获得k+ε个非结构化大数据存储个体，要求ε是一个大于零的常数[10-12]。为了简化计算烦琐度，便于观察与核实，使用Yi代替k+ε个非结构化大数据存储个体，其中i表示为1,2,3,…,k+ε，从而可以得到Yi的表达公式为：

式中，X1,X2,…,Xk是k个不同非结构化大数据源资源包，gi是一个行向量，该向量是独立的，同时取值范围处于二元域F2={0,1}之间。

依托于矩阵，k+ε个非结构化大数据存储资源包可以表示为：

利用上面的计算方法，能够实现对非结构化大数据存储算法的开发，进而得到非结构化大数据存储系统。

2 仿真实验结果分析

为了更好地论证笔者开发的非结构化大数据存储系统的可行性，针对该系统开展模拟实验，以MATLAB R2018b为模拟平台，使用Inter P4 2GB处理器作为实验硬件，模拟非结构化大数据存储情况。将本文开发的存储方法与分布式云计算环境下的非结构化大数据存储方法进行对比，得到各自的存储性能，进而完成对比实验。

两种方法针对不同规模非结构化大数据开展存储工作，得到对应的存储时间，如表1所示。