基于云计算环境的大数据兼容性存储系统设计

金宇

关键词：大数据兼容性存储; 关系数据模型; 大數据存储模型; 云计算; 信息储存; 并行处理

中图分类号： TN911?34;U665                     文献标识码： A                      文章编号： 1004?373X（2019）01?0024?04

Abstract： In order to better adapt to the development of the environment， and promote the progress of science and technology， the real?time and heterogeneous characteristics of network data are researched， the network data detection and storage system is innovated and optimized in combination with phase cloud computing method， an innovative design scheme of big data storage system is proposed， and the big data storage processing model based on cloud computing is designed. The cloud computing method is used to analyze the characteristics of network data information. The extension of the data model， storage and parallel processing problems are studied to optimize and innovate the data storage system， and improve the practical value of the system. The system performance was detected with experiment. The experimental results show that the system has higher superiority than the traditional information storage system， and achieves the design goal effectively.

Keywords： big data compatibility storage; relational data model; big data storage model; cloud computing; information storage; parallel processing

随着现代技术高速发展，对当前海量数据快速地进行有效兼容和存储的要求逐渐受到重视。由于传统数据库难以满足对大数据进行精确筛选兼容和海量存储提取的需求，导致数据存储系统难以快速高效地对数据进行传输和提取[1]。基于上述原因，结合云计算方法对大数据兼容性储存系统进行创新设计，对大数据拓展及储存方法进行创新，以达到对数据兼容关系和数据存储模型进行优化和完善的优化目标。从而有效完成对数据进行筛选的工作，提高数据兼容性，简化系统操作流程，提高信息储存量和传输精准度[2]。为检验方法的有效性和实用性，本文设计了多次仿真实验，与传统的数据存储系统运行效果进行检测和对比。检测结果证实，基于云计算环境的大数据兼容性存储系统可以有效解决关系数据模型的兼容和扩展性问题，有效提高了对海量数据进行查询的工作效率，有效解决了当前对大数据兼容存储能力不足的问题[3]。

1  基于云计算的关系数据扩展模型设计

与原始数据处理方法相比，云计算对非结构化数据进行处理的过程具有结构性特征，该特征与关系数据模型内元组的逻辑形式相似，存在信息特征对应关系，因此可以利用数据特征类型对数据特征进行拓展描述[4]。由于结构化数据难以保证数据类型，因此无法简单地与关系数据进行对应。结合数据抽象计算方法对结构化数据特征进行扩展和转化，以便进行信息存储和压缩，针对信息拓展传输方法设计了树形结构，如图1所示。

图1中，系统中对数据特征及数据拓展子系统的处理主要集中于数据储存模块，以便对结构化和非结构化数据及扩展和转化后的子数据特征进行描述[5]。同时采用行式或列式的方法对大量数据进行压缩和存储。在完成数据扩展分类的基础上，根据数据特征进一步进行数据类型切分。当数据扩展范围超过限定阈值时，扩展出来的虚拟类数据信息被视为普通子类信息进行储存处理[6]。为了更好地对虚拟类扩展数据继承关系特征进行展示，以便将数据进行分类储存，达到快速准确地对数据特征进行查询的设计目标，对关系数据和非关系数据转化和扩展类型切分方法进行深入研究，以提高对大数据进行管理和分析的性能[7]。基于上述思路设计了关系数据扩展类型切分系统，如图2所示。

2  基于云计算的大数据存储方法优化

对大数据扩展存储系统的设计需要对系统底层数据库信息进行组织，以便提高系统中数据的兼容性，避免数据存储过程中出现信息损坏等问题[8]。同时高效快速地为系统用户提供一致、可扩展的数据访问接口，方便用户快速精准地获取数据源图文信息[9]。基于上述目标，对基于云计算的数据储存管理访问模块设计思路进行展示，如图3所示。

如图3所示，用户可通过数据管理入口处理系统对数据库进行统一访问，利用大数据访问统一接口对所需数据进行提取和储存等操作，最后数据可在数据关系映射层进行缓存，并永久性地储存在数据库最底层中[10]。另外，数据存储系统中通常利用非关系型数据特点为缓存数据进行特征分类，来实现数据的扩展和转换，以便优化客户端的数据通信模式[11]。在数据量相对较大的情况下，需在数据库缓存系统中使用集群方法对临时数据进行优化和储存，从而实现对大量数据进行转换和兼容的设计目标[12]。结合上述思想设计了基于云计算环境的数据储存优化系统，系统设计流程如图4所示。

3  数据并行高效实时处理方法设计

为了在大量数据并行的情况下提高数据实时处理效率，结合前文内容对大规模数据并行处理系统中的分类特征进行提取和研究，以便在系统运行过程中可以及时获取待采集的任务数据，并准确地将任务插入到采集队列中，从而达到准确划分、快速调度和执行数据任务的设计效果[13]。在完成任务数据采集后，对所需的数据进行传输和存储处理。由于数据规模相对较大，通常情况下需要对任务进行并行处理，并通过监控系统和数据监听模块对并行任务处理情况进行监督和管理，最后对数据的存储结果进行有效的分析和检测。在数据并行处理过程中，一旦检测出设备故障，系统会立刻发出告警通知，以便及时对系统异常情况进行检测，避免在储存过程中出现数据失真和异常等情况[14]。综上所述，对数据并行处理系统进行设计，系统具体设计流程如图5所示。

在数据并行过程中会呈现出明显的层次性关系，为了更好地对复杂、多样的数据进行兼容和存储，需定时对系统数据库中的待采集系统任务进行提取，并通过告警系统对是否终止正在运行的数据采集任务进行判断[15]。一旦出现需要停止系统任务运行的情况，则需要针对任务编号对并行任务进行排查和筛选。为了准确地对采集队列中出现异常的任务进行移除，需要对数据并行处理系统进行优化。结合前文内容对数据兼容储存更新系统进行完善，从而有效执行并行任务，同时对任务进行处理，及时更新和查询数据特征，保障数据储存的完好性。数据兼容储存更新系统结构优化设计如图6所示。

4  实验结果与分析

为了对大数据兼容性存储系统的性能进行检测， 对比传统方法进行多次仿真实验。为了保证数据储存效果，首先对数据库中失真失效的存储数据情况进行检测，检测结果如图7所示。

根据图7不难看出，随着存储系统中数据量的增加，传统的数据存储系统数据失真情况明显增加，且坡度较大，这说明传统数据存储系统难以对大量数据进行兼容，难以满足当前对大量数据进行有效储存的要求。而相比之下，改进后的数据存储系统失真率折线上升，速度相对平缓，由此证实该系统可以更好地对海量数据进行储存。通过检测结果发现，基于云计算环境的大数据兼容存储系统中存储数据的失真率低于50%，相对于传统方法有更明显的使用优势。

为了进一步对该系统的使用价值进行检测，在同等条件下对传统数据兼容存储系统和基于云计算的数据存储兼容系统进行实验检测。首先对两种方法的数据兼容储存效果进行检测，并对比检测数据结果，得到如表1所示的信息。

根據表1信息不难发现，传统方法中可存储数据量不足本文方法的[12]，且基于云计算环境的大数据兼容存储系统无论是在数据并行处理、数据存储还是在数据处理时间方面都明显优于传统方法。进一步对系统的数据兼容效果进行检测，在同等条件下，根据传统方法和本文方法的检测结果绘制成折线图，如图8所示。

根据图8检测结果可以看出，本文设计的数据处理系统可以更好地完成数据兼容，其对大数据的兼容性可达到100%。能够有效进行数据采集、处理和存储工作，充分满足了当前对大数据进行存储的设计要求，适用于实际工作应用中。

5  结  语

本文针对当前网络对海量数据存储和管理系统中存在的问题进行分析，为了更好地适应网络信息技术的发展要求，设计基于云计算环境的大数据兼容性存储系统，从而达到对网络中大规模信息资源进行采集处理和兼容存储的设计目标。通过实验检测证实，该系统具有存储容量大、数据兼容性强，信息处理高效准确等优点，可有效提高数据采集处理效率，充分弥补传统方法中的不足，适用于实际信息存储工作中。

参考文献

[1] 涂俊英，李志敏.云计算下非结构化大数据存储系统设计[J].现代电子技术，2018，41（1）：173?177.

TU Junying， LI Zhimin. Design of unstructured large data storage system based on cloud computing [J]. Modern electronics technique， 2018， 41（1）： 173?177.

[2] 汤义好.校园网云存储开放平台的设计：基于云计算和大数据技术[J].内江师范学院学报，2017，32（6）：43?48.

TANG Yihao. The design of campus network cloud storage open access platform： based on cloud computing and big data technology [J]. Journal of Neijiang Normal University， 2017， 32（6）： 43?48.

[3] 罗弦，查志勇，徐焕，等.基于云计算的大数据自动分类处理系统设计[J].计算机测量与控制，2017，25（10）：278?280.

LUO Xian， ZHA Zhiyong， XU Huan， et al. Design of large data automatic classification and processing system based on cloud computing [J]. Computer measurement & control， 2017， 25（10）： 278?280.

[4] 邹华.云计算环境下大数据分布规律的结构优化设计[J].现代电子技术，2016，39（8）：18?20.

ZOU Hua. Optimization design for structure of big data distribution regularity in cloud computing environment [J]. Modern electronics technique， 2016， 39（8）： 18?20.

[5] 王雪丽，胡波.基于云计算的银行信息化模式研究与设计[J].阴山学刊（自然科学版），2017，31（1）：61?63.

WANG Xueli， HU Bo. Research and design of bank information model based on cloud computing [J]. Yinshan Academic Journal （natural science edition）， 2017， 31（1）： 61?63.

[6] 张露，尚艳玲.云计算环境下资源调度系统设计与实现[J].计算机测量与控制，2017，25（1）：131?134.

ZHANG Lu， SHANG Yanling. Design and implementation of resource scheduling system in cloud computing environment [J]. Computer measurement & control， 2017， 25（1）： 131?134.

[7] 姜明月.云计算平台下的大数据分流系统的设计与优化[J].现代电子技术，2016，39（2）：28?32.

JIANG Mingyue. Design and optimization of large data strea?ming system based on cloud computing platform [J]. Modern electronics technique， 2016， 39（2）： 28?32.

[8] 朱亚东，高翠芳.基于PSO的云计算环境中大数据优化聚类算法[J].计算机技术与发展，2016，26（9）：178?182.

ZHU Yadong， GAO Cuifang. Big data optimization clustering algorithm based on PSO in cloud computing environment [J]. Computer technology and development， 2016， 26（9）： 178?182.

[9] 高新成，王燕，李春生，等.基于云计算的大数据教学服务平台设计[J].绥化学院学报，2017，37（8）：146?150.

GAO Xincheng， WANG Yan， LI Chunsheng， et al. The research of cloud service platform for higher education based on the big data [J]. Journal of Suihua University， 2017， 37（8）： 146?150.

[10] 张洁，薛胜军.云计算环境下气象大数据服务的应用[J].安徽农业科学，2016，42（5）：298?301.

ZHANG Jie， XUE Shengjun. Application of the services of meteorological big data in cloud computing [J]. Journal of Anhui Agricultural Sciences， 2016， 42（5）： 298?301.

[11] 申琢.基于云计算和大数据挖掘的矿山事故预警系统研究与设计[J].中国煤炭，2017，43（12）：109?114.

SHEN Zhuo. Study on early warning system of coal mine accidents based on cloud computing and big data crunching platform [J]. China coal， 2017， 43（12）： 109?114.

[12] 张向睿，向华，董雄报.面向云计算大数据中心的制造业项目管理系统设计[J].现代电子技术，2017，40（12）：46?48.

ZHANG Xiangrui， XIANG Hua， DONG Xiongbao. Design of manufacturing project management system for cloud computing big data center [J]. Modern electronics technique， 2017， 40（12）： 46?48.

[13] 李鸿雁.大数据云计算环境下的数据安全探讨[J].信息与电脑（理论版），2017（3）：201?202.

LI Hongyan. Discussion on data security in big data cloud computing environment [J]. China computer & communication （theoretical edition）， 2017（3）： 201?202.

[14] 苏树鹏.基于Hadoop的大数据解决方案的设计及应用[J].河池学院学报，2017，37（2）：89?93.

SU Shupeng. The design and application of big data solution based on Hadoop [J]. Journal of Hechi University， 2017， 37（2）： 89?93.

[15] 毛海波.基于云计算的OA资源数据交换模式探讨[J].宁波大学学报（理工版），2016，79（1）：28?32.

MAO Haibo. Probe： OA resource data exchange mode based on cloud computing [J]. Journal of Ningbo University （natural science & engineering edition）， 2016， 79（1）： 28?32.