大数据处理技术基于云计算的探讨

林艳雯

（广东省电信规划设计院有限公司，广东湛江，524000）

大数据处理技术基于云计算的探讨

林艳雯

（广东省电信规划设计院有限公司，广东湛江，524000）

随着社会经济的不断进步，计算机网络技术得到前所未有的快速发展，其中大数据更是渗透到现代社会的各个领域，给人们的生产生活带来了极大的便利。近年来，高速发展的物联网技术、移动互联网技术等使得网络终端产生了海量的网络数据，数据处理压力十分巨大。基于这种大数据存储和处理需要，网络云计算技术应运而生并且得到了巨大发展。对此，本文在分析云计算的基础上对大数据处理技术进行了重点探讨。

大数据；云计算；数据处理

0 前言

近几年，随着互联网技术的日益发达和普及，各种信息传播的速度越来越快，数据规模也越来越大，现有的网络数据处理系统已经无法满足这种“爆炸式”的数据增长，这使得云计算技术应运而生[1]。大数据产生依赖于云计算技术的发展，在此背景下，大数据具有5V特征，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）以及Veracity（真实性）。与传统的数据存储、计算等方面相比，大数据具有复杂性、随机性、发散性等特点，因此更能精准有效的反映现实世界。而云计算技术随着大数据的产生而日益发展和成熟，它们之间相互依托，使数据存储和处理能力得到进一步的提升。

1 大数据和云计算的关系

所谓的云计算是指利用可配置的计算资源共享池，使用资源付费模式来为用户提供服务的网络技术[2]。云计算在进行数据处理时具有以下特点：规模巨大、虚拟化、可靠性高、扩展性强、成本低廉等。在这些特点之下云计算又衍生出许多独特的数据处理技术，主要有数据存储、数据管理以及虚拟化技术。由于云计算技术能够进行大规模的数据存储和传输，因此是进行大数据处理的最佳选择。云计算能够最大程度的为大数据提供巨大的存储空间以满足其庞大的数据资源，这样一来，就会加快数据处理速度，大大提高数据处理效率。

云计算与大数据其实是主客观的关系，云计算主要进行数据计算，而大数据则是计算的对象。前者注重数据计算，后者注重数据存储，它们之间相互依存，共同构成一个完整的数据处理系统。云计算大数据处理平台架构如图1所示。

图1 云计算大数据处理平台架构

2 基于云计算的大数据处理关键技术分析

2.1 大数据的采集技术

一般情况下，集中式采集和分布式采集是当前数据采集的两个主要方式，两种采集方式各有优点，其中集中式采集会较好的反映出数据的全局性，而分布式采集相对来说会有较强的灵活性，需根据实际情况来选择恰当的数据采集方式。事实上，大数据采集对象的范围比较广泛，除了组织内部的数据，还包括相互独立组织间的各种数据，而并行处理恰好是云计算的一个显著优势，所以混合式采集方式可以帮助我们更好的完成数据采集任务，

2.2 大数据的存储技术

云计算的数据仓库存储特点是列式存储，即根据数据的不同属性进行具体的划分和排列，之所以采取列式存储方式是因为可以根据属性来进行数据投影查询，同时还可以对相似数据进行压缩处理，这不仅大大加快了数据存储速度，提高了数据处理效率，而且还节省了仓库存储空间，降低了索引和视图的维护成本。

2.3 大数据的挖掘技术

云计算背景下的大数据挖掘采用分布式并行数据挖掘技术，此挖掘技术的独特之处就在于它适合处理大规模的数据资源，而传统的串行数据挖掘技术只能处理一些小规模的数据资源并且处理效率也较为低下。所谓的分布式并行数据挖掘技术就是先利用机器集群将预定的数据处理资源进行具体划分，然后再由闲散的机器对数据进行有规律的处理，这样一来就大大加快了数据处理速度，提高了工作效率。

2.4 大数据的可视化技术

所谓数据可视化是指用图形或图像的形式来表示大型数据库中的数据，大型数据库或数据仓库中的数据是数据可视化的主要对象，并且人们可以利用其中的数据分析和开发工具来发现其他未知的信息，这样人们对数据的观察和分析便变得更加直观，不再只依赖于传统的关系数据表。在云平台下，大数据可视化技术除了利于用户理解数据的含义外，还可以用来指引整个检索过程。

3 结语

云计算摒弃了许多传统数据处理技术的弊端，它能对数据进行更加准确且深层次的分析，极大的提高了大数据分析的能力和水平。在云计算的依托之下，大数据更加注重对数据的挖掘和创新，因而能够最大程度的发挥出自身的资源优势，所以必须要将两者充分紧密的结合起来，从而为网络用户提供更加全面可靠的数据服务。

[1]张焰,李杨.用大数据武装”云”:基于云计算的大数据处理技术[J].中国新通信,2015,04:87-88.

[2]龚旭.基于云计算的大数据处理技术探讨[J].电子技术与软件工程,2015,10:198.

[3]李晓飞.基于云计算技术的大数据处理系统的研究[J].长春工程学院学报(自然科学版),2014,01:116-118+125.

The research of large data processing technology based on Cloud Computing

Lin Yanwen
（Guangdong Telecom Planning & Design Institute Co.,Ltd.,Zhanjiang Guangdong，524000）

Since With the progress of social economy, the rapid development of computer network technology has been hitherto unknown, the data of which is penetrated into every field of the modern society, which brings great convenience to people’s production and life. In recent years, the rapid development of Internet of things technology, mobile Internet technology makes the network terminal produce massive network data, and the pressure of data processing is very huge. Based on this large data storage and processing needs, the network cloud computing technology came into being and has been greatly developed. In this regard, this paper focuses on the large data processing technology based on the analysis of cloud computing.

Big data；Cloud computing；Data processing