云技术对大数据管理的作用分析研究

2018-01-16林汉城

辽宁科技学院学报 2017年6期

林汉城

(闽南理工学院，福建石狮 362700)

0 引言

根据国际数据公司对数据监测情况来看，预计2020年，全球的数据量将会达到35万亿GB的数据量，其增长速度同比增长了近20倍。因为数据量的急据增长，冲击着互联网行业，数据变得越来越庞大，数据类型也变得越来越复杂，已经超出了传统数据管理系统的处理能力，导致数据管理进入瓶颈。大数据概念也因此应运而生。其数据类型也分为结构化、半结构化、非结构化三大类。此外，数据的更新速度较快，实时动态处理要求高。为了达到这一目的，人们不得不使用云计算技术对其优化。本文着重探讨云计算与大数据的基本理论，分析云技术对数据管理的作用。

1 云计算与大数据基本理论

1.1 云计算对于云计算而言，其起源主要是量子物理中的 “电子云”。根据量子物理中的电子云实质，不难得到云计算的存在意义，它主要是强调了以下三个性质，即为弥漫性、分布性与社会性。云技术的发展主要经历了四个过程，第一、网格计算过程；第二、共用计算过程；第三、软件服务过程；第四、云计算过程。其基本类型又可以分为三类，即为基础设施服务类型、平台服务类型、软件服务类型。由此可见，云计算的提出是计算机科学发展与进步的里程碑。

1.2 大数据大数据定义还没有统一的规范，一般说法是：第一，大数据的数据量大、其结构十分复杂。第二，大数据是具有种类多、流量大、容量大、价值高、社会特征丰富的数据。第三，大数据是具有内容大、分析大、带宽高的海量数据。

1.3 大数据与云计算的关系所谓大数据就是海量数据，以所获得的数据为分析依据，进行剖析，从而得到认识的完整性。云计算的实质就是计算，它测重点是重视IT的解决方案，构造IT的基础框架，该过程主要是计算能力，常用于数据的处理与优化。海量数据是实现云计算的基石，充分利用云计算的强大分析能力与数据处理能力，能够提高大数据时代下的数据管理特性，从中获取到数据所携带的社会特征。两者之间共同促进，相辅相成。其主要区别见表1。

表1 大数据与云计算的关系表

2 云计算技术下大数据管理分析

众所周知，传统的数据管理模式，它主要有两种形式，第一是收集数据，第二是存储数据。我们以大数据背景为主，在云环境下建立数据管理模式，其管理模式结构如图 1所示。

图1 基于云计算的大数据管理模式

2.1 大数据采集

对大数据采集主要有以下两种方式：其一为集中式采集；其二则为分布式采集。这二种采集数据的方法各有优缺点。相对于分布式采集，集中式采集有着容易控制全局数据的优点。相对于集中式采集，分布式采集又有着善于处理变化数据的优点。两者优缺点如表2所示。

表 2 两种数据采集方法优缺点对照表

从上表中，我们可以看出，大数据时代下的数据采集方法各有优点，选择什么方法，需要结合实际情况，这样才能充分利用云技术来管理数据。

图2 基于云计算大数据分布式采集模式

对于大数据背景的数据来说，其数据结构十分复杂，在对数据进行采集时，针对不同的数据类型，我们应该采用不同的数据存储，换句话说，数据要分类存储，这样才利于对数据的后期管理。

2.2 大数据存储

在云计算中，我们需要一定的数据仓库作为计算中转站，这也使得如何存储数据成为人们关注的焦点。根据研究得知，数据库是一个具有仓储、集成性、相对稳定性的数据组合。通过对新型数据存储与传统数据存储的比较，我们不难发现这样一个问题，就新型的数据存储来说，其存储实质偏向数据分析与数据决策。传统数据库存储的实质与新型的数据存储有所不同，它主要是利用运营型系统来对数据进行存储。综上所述，大数据背景下的数据存储用传统的数据存储方式已无法满足。

随着数据量的增长，数据结构变的十分复杂。单结点的数据库在存储数据与分析海量数据中显得力不从心。传统的数据库主要是根据元组按行的方式存储数据，这种存储方式不利于后期维护数据。大数据采用列式存储数据库能够轻松地解决这一问题。列式数据库存储实质主要是基于属性列存储，也就是说，在存储中，每一属性列都单独存放，这就降低了数据的维护成本。尤其在云环境下，利用云技术存储数据无疑增加了数据库的管理能力。

2.3 大数据联机分析

在数据存储中，联机分析并处理海量数据，是云计算的应用特点。联机分析数据库能支持十分复杂的数据分析操作，侧重决策支持。在此过程中，联机分析数据也能够得到我们需要的信息。对于联机分析而言，其实质主要是以数据库中的海量数据为切入点，通过计算并构建出相关的数据分析多维模型，并使用多维分析数据的方法，从多个角度、多个层次入手，其分析结构如图3所示。联机分析处理的一大特点就是对数据多维分析，极大地加强了对数据库多维数据的信息采集效率。

图3 数据联机分析

利用联机分析处理技术可以简化大数据背景下的数据管理模式，使数据维护效率得到显著提高。

3 云环境下的大数据管理策略构建

3.1 制定合理的大数据管理规则

为促进云技术背景下的数据管理，解决大数据所带来的诸多问题。不少商家开始寻求数据管理所带来的机遇，许多国家逐步涉猎其中，试图挖掘大数据所带来的商业潜力。美国为了迎合大数据背景下的商业价值，推出了大数据研究与开发计划。中国在关注云技术与大数据进步的同时，合理规划大数据管理计划，还在积极地开展并推动大数据背景下的数据管理，努力提升海量数据的管理与应用能力。

3.2 制定大数据信息安全保护决策

基于大数据时代背景，一般的数据存储都借助于非关系型数据库，而许多非关系型数据库在安全性上并没有严格控制。同时又因为数据来源十分广泛，这无形中就增加了监管部门对数据安全的监管难度。又因为在实际过程中，数据的储存都不太分散，这样一来，数据保护虽然得到了便利。但是数据的安全却得不到保障,所以就需要人们重视数据安全，建立保护数据的法律法规。除此之外,基于技术进步以及数据信息的指数级增长方式，相关部门应该在数据量增加的同时细化相关法律，使其落实到实处。当然也需要借鉴其他地方的管理经验，共同保护云环境下的大数据安全，对数据管理具有重要意义。

3.3 建立云计算和大数据的技术标准

云技术下大数据的管理技术标准，比如云的相关特性和接口的优化，在操作云时的业务迁移与相关安全性问题都需要解决。在解决过程中又需要结合大数据背景下的技术标准，包括采集、质量、生命周期等，对大数据背景下的数据管理是极为有益。目前，世界领域中的云计算标准化工作已启动了，针对于大数据所带来的机遇和挑战，为了更好地应对。我们也应该积极参与其中，合理制定大数据与云计算标准，继而优化数据管理。