APP下载

基于云计算的大数据技术的研究

2018-12-25刘会珍滁州职业技术学院

数码世界 2018年6期
关键词:海量数据管理数据处理

刘会珍 滁州职业技术学院

大数据时代的到来,使得大数据技术成为时代讨论的核心问题,大数据技术使得信息处理更加高效便捷,准确安全,并且应用于多领域、多方面,使得整体工作效率得到明显提升,同时,云计算在海量化、爆炸式的信息数据时代里给予大数据以信息存储、信息处理、信息管理、信息分析等多方面的技术支持,促进大数据技术的发展,使得信息处理系统得到明显的优化,使云计算成为大数据分析处理的核心,这也是研究大数据技术的关键,本文将基于云计算对大数据的技术支持以及两者之间的关联性,对大数据的定义及其特征进行准确概括,分析大数据技术的应用,并对大数据的关键技术进行探究。

1 理解云计算和大数据

所谓云计算是指基于网络,对数据进行相关计算,储存,系统化地将网格计算、并行计算、分布式计算加以应用,同时,结合多种软件和硬件,促进网络数据管理优化升级,给予用户更加多样的选择,更加全面的服务,简而言之,云计算技术就是一种新型的网络管理调度技术,更好的促进资源的开发和利用、大幅提高整体的运算效率。

大数据指的是由大量异构数据组成的数据集合,简单可以理解为信息的海量性、复杂性和多样性。其大数据技术是指从这爆炸性的海量数据中,能够进行快速筛选、准确定位、安全的选出其中有价值的信息。大数据时代的讨论核心就是大数据技术,大数据技术也是应对大数据时代的关键技术。

大数据是在云计算之后产生的一个新的课题,两者存在关联性,大数据的处理是将云计算作为技术平台,云计算给予大数据技术以其多方位的技术支持,具体体现在数据存储、数据的处理、数据的计算分析上。大数据侧重数据的存储,云计算重点强调数据的计算,两者结合,优势互补,基于云计算去讨论和研究大数据技术有着重要意义,使数据处理更加便捷,展现更多的优势。

2 大数据的特征

大数据具体可以分为五大特征,即所谓的5V特性:

(一)体量(Volume)

大数据应有海量数据、其数据量大,存储量大、运算量大。

(二)多样(Variety)

大数据的数据种类丰富多样,数据形式具有多种类型。

(三)价值(Value)

大数据强调在海量数据中进行快速筛选,选择有价值的信息。

(四)速度(Velocity)

数据的增长数据快,是数据处理的速度要求快。

(五)准确(Veracity)

强调数据处理中的准确性。

3 关键技术

(一)数据存储技术

数据存储时讲究存储的可靠、安全以及高速的读写速度, 在利用云计算进行数据存储一般采用分布式存储,使得数据汇总并存储到集群服务器,如HDFS被广泛应用,因为其拥有较高的容错量,在对数据的访问上也有较大容量,很适合大数据的处理,便捷了大数据的应用。

(二)虚拟化数据管理技术

基于云计算的大数据技术在对数据管理上具有虚拟化特征,这能够针对大量数据,建立一个虚拟空间链接数据处理,使得各级共同合作,提高运算效率。

4 大数据技术的应用

大数据技术使其能在海量数据中快速筛选出最具有价值的信息,使其信息处理更加高速和便捷,其应用涉及到多方面、多领域。优化了领域服务,带给领域革命化的突破,同时又提供给人们更加多样和便捷服务。其一,金融领域的大数据存储了大量微小企业客户及数以亿计的个人用户行为信息、交易记录、身份数据等,拥有最好、最全的数据以及最完整的产业链,做 P2P 及个人小额信贷,具有最大优势[1]。其二,通过大数据的精确统计,可以收集用户的喜好,消费习惯等等,可以更加准确的制定市场营销的策略。其三,大数据对于公众服务的应用,可以更加便捷生活,建立通用的电子病历等基础数据库,实现医院之间对病患信息的共享,提高患者就医效率。[2]

5 小结

大数据技术作为当前热门的技术领域,得到了广泛的关注和研究。[3]基于云计算去研究大数据技术才能够满足时代的需求,两者结合更能发挥出优势,进一步推动数据处理的发展。

猜你喜欢

海量数据管理数据处理
一种傅里叶域海量数据高速谱聚类方法
企业级BOM数据管理概要
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
海量GNSS数据产品的一站式快速获取方法
定制化汽车制造的数据管理分析
基于低频功率数据处理的负荷分解方法
航发叶片工艺文件数据管理技术研究
无人机测绘数据处理关键技术及运用
海量快递垃圾正在“围城”——“绿色快递”势在必行
高层建筑沉降监测数据处理中多元回归分析方法的应用研究