大数据与Hadoop

2016-11-30朱立北京信息职业技术学院北京100018

中国科技纵横 2016年2期

朱立(北京信息职业技术学院,北京 100018)

大数据与Hadoop

朱立
(北京信息职业技术学院,北京 100018)

【摘要】大数据技术正在向各行各业渗透。Hadoop作为数据分布式处理系统的典型代表,已经成为该领域事实的标准。但Hadoop并不等于大数据,它只是一个成功的处理离线数据的分布式系统,大数据领域还存在众多其他类型的处理系统。所以,Hadoop代替不了大数据的全部,但Hadoop是大数据时代的优秀代表。

【关键词】大数据 Hadoop 分布式处理系统

随着信息化技术的日渐普及、宽带网络的快速兴起,以及云计算、移动互联和物联网等新一代信息技术的广泛应用,全球数据的增长速度进一步加快。与此同时,一批数据收集、存储、处理技术和应用快速发展并逐渐汇聚。软件运用的技术越来越尖端,结合不断提高的计算能力,从数据中提取有价值信息的能力显著提高。大体量的数据不再是无序而又没有价值的,大数据诞生了。

1 认识大数据

所谓大数据,就是从各种类型的数据中,快速获得有价值信息的能力。大数据是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。它是对那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集所下的定义。

区别于过去的海量数据,大数据的特点可以概况为4个V: Volume、Variety、Value和Velocity,即大量、多样、价值密度低、快速。

第一,数据体量大。大数据一般指在10TB(1TB=1024GB)规模以上的数据量,目前正在跃升到PB(1PB=1024TB)级别。不仅存储量大,计算量也大。

第二,数据类型多。除了数值数据,还有文字、声音、视频等,包括网络日志、视频、图片、地理位置信息等多种类型的格式。由于数据来自多种数据源,数据种类和格式日渐丰富,已冲破了以前所限定的结构化数据范畴,囊括了半结构化和非结构化数据。

第三,价值密度低。以视频为例,不间断监控视频中,有价值的数据可能仅有一两秒。找到有价值的信息有如沙里淘金,其价值却又弥足珍贵。

第四,处理速度快。在数据量非常庞大的情况下,也能做到数据的实时处理。这一点和传统的数据挖掘技术有着本质的不同。

大数据技术是指从各种类型的大体量数据中快速获得有价值信息的技术。这是大数据的核心问题。目前所说的大数据不仅指数据本身的规模,也包括采集数据的工具、平台和数据分析系统。大数据研发的目的是发展大数据技术并将其应用到相关领域,通过解决大体量数据处理问题促进其突破性发展。因此,大数据时代带来的挑战不仅体现在如何处理大体量数据并从中获取有价值的信息,也体现在如何加强大数据技术研发。大数据所涉及的关键技术大致包括6个方面:数据采集与数据管理、分布式存储和并行计算、大数据应用开发、数据分析与挖掘、大数据前端应用、数据服务和展现。

2 大数据与Hadoop

伴随大数据技术的普及,Hadoop因其开源的特点和卓越的性能成为一时的新宠,甚至有人认为大数据就是Hadoop,其实这是一个误区。Hadoop只是处理离线数据的分布式存储和处理系统。除了Hadoop,还有用于处理流数据的Storm、处理关系型数据的Oracle、处理实时机器数据的Splunk……目前主流的大数据系统很多, Hadoop只是其中的代表。

2.1 Hadoop的核心模块

Hadoop Common:Hadoop的公用应用模块,是整个Hadoop项目的核心,为Hadoop各子项目提供各种工具,如配置文件和日志操作等,其他Hadoop子项目都是在此基础上发展起来的。

Hadoop Distributed File System(HDFS):Hadoop分布式文件系统,提供高吞吐量应用程序数据访问,并具有高容错性。对外部客户机而言,HDFS就像一个传统的分级文件系统,可以进行增删改查或重命名等常规文件操作。但实际上HDFS中的文件被分成块,然后复制到多个计算机中,这与传统的RAID架构大不相同。HDFS特别适合需要一次写入、多次读取的超大规模数据集的应用程序。

Hadoop YARN:一个作业调度和群集资源管理框架。

Hadoop MapReduce:基于YARN的大型数据分布式并行编程模式和程序执行框架,是Google的MapReduce的开源实现。它帮助用户编写处理大型数据集的并行运行程序。MapReduce隐藏了分布式并行编程的底层细节,开发人员只需编写业务逻辑代码,而无需考虑程序并行执行的细节,从而大大提高了开发效率。

Apache的其他与Hadoop相关的项目还有很多。

2.2 Hadoop的特点

作为分布式计算领域的典型代表,Hadoop比其他分布式框架有更多的优点。

可扩展性:Hadoop可以在不停止集群服务的情况下,在可用的计算机集簇间分配数据并完成计算,这些集簇可以方便地扩展到数千节点中。

简单性:Hadoop实现了简单并行编程模式,用户不需要了解分布式存储和计算的底层细节即可编写和运行分布式应用,在集群上处理大规模数据集,所以使用Hadoop的用户可以轻松搭建自己的分布式平台。

高效性:Hadoop的分布式文件系统具有高效的数据交互设计,可以通过并行处理加快处理速度。Hadoop还是可伸缩的,能够在节点间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。

可靠性:Hadoop的分布式文件系统将数据分块储存,每个数据块在集群节点上依据一定的策略冗余储存,确保能够针对失败的节点重新分布处理,从而保证了数据的可靠性。

成本低:依赖于廉价服务器,它的成本比较低,任何人都可以使用。