云技术和云的发展

2011-04-17罗根源

科技传播 2011年9期

罗根源

重庆师范大学涉外商贸学院数学与计算科学学院，重庆 401520

1 云计算的产生

在原始模式下，我们建立一套完整IT系统需要购买硬件、软件等基础设施外，还需要买软件的许可认证，需要专业人员维护。当IT行业的规模不断扩大时，我们还要继续升级换代各种软硬件设施以满足需要。在很多情况下，计算机软、硬件等资源不是人们真实的需求，它是为了完成工作提高效率的辅助工具。诊对个人计算机而言，最底层的是硬件，光有硬件的计算叫裸机，没有太多的用途，我们还需要安装一系列的软件才能使用，目前大多数软件需要收费。然而很多软件是我们不经常用到的，购买这样的软件对用户而言是很不划算的。基于此人们提出这样一种服务，建立一个能够提供人们需要的所有软件租用平台。这样以来我们只需花费很少的资金在软件产品的购置上，人们可以共享这些软件资源，基于此提出了云计算的思想，实际上云计算是想达到将计算、服务和应用作为一种普通公共设施提供给人们，使人们能够共享资源，比如，像人们使用生活资源水、电、气一样。

2 云计算的概念

云计算（Cloud Computing）是由分布式计算（Distributed Computing）、网格计算（Grid Computing ）、并行计算（Parallel Computing）等多种传统计算机技术和网络技术发展的产物。以互联网络为载体把多个成本相对偏低的计算实体组合成一个强大的计算能力系统，并借助IaaS、PaaS、SaaS、MSP[1]等先进的商业模式把这种非常强大的计算能力分布到多个用户终端手中。Cloud Computing的一个中心思想就是通过不断提高“云”的处理能力，来减少用户终端的处理负担，使得用户终端形成一个简单的输入输出设备。并能按需分享“云”的强大计算处理能力。

3 云计算的主要技术

云计算是一种新兴的超级大规模计算方式，是以数据为中心的一种数据密集型的超级计算。在多个领域有其独特技术，如数据存储、数据管理、编程模型、虚拟化技术等，再次基础上还牵涉了许多云计算的其他技术，如表1所示。主要介绍云计算特有的技术，包括数据存储技术，数据管理技术，编程模式等。

3.1 超大规模数据分布存储技术

云计算系统是由云端大量的服务器组成，用户使用云端的资源为大量用户服务，因此在云计算系统中采用分布式存储的方式存储数据，用冗余存储的方式保证数据的可靠性。在云计算系统中广较为泛使用的数据存储系统是由Google公司的GFS和Hadoop开发团队开发的GFS的开源实现HDFS。

GFS文件系统（Google File System），是一个可扩展的分布式文件系统它能对大量数据进行访问和应用，用于较大型的分布式的。GFS的设计理念区别于原始的文件系统，主要针对大规模数据处理和Google应用特性而设计的。运行于较为便宜的一般硬件上，具有较强的容错能力，它能为用户提供很好的服务。

GFS集群主要由一个主服务器（master）和大量的块服务器(chunkserver)构成[2]，而且被大量客户所访问。主服务器存储文件系统所有的数据，包括访问控制信息、名字空间、从文件到块的映射以及块的当前位置。它能控制系统范围的一系列活动，比如，孤块的垃圾收集、块服务器间的块迁移、租约（lease）管理。主服务器在规定的时间定期通过HeartBeat消息与每一个块服务器通信，将其消息传递结块服务器，并传递指令收集它的状态。

客户与主服务器的交换可以对元数据操作，全部数据方面的通信都直接和块服务器联系，这种模式大大提高了系统的效率，减小主服务器的负载。

3.2 超大规模数据管理技术

云计算需要对海量的数据进行处理、分布、分析研究，因此，所有的数据管理技术必需能高效的管理超大规模的数据。云计算系统中的数据管理技术主要是Google的Hadoop团队开发的开源数据管理模块HBase和T（BigTable）数据管理技术[3]。

BT是基于 GFS的 Lock Service、Scheduler、MapReduce之上的一个大型的分布式数据库，与传统的关系数据库有所区别，它将所有对象作为数据来处理，形成一个巨大的数据链，用来分布存储大规模结构化数据。

3.3 编程模型

MapReduce是由Google公司开发的C++、Python、java、编程模型，它是一种简化的分布式编程模型和高效的任务调度模型，用于大规模数据集的并行运算大于，以1TB为单位量。具有严格的编程模型使得在云计算环境下的编程很简单。MapReduce模式的观点是把将要执行的问题分解成Reduce（化简）[4]、Map（映射）的方式，先用Map程序将数据分割成不相关的区块，分配给大量计算机处理，达到分布式运算的效果，通过Reduce程序将结果汇整输出。

3.4 虚拟化技术

该技术可以实现软硬件平台的分离，能将单一资源划分成多个虚拟资源的裂分模式，还包括将多个资源整组成一个虚拟资源的聚合模式。虚拟化技术根据对象可分网络虚拟化、计算虚拟化、存储虚拟化等，计算虚拟化又分为应用级虚拟化、桌面虚拟化、系统级虚拟化、。

3.5 云计算平台管理技术

云计算整体资源规模复杂体系大，是因为服务器分散在不同的地点，使用于多个不同的领域，要保证这些服务器正常的运转是该学科研究的问题。

云计算系统各类平台管理技术能够使大量的服务器协同工作，方便的进行各类业务部署和开通，快速发现和恢复系统故障，通过智能化、自动化的手段实现大规模系统的可靠运营。

技术类型具体技术设备架设数据中心节能、节点互联技术改善服务技术可用性技术、容错性技术资源管理技术数据存储技术、数据管理技术任务管理技术数据切分技术、任务调度技术、编程模型

表1 云计算中的技术

4 云计算的应用领域

目前，英特尔、微软、亚马逊、谷歌、 IBM、等公司都提出了“云计划”。他都提出一个叫了 “蓝云”的计划。从此云计算在不同领域的价值得到了体现，由其是在商业价值方面得到了极大的发展。多家国内外学术机构也都对云计算进行全方位深层次的研究。谷歌同清华大学、华盛顿大学以及合作，启动云计算学术合作计划，推动了云计算的普及和发展，加紧对云计算的研究。卡内基梅隆大学等对数据密集型的超级计算进行研究，本质上也是对云计算相关技术开展研究。

IDC 的调查统计显，在以后的5年中云计算服务的各个领域将不断增长，估计在2012年前后市场规模可达600亿美元。此时云计算在企业得到了普及，并且有每年递增的势头。预计在2012年，企业投入在云计算服务领域的支出将占整体 IT 成本30%，甚至在2013年提高至 IT 总支出的50%。基于此，云计算在国内外科研机构和企业的推动下得到不断的发展[5]。

云计算有着非常广阔的应用前景。如表2所示。云计算在科研、医学、天文学、网络安全、图形图像、安全等各个领域有着广泛的应用前景。

表2 云计算的应用领域

5 云计算存在的问题

尽管使用云计算服务有非常多的好处，但作为一项新兴技术，云计算仍然存在着诸多的问题，使人们对其仍然抱有怀疑和观望的态度，如何解决安全、技术、经济、网络、兼容性是云计算面临的重要问题。其中安全是首要问题，云计算意味着企业将把类似客户信息这类具有很高商业价值的数据存放到云计算服务提供商的手中，信息的安全性和私密性是用户最为关心的事情。根据IDC的调查结果，将近75%的受访企业认为安全是云计算发展路途上的最大挑战。