利用教学资源搭建开源云平台
2016-01-05刘毅
刘毅
摘要：随着云计算的日趋流行和成熟，企事业单位对云计算的需求越来越多。该文将介绍利用已有学校教学资源和开源云计算平台Hadoop搭建学校云计算环境。
关键词：Hadoop；云计算；开源
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2015）29-0114-03
Use of Teaching Resources to Build Open Source Cloud Platform
LIU Yi
（Guizhou Institute of Technology and Engineering， Guiyang 550001，China）
Abstract： With the increasing popularity of cloud computing and maturity， the demand for cloud computing units of enterprises and institutions is increasing. This article will introduce the use of existing school teaching resources and open source cloud computing platform to build the school cloud computing environment Hadoop.
Key words： Hadoop； cloud computing； open source
信息化发展的今天，普通学校拥有大量的计算机资源，而这些资源除了应对教学任务，大部分时候被闲置。另外由于计算机的更新换代造成学校不断重新购置新计算机。这些都是对计算资源的极大浪费，如何充分利用这些资源呢，可以使用开源的云计算平台Hadoop把这些计算能力相对较弱的计算机组成为一台超级计算机（云计算平台）。下面就如何建立学校开源云计算平台做简要分析：
1 Hadoop简介
Hadoop 是一个用Java语言设计的开放源码框架，一般用来进行大规模及超大规模的数据处理。它借鉴了goole公司的Google Labs开发的 MapReduce和 Global File System （GFS） 技术，由于具有高效、可靠和可伸缩的优点，它越来越流行了。Hadoop 现在是顶级 Apache项目，IBM、Google、Yahoo！和Facebook等许多公司都支持和使用Hadoop，事实上它已经成为大规模数据处理方面事实上的行业标准框架。他拥有灵活性、可扩展、高吞吐量、低成本、高效率、高可靠性等特点。
2 搭建环境
2.1 硬件环境
本文搭建时使用本校学生用机，所以参数为学校计算机的配置，hadoop云计算平台对计算机要求很低，只要能运行Linux系统，都可以搭建。本文环境为：集群环境为8个节点组成，节点间由千兆网交换机互联，所有节点计算能力相同，每个节点内存8g，cpu使用intel双核cpu（2.8G），硬盘500G。
2.2 软件环境
操作系统：RHEL5.2。JDK版本：1.6_19，Hadoop版本：Hadoop0.20.2，8
在搭建时需注意：节点中用一节点作为JobTracker，其余节点用作TaskTracker，JobTracker节点也是本集群的NameNode节点。
3 搭建步骤
由于Linux系统的安装比较简单，本位省略了RHEL5在计算机上的安装，平台搭建步骤如下：
1）每台主机配置IP地址，并修改每台主机配置文件/etc/hosts如下：
其中hadoop1是Name Node节点，也是JobTracker节点。
2）创建ssh密钥
在Hadoop启动以后，Name node将使用SSH（Secure Shell）来启动和停止各个节点上的各种守护进程的，这就需要Name Node节点在不输入用户名和密码的方式登录各个节点。首先要保证每个节点都安装了OpenSSH软件。步骤如下：
① 在NameNode节点上生成密钥对：
[root@hadoop1 ～]# ssh-keygen -t rsa
这个命令将为 hadoop1上的当前用户 root 生成其密钥对，密钥对的保存路径使用缺省的 /root/.ssh/id_rsa，注意： 要求输入passphrase 的时候，直接回车。这样生成的证书以及公钥将存储在 /root/.ssh 目录，形成两个文件 id_rsa，id_rsa.pub。
② 将 id_rsa.pub文件的内容复制到每一台机器（包括hadoop1）的/root/.ssh/authorized_keys文件的尾部，如下图2所示。
③ authorized_keys只对其所有者有读写权限，其他人不允许有写的权限，否则SSH是不会工作，所以每台主机都需要修改该文件的权限。
[root @hadoop2：.ssh]# chmod 640 authorized_keys
[root @hadoop3：.ssh]# chmod 640 authorized_keys
[root @hadoop4：.ssh]# chmod 640 authorized_keys
[root @hadoop5：.ssh]# chmod 640 authorized_keys
[root @hadoop6：.ssh]# chmod 640 authorized_keys
[root @hadoop7：.ssh]# chmod 640 authorized_keys
[root @hadoop8：.ssh]# chmod 640 authorized_keys
④ （本文hadoop根目录为/hadoop-0.20.2）在namenode节点的/hadoop-0.20.2/conf/hadoop-env.sh文件中设置hadoop需要的环境变量，本文环境配置如下：
export JAVA_HOME=/jdk1.6.0_30
export HADOOP_HOME=/hadoop-0.20.2
export PATH=$PATH：HADOOP_HOME/bin
⑤ 修改namenode节点的/hadoop-0.20.2/conf/masters文件，该文件指明了系统中的namenode节点。配置如下：
hadoop1
⑥ 修改namenode节点的/hadoop-0.20.2/conf/slaves文件，该文件指明了系统中的datanode节点，配置时，每行代表一个datanode，本文在hadoop1上的/hadoop-0.20.2/conf/slaves文件中配置如下：
hadoop2
hadoop3
hadoop4
hadoop5
hadoop6
hadoop7
hadoop8
⑦ 编辑namenode节点/hadoop-0.20.2/conf/下的三个文件core-default.xml，hdfs-default.xml，
mapred-default.xml如下：
core-default.xml
……
hdfs-default.xml
……
mapred-default.xml
……
⑧ 将namenode节点/hadoop-0.20.2/conf下的配置文件部署到各个datanode节点，命令如下：
[root@hadoop1：～]# scp -r/hadoop-0.20.2/conf hadoop2： /hadoop-0.20.2/conf
[root@hadoop1：～]# scp -r /hadoop-0.20.2/conf hadoop3： /hadoop-0.20.2/conf
[root@hadoop1：～]# scp -r /hadoop-0.20.2/conf hadoop4： /hadoop-0.20.2/conf
[root@hadoop1：～]# scp -r /hadoop-0.20.2/conf hadoop5： /hadoop-0.20.2/conf
[root@hadoop1：～]# scp -r /hadoop-0.20.2/conf hadoop6： /hadoop-0.20.2/conf
[root@hadoop1：～]# scp -r /hadoop-0.20.2/conf hadoop7： /hadoop-0.20.2/conf
[root@hadoop1：～]# scp -r /hadoop-0.20.2/conf hadoop8： /hadoop-0.20.2/conf
在启动Hadoop前，需要对 Hadoop 的文件系统 HDFS格式化，在Master节点上，进入hadoop文件夹输入命令：hadoop Namenode–format格式化文件系统。接下来启动Hadoop。此时运行 start-all.sh就可以启动Hadoop。
至此，利用学校闲置资源的云计算平台就搭建好了。
4 总结
本文对利用学校闲置资源建立Hadoop云计算平台进行了分析以及建立步骤的演示，其目的在于希望教学资源得到充分的利用，减少浪费。
参考文献：
[1] 刘鹏主编.云计算 [M].2版.北京：电子工业出版社，2011.
[2] Hadoop学习总结：HDFS简介[EB/OL]. http：//www.cnblogs.com/forfuture1978/archive/2010/03/14/1685351，2010-3-14.
[3] Hadoop入门部署最佳实践[EB/OL]. http：//www.vanjor.org/blog，2011-8-14.
