基于linux系统集群的架构与优化

2012-07-12华东石油局物探研究院系统保障部

电子世界 2012年13期

华东石油局物探研究院系统保障部杨帆

基于linux系统集群的架构与优化

华东石油局物探研究院系统保障部杨帆

企业网络中心作为企业局域网的数据传输的中心枢纽，必然会因流量增加而产生的性能及成本问题。从而采用Linux集群技术设计的企业网络中心方案在此可以有效化解这种问题。本文主要介绍采用Linux集群技术构建高性能、低成本企业网的方法和相关技术，并对其进行了性能评测。

Linux；计算机集群；高性能；并行计算

1.引言

随着互联网技术飞速发展和各种应用软件的逐渐开发，以及对计算机运行效率要求的不断提高，依靠增加单一服务器的处理能力并不能很好地解决迅速增长的网络应用的需求。因为采用单一服务器就意味着单点失效问题的存在，同时服务器的升级往往需要暂时中断服务。这都难以保证网络的高可用性，而且采用更高性能的服务器意味着更高的成本投入，由于这些特点，集群技术由此应运而生[1]。而且由于其造价低廉，性能优异，便于管理，编程方便，可扩展性好等优势，集群系统的应用变得越来越广泛。

2.集群技术简介

集群就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点，它们之间通过高速网络连接。这些计算机能够协同工作，并对外表现为一个集成单一的计算机资源[1]。Linux作为自由软件有两个特点：一是它免费提供源码，二是爱好者可以按照自己的需要自由修改、复制和发布程序的源码，并公布在Internet上。

常见的Linux集群系统分为如下三种基本类型[2]：

（1）高性能计算集群(HPC:High Performance Clus ter)。主要特点为并行计算，目的是用于进行大规模数值计算，解决复杂的科学问题。这种集群中的服务器(也称计算节点)采用并行计算方法，把一个海量的计算任务分解成各个子任务，然后分配给各节点并行计算，并通过标准化的消息传递接口(PVM或MPI)实现各计算节点的同步和数据的汇集。根据其高效的计算特性一般应于于航空航天、环境科学、石油地震勘探计算数学、DNA模型计算等领域。

（2）高可用性集群(HA:High Availability)。主要特点为主备服务器自动无缝切换，目的是提供不间断的服务。它是由主、从或多台服务器组成。发生故障时，服务器自动切换到后备服务器，这种切换对用户是透明的，用户无法感觉到服务器的切换。目前，对于要求24小时提供不间断服务的地方常常使用高可用性集群。如实时计费系统、实时交易处理系统、气象信息数据库、科技信息数据库服务等领域。

（3）高可伸缩性负载均衡集群(HSLB：High Scalability Load Balance)主要特点为负载均衡，目的是提供与节点个数成正比的负载能力，将系统的整体负载合理地分配到各个服务器节点上，使得每个节点都不会因为超负荷工作而崩溃；并且当对系统整体负载需求大于系统整体负载能力时，可以通过增加服务器节点，平滑地拓展系统负荷能力。这种集群非常适合提供大访问量的网络服务。如网上银行、图形对象发布、气象信息检索服务、科技信息检索服务等领域。

本文只讨论高可用性集群和高可伸缩性负载均衡集群的应用。

3.企业Linux集群设计思路

打破传统的以单机为主的企业网络，设计一个基于Linux的集群技术的企业网解决方案。以Linux集群技术为基础，构成一个高可用性、高可靠性、负载均衡的操作平台。该平台能够以很少的成本去解决网络负载，同时可以不断监视集群中各节点的负载状况，并且将来自外网的多种应用请求转发到到内网集群中的某一台真实服务器上执行，从而解决企业网服务器面临的大量并发访问造成的高负载问题。

4.实现关键技术

该解决方案实际借助于网络接入协议层的负载均衡技术，将用户请求进行合理分布式处理，由应用服务器池中节点来共同承担，以实现性能最大化、负载均衡化的一项集群技术。从用户的角度看，所有请求是在一个并行的集群系统中运行的，主要通过消息传递方式实现各主机之间的通信。那么它与传统的单一计算机相比，集群系统的主要特点是：

高可靠性：整个集群系统是由多个节点通过高速网络进行互联，并形成一个完整的系统，从而使用户感觉高效可靠。

高并行处理能力：在集群系统同时接受多用户请求时，集群系统中多个真实服务器节点之间通过并行环境和并行程序设计实现应用的高效并行处理。

负载均衡：通过多个节点实现负载均衡，极大地发挥节点的运行效率。

管理便捷性：通过相应的集群硬件和集群管理软件能够对整个集群实现单一的管理。

5.企业集群的实现方案

基于Linux集群技术的企业网的体系结构主要有三部分组成[3]，如图1所示。

（1）负载均衡器

在整个企业网工作的过程中，内网主要是通过集群去接入Internet的。从局域网中的某个客户端看，集群主要提供了一个Ip地址的映像，整个企业网共用这个虚拟IP地址，客户端的所有应用请求都发往这个虚拟IP地址，通过地址转换连接Internet，从而可以有效地解决企业网IP地址的短缺问题，在本解决方案中，整个集群系统如果只有一台主负载均衡器，那么在多用户并发请求时，容易造成负载均衡器的超负荷运行，从而造成该节点失效，使其成为集群系统中最薄弱的环节。所以在解决方案中，提出备份负载均衡器，这样在主负载均衡器失效的时候，可以将请求移至备份负载均衡器并完成相应的工作。

（2）应用服务器集群

方案中服务节点池指的是真实服务的应用服务器群。客户端发出的服务请求通过均衡器处理以后转交到应用服务器群有相应的真实服务器作出响应并返回数据。在企业网中一般提供www、Ftp、vod视频及会议等服务，使用单一服务器在访问高峰期会造成服务器超负载运行。从而通过多台应用服务器集群可以有效达到负载均衡，同时也是比较经济可行的。应用服务器节点在工作过程中也有可能出现暂时无法连接的情况，特别是某一节点提供多种服务的时候，系统会根据故障将服务进行迁移至其他真实服务器节点执行。另外，对集群系统用户来说，最关键的问题就是要把客户的应用程序和管理系统有机地结合起来。

（3）存储系统

存储系统主要为整个集群系统内部运行提供稳定、一致的文件存取服务。该系统可以为应用服务器集群提供单一的文件系统入口；并且自动完成不同节点访问文件系统所引发的文件锁定、负载均衡、容错、内容一致、读写事务等底层功能，对应用层提供一个透明文件访问服务体系。

6.对公司集群应用的优化分析

根据以上分析和企业使用的曙光Linux集群技术方案能够合理的解决企业网络高性能低成本的需求。计算机集群系统通常采用并行计算体系结构，它能够将一个大型的计算任务分解成各个子任务，然后分配到各节点并进行并行计算。一般来说，集群中的节点可以被划分为5种类型[4]：

登陆节点：指的是外部用户访问改集群系统的入口。用户可以登陆到该节点来编译和运行作业。

管理节点：指的是用于监控各节点是否出现故障，并对出现故障的节点的任务进行转移。

存储节点：用于集群系统的数据存储和备份。

安装节点：提供在集群系统中各软件安装的节点。

服务器池节点：指的是整个集群系统的核心，也就是我们方案中的服务器池。主要功能就是执行计算。

该解决方案主要通过这些节点完成各节点的互相访问[5]。每台计算机所扮演的节点类型一般是由集群的实际需求和计算机的配置来决定的。该方案中，登陆节点、管理节点、存储节点、安装节点就存放在同一台计算机上，这台计算机通常被称为主节点。其具体集群系统的结构如图2所示。

当用户的应用需求较大时，主节点负责进行作业的分配计算，主节点通常通过监视各个节点的运行状态实现作业的分配。当发现某些节点失效时，系统会自动启动其他应用服务器群里的真实服务器来执行当前的应用需求。同时在此方案中，若主节点出现故障，还专门配置了备份服务器来接受用户的需求。从而达到系统的高性能运行。通过实验，单一服务器与集群系统在处理同样多的客户数时，所花费的时间见图3。