基于vSphere私有云的高校数据中心构建模式

鲍 陈，王海涛，汪千松，胡 冰

(安徽工程大学 现代教育技术中心，安徽 芜湖 241000)

0 引 言

随着PB级大数据时代的到来，高校信息化建设也在迅速发展。传统的校园网数据中心采用“一套应用一套系统”的IT资源配置模式，面临管理复杂，资源利用率低，建设与运维成本高，业务的稳定性与连续性较差，安全控制和数据的灾备困难等问题，已经不能适应当前高校信息化的建设需求。云计算是一种采用虚拟化为基础架构，通过IT基础架构和软件向网络环境中的用户按需提供资源和服务的技术[1-2]。文中首先在分析vSphere虚拟化架构的基础上，提出了vSphere私有云基础架构，通过搭建高性能服务器集群和共享存储系统，利用vSphere的相关服务器虚拟化组件，对底层硬件进行整合利用，利用vCloud Director组件，将IT基础架构转变为私有云，构建新一代高可用性高校数据中心(Internet data center，IDC)。该方案有利于提高服务器整体利用率、简化管理与运维，实现信息化系统的高可用性和高安全性以及集群内主机和存储的负载均衡。

从经济效益和管理安全性考虑，vSphere私有云基础架构的虚拟化构建是必要的。实践证明，该模式构建的高校数据中心，优化了IT基础架构服务模式，提升了高校信息化建设水平，也为其他高校同类建设项目提供了一个有意义的参考。

1 虚拟化技术

虚拟化技术[3-4]是通过映射或抽象的方式，通过虚拟化技术可以对包括基础设施、系统和软件等计算资源的表示，访问和管理进行简化，提高IT资源的利用率，如服务器、网络或存储设备，并且超出物理的局限性。虚拟化简化了资源管理，集中并共享了资源，使它们变成逻辑资源以最大限度地得到利用。

由于采用的虚拟化技术不同，可以将系统虚拟化分为五大类：硬件仿真、全虚拟化、半虚拟化、硬件辅助虚拟化、操作系统级虚拟化。各种虚拟化技术对比如表1所示。

表1 各种虚拟化技术对比

2 vSphere虚拟化架构分析

vSphere[5-6]是VMware公司首款云计算操作系统，以集成软件包的形式提供虚拟化、管理、资源优化、应用程序可用性和操作自动化等功能；并汇聚物理硬件资源(包括计算、存储和网络资源)，允许用户创建通用管理服务的私有云，为高校数据中心提供高可用性、高安全性和可扩展性的虚拟资源解决方案。VMware vSphere虚拟化架构如图1所示。VMware vSphere在逻辑上由基础架构层(虚拟化层)、管理层和界面层构成，其中基础架构层包含基础架构和应用程序两个服务。

图1 vSphere虚拟化架构

(1)基础架构服务。VMware vSphere通过基础架构服务抽象、聚合分配计算、存储和网络资源。①计算资源，即主机、集群和资源池；②存储资源，即数据存储和数据存储集群。其存储虚拟机的文件系统为VMFS。数据存储技术包括FC、FCoE、iSCSI、NAS和DAS；③网络资源，即使用虚拟交换机的主机和虚拟机提供网络连接。虚拟交换机分为标准虚拟交换机(vSS)和分布式虚拟交换机(vDS)，支持VMkernel端口和虚拟端口组。

(2)应用程序服务。可用性是指提供应用、存储资源、基础架构和管理，包括高可用性HA、故障容错FT、数据保护、复制等。安全性是指提供安全虚拟应用程序防护，vShield安全组件包括vShield Manager(管理界面)、vShield App(网卡级防火墙)、vShield Edge(路由器)、vShield EndPoint(防病毒)和vShield Data Security(数据安全)，用来保护虚拟化数据中心。

(3)管理层。包含vCenter Server。通过vCenter Server实现对数据中心进行单点控制，并提供基本的数据中心服务，如访问控制、性能监视以及配置。

(4)用户客户端。用户可通过vSphere Client和vSphere Web Client访问vSphere数据中心。利用vSphere SDK开发灵活、简洁并具有友好界面的VMware vSphere客户应用程序。

3 vSphere私有云平台设计

3.1 存在问题与需求分析

随着高校信息化建设的不断深入，IT系统的规模越发庞大，传统的校园网数据中心采用“一套应用一套系统”的IT资源配置模式，已经不能适应当前高校信息化建设需求。为了提高资源利用率，降低管理难度和系统维护风险，减少机房基础设施的投入，提高应用和系统部署的效率，转向虚拟化技术，提出以业务为中心“IT即服务”私有云构建模式，对原有系统采用P2V迁移[7-8]。该私有云平台的构建，采用共享存储架构FC SAN，实现了CPU、内存与存储设备的分离，并利用ESXi组件对IT基础资源进行整合，构建虚拟化基础架构平台，同时使用vShield(vCloud networking and security，vCNS)组件对虚拟机平台进行安全防护。在虚拟化基础架构平台上，利用vCloud Director组件，对虚拟化计算、存储、网络连接和安全性的虚拟数据中心实现安全配置，构建一种vSphere私有云，提供弹性计算的基础设施服务，从而达到新一代高校数据中心建设需求：高可用性基础架构，低成本，高IT资源利用率，管理和维护复杂度低，灵活、敏捷的IT服务交付。

3.2 总体架构

针对原有校园网中心机房设施以及新一代高校数据中心建设需求分析，目前该校的虚拟化平台物理架构由8台高性能IBM 3650M4服务器、FC SAN存储系统(1台EMC VNX5500存储和2台FC交换机EMCDS300)组成。通过vSphere集群将所有ESXi主机整合起来，形成一个大的资源池，通过vCenter Server提供统一管理服务，配置vShield实现对虚拟数据中心的安全防护，并利用vCloud Director组件构建vSphere私有云。虚拟化平台的物理架构如图2所示。

图2 虚拟化平台的物理架构

4 vSphere私有云平台架构实施

4.1 IT基础架构实施

(1)安装ESXi主机。

在每台物理服务器上安装虚拟化层ESXi操作系统，用于将服务器硬件资源进行抽象化处理，并允许多个虚拟机共享这些资源。相对于传统的OS，ESXi有更加严格的硬件限制，不是所有的存储控制器和网卡都支持，需要通过查询硬件兼容性列表HCL。因为共享存储架构采用的是FC SAN，需要每台服务器配置相应的万兆以太网卡和HBA卡，通过查找HCL列表，购买相应的万兆以太网卡和HBA卡。ESXi系统安装完成后，配置需要服务器名和IP地址。文中的8台服务器名称为ESXi01～ESXi08，IP地址为192.168.168.2/26～192.168.168.9/25。

(2)配置AD域控制器。

安装活动目录Active Directory组件，并将此服务器提升为域控制器，添加DNS服务功能，并设置DNS转发器到当地DNS服务器上。DNS服务器用集群中主机名。文中规划的AD域控制器IP地址为：192.168.168.14/25。

(3)部署vCenter Server。

使用vSphere Client客户端连接到ESXi01服务器，在此服务器上安装SUSE Linux版的vCenter Server Application。通过选择“File”(文件)→“Deploy OVF Template”(部署OVF模板)，设备导入到虚拟基础架构的ESXi主机中。vCenter Server Application部署完成后，可以通过控制台配置网络和时区。文中规划的vCenter Server的IP地址为：192.168.168.10/25。打开Web浏览器并键入：https://192.168.168.10:5480，登录后选择嵌入式数据库。单击“Start vCenter”(启动vCenter)，单击“Services”(服务)选项卡，启动停止相关服务等操作。vCenter统一管理托管的ESXi主机。

(4)配置和管理虚拟网络。

虚拟网络为虚拟交换机的主机和虚拟机提供网络连接。虚拟交换机支持VMkernel端口(用于IP存储或vMotion迁移以及ESXi管理网络)，一个或多个虚拟端口组。配置管理网络和vMotion网络，为了兼容不同CPU类型，需要在vSphere Cluster配置过程中开启EVC模式，并配置专用网络，在标准交换机vSwitch0中，启用vMotion和管理流量，迁移虚拟机。根据业务需求，添加标准交换机，通过端口组特性指定VLAN ID提供VLAN支持。新建分布式交换机，使得数据中心范围内的网络聚合起来集中进行网络资源调配、管理和监控。例如创建vlan 201的交换机支持toInternet，配置上绑定ESXi主机业务网络物理网卡NIC，NIC网卡与上层核心交换机端口之间可以做成Trunk端口。

(5)配置EMC存储，并创建VMFS数据存储[9-11]。

文中采用FC SAN存储架构，包括一台EMC VNX5500存储系统，两台FC智能交换机。由于EMC存储系统价格较高，为了方便存储扩展，方案中的FC交换机支持FC端口和IP端口，方便将价格相对低廉的IP SAN存储网络接入网络存储系统中。配置EMC存储，输入IP：https://1.1.1.1，进入EMC VNX5500配置界面，创建存储池，LUN划分，注册主机，创建存储组并映射。在vSphere Client创建VMFS数据存储步骤如下：在vCenter的“Inventory”清单中，选择“Host and Clusters”视图，在“Configuration”面板中单击“Storage”链接，将显示现有数据存储，单击“Datastores”按钮，然后选择“Add Storage”链接，选择一个LUN来创建VMFS5数据存储。

(6)创建高可用性主机和群集。

vSphere Client客户端登录vCenter Server，在“Hosts and Clusters”(主机和群集)清单视图中，添加虚拟数据中心vDC，在vDC下添加8台ESXi主机，打开HA和DRS功能。vSphere的vMotion、Storage vMotion、HA和DRS功能支持群集的高可用性。vMotion允许运行中的VM在相同LUN上的ESXi主机之间进行迁移，而Storage vMotion则允许运行在同一个ESXi主机上的VM从一个存储LUN转移到另一个存储LUN中。HA[12](high availability)，则允许vSphere HA群集中打开vSphere HA，当某台ESXi主机发生故障时，HA会在其他主机上重启受影响的VM；当VM停止发送心跳信号或VM进程崩溃时，HA会重置VM。

4.2 虚拟化平台安全

虚拟化平台安全包括网络安全、虚拟机安全、访问控制安全[13]。①网络安全。在vSwitch(虚拟交换机)上进行VLAN配置，隔离不同网段，由于主机和网络之间的物理边界消失或模糊，无法通过硬件网关设备来提供服务，通过搭建vShield虚拟防火墙的保护端到端，边界到端点的数据安全(vShield部署过程如下：通过vSphere Client端，通过OVF模板部署，导入vShield-Manager- 5.5.4版本。vShield虚拟机的IP规划为：192.168.168.39/25。通过浏览器配置vCenter、DNS 和NTP。并在每台ESXi主机上，安装vShield App(防火墙)，保护内部网络中VM之间通信，保护集群中的VM。vShield Edge 组件可提供网络边缘安全和网关服务，用于隔离端口组、vDS 端口组。vShield Edge 同时通过提供 DHCP、VPN、NAT 和负载平衡并隔离末端网络连接到共享上行链路)。②虚拟机安全。vSphere提供了一种虚拟机快照保存备份模式，可以依一次性实现服务器的灾难恢复，最大程度地保护虚拟机安全。③访问控制安全。vSphere提供基于RBAC[14]访问控制方式。管理员登录vCenter后，可以添加角色，并为角色添加特权。同时可以创建用户，并将该角色赋予这个用户。

4.3 私有云平台实施与监控

在虚拟化基础架构之上，通过vCloud Directory组件构建多租户云的私有云平台，实现弹性计算的基础设施服务。vCloud Directory安装也是通过导入OVF模板的方式实现的。vCloud Directory配置之前需要确保vShield和vCloud Directory都正常安装，安装步骤如下：创建提供者虚拟数据中心vDC；创建虚拟分布式交换机vDS，创建一个外部网络，配置外部网络；创建地址池；新建组织，并使用LDAP添加组织的用户，设置vApp租约策略；向组织分配资源，创建组织vDC；创建目录(存储vApp模板文件和媒体文件)、配置存储、添加组织vDC网络，创建和使用vApp，通过组织URL，使用组织的用户账号登录，使用vApp模板创建vApp或者使用媒体文件创建vApp(使用组织下配置存储和网络池)，完成组织下的VM的创建。最后，在数据中心的Network Virtualization视图中，添加vShield Edge(路由器)，然后添加Edge Interface(比如toInternet和toIntranet)，完成之后创建一个Edge的虚拟机，配置静态路由和SNAT规则，实现Intranet访问Internet。完成上述实施步骤，就可以构建基于vCloud私有云，提供弹性计算的基础设施服务。

基于vSphere私有云平台部署完成后，为了保证原有业务系统的连续性，采用在原有物理主机上安装VMware Converter组件实现P2V物理机在线迁移[15]。通过性能监控vCops(vCenter operations manager)组件，提供虚拟化环境(IT基础架构中各ESXi主机、VM、存储和网络)的运行状况、容量和性能的可视化界面。经过一段时间的运行测试，达到以下效果：整合现有IT基础资源，实现资源统一管理；提高资源利用率、降低采购成本；提高平台数据安全性；降低总体拥有成本(TCO)、提高投资回报率(ROI)。

4.4 运维成本分析

此次vSphere应用部署中，配置了8台高性能IBM 3650M4服务器，电源总功率约为750 W；IBM 3650M4主机各自运行在校园网DMZ区，使用vSphere套件，在硬件服务器上安装ESXi Server平台，将原有系统迁移至虚拟机平台上。首先，从服务器耗电的角度，假设所有的服务器都是24小时不宕机运行，以每台服务器每小时耗电约750 W，以每度电费0.538元计算，50台电源的服务器每年所需电费约为：50×750×24×365×0.538÷1 000=176 733 元；虚拟化平台采用8台ESXi主机，其上运行50台虚拟机VM，每年电费约为：8×750×24×365×0.538÷1 000=28 277.2元。从空调制冷角度，数据中心电力消耗被转换为热能，制冷系统处理1 W的热量需要消耗电能约0.8 W。虚拟化平台前50台服务器一年的制冷电力消耗电费为：176 733 元×0.8=141 386.4 元；虚拟化平台后8台ESXi主机一年制冷电力消耗电费为：28 277.2×0.8=22 621.76。Forrester在《vCenter Operations TEI研究》中认为，部署了vSphere 私有云基础解决方案，可以使得IT成本资源使用量下降30%，IT工作效率上升69%。

综上所述，通过vSphere私有云基础解决方案对数据中心服务器集群进行整合，大大减少了服务器数量，降低了数据中心能耗，节约了投资成本，减轻了管理难度。

5 结束语

提出一种高可用性的私有云基础架构解决方案，有效地解决了传统高校数据中心建设中存在的问题，该方案具有投资少、易于维护、安全可靠、业务的稳定性与连续性较好等特点。该方案从计算池、网络池、存储池、安全优化池的角度，提出了一套基于私有云数据中心的解决方案；采用共享存储架构FC SAN，并通过vSphere集群[16]将所有ESXi主机进行整合，形成资源池，通过vCenter Server提供统一管理服务，配置vShield实现对虚拟数据中心的安全防护，并利用vCloud Director组件，从而实现了vSphere私有云。实践证明，该模式构建的高校数据中心，优化了IT基础架构服务模式，提升了高校信息化建设水平，构建了低碳、节能、减排、绿色的高校数据中心机房，增强了信息化系统的高可用性和安全性，也为其他高校同类建设项目提供了一个有意义的参考。