私有云异构资源池整合管理的研究及实践＊

高真真

（中移（苏州）软件技术有限公司/中国移动苏州研发中心，苏州 215163）

私有云异构资源池整合管理的研究及实践＊

高真真

（中移（苏州）软件技术有限公司/中国移动苏州研发中心，苏州 215163）

针对中国移动各省私有云资源池分散、异构、无法统一管理的现状，阐述了基于OpenStack开放架构的私有云管理平台如何对分散资源池、多虚拟化（VMware、KVM、Citrix等）实现统一管理，解决了多个分散异构资源池无法统一接入、运营和运维的难题，以更好的规划资源提升资源利用率。

OpenStack；私有云；虚拟化；异构管理

1 引言

伴随私有云资源池烟囱式、分阶段多厂商参与建设，导致当前阶段分散、异构的多资源池普遍存在。不同地理位置，多种虚拟化软件（VMware、KVM、Citrix及hyper-V等）并存，物理资源池和虚拟资源池共存，资源池之间分散隔离，无法实现资源池的充分共享和统一管理，资源池整体资源利用率偏低。基于OpenStack的私有云异构资源池管理平台应运而生，并快速发展。

目前业界还没有成熟完整的产品及解决方案可以实现多种分散异构资源池整合，而中国移动自主研发的统一管理平台率先实现了对多厂商如VMware、Citrix及KVM异构资源池的整合纳管，达到资源统一调度、集中运维的目标，最终将多朵云整合为一朵云。提升云资源统一调度的能力，形成集约化、规模化管理效应，达到降本增效的目标。

2 异构虚拟化资源池管理(VMware、KVM、Citrix)

2.1 OpenStack管理VMware虚拟化

中国移动基于OpenStack开源云计算架构实现了与VMware VSphere 5.5/6.0系列的对接，实现对VMware资源池纳管。

（1）扩展改进社区原生VMware驱动：增加了如查询ESXi主机状态信息、DataStore状态信息、指定ESXi主机和DataStore热迁移与冷迁移、指定ESXi主机和DataStore创建虚拟机等功能，满足了VMware用户的使用习惯。

(2）改变社区驱动全量快照的模式：转而使用增量快照，增加了数据库记录增量快照直接关系，使得OpenStack对VMware做快照速度从小时级别降低到了秒级，大大提升了用户体验。

(3）OpenStack开源版本对VMware网络管理的驱动功能较弱，本项目自主开发了管理VMware的网络功能，实现了VMware资源池中网络资源增删改查，支持虚拟路由器、虚拟防火墙、浮动IP等高级网络功能，VMware集群支持， 以及原VMware资源池批量导入，并由Plugin统一纳管，可对外提供Rest API接口。

(4） OpenStack的运营平台底层对接的是OpenStack API，而非VMware Web Sevice API。为此需要将VMware资源池中存量的虚拟机与网络数据导入到OpenStack平台中，供用户通过运营平台进行统一纳管。中国移动自主开发了VMware存量虚拟机、硬盘、网络的导入程序，使VMware中存量资源能够被OpenStack纳管。 通用的解决方式是使用导入工具，该工具调用vCenter 提供的的API获取网络、虚拟机等配置信息。然后将此类信息写入到OpenStack平台中。由于VMware vSphere 与OpenStack在架构和实现上存在不小的差异，在通常的做法基础上，引入了自动判断机制与人工干预相结合的方法，来解决以下存量数据纳管的两个问题。

网络配置层面，VMware中同一个虚拟交换机下的多个端口组，name不能相同，但是VLAN ID可以相同。而OpenStack中，Network的name可以相同，但是VLAN ID不能相同。

虚拟机层面，VMware中创建的虚拟机，其各个网卡的IP配置信息是由用户自定义。而OpenStack中，虚拟机各个网卡的IP配置是由系统自动分配。

2.2 OpenStack管理KVM虚拟化

大云弹性计算系统BC-EC （KVM）版本是基于OpenStack开源架构进行了产品化设计优化，BC-EC采用松耦合架构设计，各模块间通过REST接口交互，模块内部通过高级消息队列进行通信。计算、网络、存储模块都抽象出统一接口，底层系统只需提供符合接口定义的驱动即可完成对接。系统具备优秀的扩展和兼容能力，既适用于上千节点的公有云大规模部署也适用于小规模私有云部署。BC-EC （KVM）与社区原生版本相比，具备更高的稳定性；更丰富的功能（弹性伸缩、弹性容器等高级功能）；且具备大规模部署能力（单集群支持500节点）。

2.3 OpenStack管理Citrix 虚拟化

由于OpenStack社区的XenServer驱动成熟度较低，无法达到商业使用要求。私有云统一管理平台通过软件代理模式开发了XenProxy模块直接调用XenServer接口，实现Citrix虚拟机管理，包括批量创建云主机、云主机开关机与重启删除、创建虚拟机备份、虚拟网络管理、创建与挂载附加卷等。XenProxy模块总计代码行15000左右，包含了操作XenCenter的接口数达40余种，通过系列封装集成屏蔽底层差异，丰富了统一管理资源的种类。

3 统一运营运维管理（VMware、KVM、Citrix）

由于各底层厂商所能提供的功能，操作条件各异，为了保障统一管理，大量定制化开发实现了支持多地理位置机房的统一接入和管理的能力。整合多资源池后，可以实现对各资源池的资源开通和回收、资源管理、性能监控、告警设置等。

3.1 资源统一管理

云管理平台具备对接多个分散资源池的能力，能够纳管多个资源池，对多个私有云资源池提供统一运营服务。提供统一的账号管理、资源管理（云主机、云主机备份、云存储、安全等资源服务），满足企业对私有云资源池管理的需要。可以大大降低分散资源池运维成本。

3.2 性能统一监控

3.2.1 物理机&虚拟机性能管理

性能数据管理支持多种类物理和虚拟资源，可图像化展示不同指标的性能数据变化，自定义报表输出资源使用情况。Citrix物理机和虚拟机性能数据由ganglia gmod作为客户端，VMware虚拟机的性能数据的采集客户端则基于VSphere API实现，KVM虚拟化资源由Ceilometer收集，所有性能数据上报到的性能采集子系统，并解析存储和管理。

3.2.2 网络设备性能监控

统一云管理平台通过SNMP协议采集网络设备性能数据，可灵活适配SNMP V2 V3版本；所监控的设备指标包含当前工作状态、接收发送字节数、接口流量、分组丢失率等，并且可灵活配置；接入华为、H3C、迈普、飞塔等厂家10余种设备，设备数量达25台； 用户通过设置的阀值可动态触发告警，实时监控设备运行情况。

3.3 告警管理

以图形化的方式，实现了告警集中管理和高效便捷的故障处理；包括告警实时浏览、历史浏览、告警配置、用户可查看告警、配置告警阀值、配置告警策略等。

4 应用实践

基于OpenStack的统一云管理平台已经应用于多个省移动的私有云资源池，应用规模达几千台服务器，已纳管VMware、Citrix及KVM 3种虚拟化，并实现了多机房跨域的资源池整合。

南部某公司现有的私有云资源池存在VMware、Citrix及KVM多种异构虚拟化，2015年至今通过苏研的统一云管理平台整合现有资源池近千台x86服务器，实现主流虚拟化VMware、Citrix、KVM等统一管理，资源统一调度和集中运维服务。未来几年统一云管理平台会接入现有资源池和新建资源池总规模达几千台x86服务器。该公司部署统一云管理平台后运维私有云资源池的维护人员从15个缩减到10人，降低了30%人工成本。资源池利用率提升了40%。

西部某公司网络管理和业务支撑系统采用OpenStack架构的统一云管理平台实现对VMware虚拟化服务器资源池的异构兼容管理，并基于KVM虚拟化软件新建了高性能虚拟化资源池。2017年统一运维管理平台将继续纳管现有和新建物理服务器。

私有云异构资源池整合项目中所使用的统一云管理平台方案和技术，适用于目前全国各企事业单位私有云资源池的异构整合，从而解决资源池分散难以管理的难题，提高资源利用率，适应业务快速发展。

[1] Stephen R Smoot，N.私有云计算：整合、虚拟化和面向服务的基础设施[D]. 潘怡,译.北京：机械工业出版社, 2013.

[2] 陈熹，Ricky Sun. 软件定义数据中心技术与实践[D]. 北京：机械工业出版社, 2015.

Research and practice on integrated management of private cloud heterogeneous resource pool

GAO Zhen-zhen
(China Mobile (Suzhou) Software Technology Co., Ltd./China Mobile Suzhou R & D Center, Suzhou 215163, China)

According to the status quo of decentralized, heterogeneous and unmanageable management of China's mobile provinces, this paper expounds how the private cloud management platform based on OpenStack's open architecture implements unified management of decentralized resource pools, multi-virtualization (VMware, KVM, Citrix, etc.), to solve a number of decentralized heterogeneous resource pool can not be unified access, operation and operation and maintenance problems, to better plan resources to enhance resource utilization.

OpenStack; private cloud; virtualization; heterogeneous management

TP393

A

1008-5599（2017）07-0002-03

2017-06-21

* 中国移动集团级一类科技创新成果，原成果名称为《私有云异构资源池整合》。