运营商私有云平台建设探究

吕红卫（中国移动通信集团设计院有限公司, 北京 100080）



运营商私有云平台建设探究

吕红卫
（中国移动通信集团设计院有限公司, 北京 100080）

摘 要目前国内各运营商均建有私有云平台，主要承载内部系统如IT支撑、业务系统等，对于电信运营商而言，云计算技术的应用对原有系统的建设模式、运维管理等带来新的挑战，本文总结并分析私有云平台建设过程中面临的问题，针对建设模式、管理架构、技术应用等探讨改进思路，并给出相关建议。

关键词私有云；虚拟化；云管理

吕红卫 1988毕业于北京邮电大学，教授级高级工程师，享受国务院政府特殊津贴。现任中国移动通信集团设计院有限公司网络所所长，长期从事通信工程咨询设计工作，曾担任多项国内重大重点通信工程项目总负责人，现主要承担2G/3G/4G融合核心网、业务网研究和设计工作，编写过多个建设类行业标准和企业标准，发表过十几篇论文。完成的工程设计曾获得多个国家级、部级奖项。

1　引言

在移动互联网时代，用户对业务的需求已从最初的通信需求，逐渐升级为涵盖衣食住行在内的社会需求，促使通信运营商的业务运营从话音向流量、乃至数字化服务方向转变，以满足用户需求，同时应对OTT业务的冲击。在从语音经营向流量经营转变的过程中，运营商均遇到业务增量不增收、经营压力加大的问题，亟待破解这一难题并顺利向数字化服务转型，纵观各种解决方案，低成本高效建设网络、灵活快速部署并发展业务已成为运营商的必选之路，而传统的CT技术架构很难满足这一需求，需要采用以云计算技术为核心的IT技术，发挥其通用性强、可实现资源共享、按需提供服务、支持快速部署业务、价格低廉的特征，降低网络建设成本、提升业务上线速度。近年来国内外运营商均在大规模应用云计算技术建设云资源池，对内、对外提供各类服务，随着云计算技术的不断优化、规模应用经验的积累，逐渐扩展其应用领域，从最初的IT支撑系统扩展到业务网，在NFV等相关技术成熟商用过程中进一步延伸到通信网，包括核心网、无线网等领域。

可以看到，云计算技术的规模应用为运营商带来应用快速部署、快速满足业务的弹性需求、提升整体系统利用效率和运营维护效率、提高安全性和可用性等诸多好处的同时，因其应用时间较短，对已习惯于传统IT技术架构下各类系统相互独立、分业务建设模式的运营商而言，架构在统一的云资源池、资源共享的云计算模式，对其IT系统架构、上层应用模式、运维体系、组织架构等都带来很大变化，需要运营商逐渐适应新的模式，转变建设思路，才能更好发挥云计算技术的作用。

2　运营商私有云建设面临的问题

随着互联网发展应运而生的云计算技术，最早应用于互联网企业，如Google公司的搜索平台等，国内通信运营商对云计算的研究和开发应用大约是从2007年开始，如中国移动在当时启动了云计算应用关键技术研究及原型系统的开发工作，在Hadoop开源软件基础上自主开发了“大云”云计算系统，对IT支撑系统基于云计算平台部署进行试点应用，同时将云计算确定为公司战略发展的重要方向之一，逐步建设私有云和公众服务云两类平台，其中私有云面向企业内部应用，提供IT基础资源，主要部署IT支撑系统和业务应用；公众服务云面向对外服务，向企业客户和第三方应用提供IasS/Paas/SaaS等不同模式的云服务。

近年来，国内各运营商为满足业务发展需要，均建设了私有云资源池，采用集中或分散方式，部署在总部及各省，主要承载IT支撑系统和业务平台，资源池的建设在促进IT系统集中化部署、实现多业务系统资源共享、降低系统建设成本等方面起到明显作用，但也面临诸多问题：

* 仍按专业线条分别建设云资源池并分别部署管理系统，单一业务软件独享硬件资源，无法统一管理资源池、不同池间资源不能共享，建设成本高、资源利用率低。

* 服务器虚拟化比例较低，一些资源池仍大量分配物理机给上层应用系统，部分资源池还在采用“小型机+磁阵”的传统架构，带来系统资源扩展和维护成本高的问题。

* 云资源池管理体系和运维模式仍处于探索阶段，尚未构建统一资源池管理平台，实现资源集中管理和统一调配的问题。现有组织架构、管理体系不能适应云计算技术的应用。

* 虚拟化、资源共享等新特性带来新的安全挑战，急需建立云安全体系。

* 云计算相关软件自研能力不足，大多采用第三方产品，各应用系统软件公共能力很难标准化，形成新的应用竖井。

3　私有云平台建设思路

云计算平台具备“快速弹性”等特征，通过虚拟化等技术可根据上层应用需要动态自动调配，达到资源共享、快速满足业务等需求，云平台的建设应遵循统一架构、统一管理和统一运维的原则，向上层应用提供功能完善的平台支撑能力，达到业务敏捷部署、资源按需使用、服务共享的目标。运营商的私有云平台定位于服务内部系统，与对外服务相比，内部应用系统的业务需求可预见性较强，易于提前规划、按需建设。针对前述存在的问题，近期建设思路可关注以下几方面。

3.1资源池横向跨域整合，实现统一运维管理

想要发挥云计算技术优势，需要打破按专业线条部署资源池的模式，建立统一资源池平台承载各专业系统，对现有独立建设的资源池进行横向整合，将分散在不同系统中的底层资源抽取出来，经整合后，作为基础能力向上层应用提供服务，实现底层资源的共享、统一调配和管理，根据上层应用需求集中规划和建设。资源池整合的同时，必须考虑云平台管理职能的集中和统一，这样才能真正发挥整合优势，实现资源跨应用、跨专业、跨地域等不同层次的资源调度和共享，通过建设统一的云资源管理平台，在一定范围内实现集中管理。

资源池的整合要有针对性，需提前深入分析各专业系统的业务特性、忙时负荷分布、应用融合需求等因素，以实现多系统间资源共享、提高资源使用效率、能力共享为目的，切忌盲目整合，不必追求一个通用的资源池适用于所有应用场景。以运营商IT支撑系统为例，其三大领域B域、O域、M域目前大多独立建设资源池，虽然三域处理的业务不同，但其底层数据具有相关性、业务负荷忙时分布不同、部分应用有融合需求，将三域的资源池整合，可实现“数据集中、应用融合、能力共享”，更好地面向互联网应用，建立数字化服务的支撑体系架构，如图1所示。

图1　资源池整合示意图

资源池整合并非是将硬件资源物理集中，而是统筹考虑各专业领域、各应用系统实际需求，进行综合评估与归类整合，集中部署资源池平台，部署方式可采用物理分散、逻辑集中的模式。为保障业务安全，避免集中模式带来的隐患，在部署时需考虑跨局址、跨地域灾备机制，同一应用的数据副本分布在异地的数据中心，同时合理地规划数据中心的互联网接口带宽。

3.2推进虚拟化技术的规模应用

云资源池整合后面临的难题之一是如何合理规划使用各种资源，以满足各类上层应用系统的需求，以物理机为单位规划和分配资源相对容易，但存在物理机负荷不均衡、利用率低、投资成本高等问题，且纯粹依靠设备选型和硬件配置的差异化难以满足上层应用系统需求的多样性，需要引入虚拟化技术。

虚拟化技术能够实现“计算资源池的快速弹性”和“按需自助服务”，其技术本身涵盖计算虚拟化、存储虚拟化和网络虚拟化，它是一种资源管理技术，将计算机/服务器的各种实体资源，包括CPU、内存、硬盘、网络等进行抽象、转换后呈现出来，打破物理实体不可切割的障碍，可以跨物理机、跨机架、跨地域组合CPU、内存和硬盘等资源提供给用户使用，如同使用一台物理机一般，且其处理能力可根据用户的需求扩大或缩小。采用虚拟化技术可将硬件资源合理有效地整合起来，通过通用架构/配置的设备满足不同业务系统的需求。从某运营商私有云资源池上部署多个应用系统并采用虚拟化技术的实际运行经验来看，系统运行稳定,可充分提高设备的运行效率。当然，引入虚拟化技术并不能完全实现实时削峰填谷和动态迁移，为保证各应用系统运行的稳定性和可靠性，云资源池部署时可设置周期和阀值，在一定周期内对各类设备的运行效率进行观察，阶段性地整合业务部署，合理规划和利用资源。

此外，从云资源池运维角度，引入虚拟化技术更有利于管理集中化、高效化，提升运营效率；支持弹性调整虚拟化资源配置规格，系统无中断地按需扩容，应用支撑能力提升；硬件设备更新零部件、升级换代无需重新部署OS和应用，计划内停机维护无需暂停应用，只需进行适当的手动无感知迁移；针对个别关键性的应用，虚拟机的可靠性保证故障切换可提升应用主机的可用性。

目前运营商已有私有云资源池上部署的各系统对虚拟化应用提出的实际需求较少，虚拟化软件使用及服务器虚拟化比例较低，需推进虚拟化技术的规模应用，充分发挥虚拟化技术在提高效率及维护管理能力、降低成本、节能等方面的优势，合理配置虚拟化软件，为上层应用提供虚拟机资源，应要求部署在资源池上的应用系统必须采用虚拟化方案。

在推进服务器虚拟化应用的同时，还要考虑资源池网络虚拟化的问题。传统的组网设备如交换机和防火墙主要针对物理设备，对于虚拟机无法提供有效的管理，需通过虚拟化网络解决使用虚拟机带来的安全、虚拟资源规模、精细化运维等方面的问题，初期建议通过软件虚拟各个网络功能单元，实现网络虚拟化。后期随着SDN技术的不断成熟，在虚拟化网络中引入SDN技术，将控制层和转发层分离，通过策略集中控制，实现业务的快速部署。

3.3优化资源池IT资源配置、推进服务器定制化

目前运营商在资源池建设中已主要采用x86服务器，逐步减少小型机的使用，以便于系统扩展并降低建设成本。但采购x86服务器时使用的配置模型则大多面向产品，即配置模型依据产品形态（如刀片式、机架式）制定，没有与应用关联，存在不同系统的同类应用所配服务器处理能力不同、性能出现瓶颈或过高配置等问题，造成投资浪费。针对这一问题，应基于不同的业务负载对服务器有不同需求的实际情况，将服务器的配置模型从面向产品的配置向面向应用的配置转变，针对不同的场景配置服务器，在减少配置模型种类的同时，统一资源池配置的标准化程度，降低采购成本。以某运营商为例，之前采用面向产品的服务器配置模型有15种，按服务器形态区分，如2路、4路设备，再细分为机架式、刀片式，又分为不同容量配置如低配、中配和高配等，均与应用无关；采用面向应用的模型后，配置模型减少到9种，区分不同场景给出模型，如应用三层架构、大数据处理、缓存加速等，与不同的服务器相对应。优化后的模型，配置种类减少且针对性强，同类服务器的配置标准化，经实际验证，设备配置与实际需求更为匹配。

在优化配置的基础上，服务器应向定制化方向演进，逐步统一服务器的硬件物理指标包括尺寸布局、供电散热、运维管理接口等，推进服务器硬件标准化程度，促进节能、提高机房利用率、实现快速安装部署。

3.4完善云平台管理架构

随着资源池的规模部署和整合，资源池的监控、管理、分析、优化以及支撑保障等问题在技术、标准、实践等各方面都遇到新的挑战，现有管理体系和架构不匹配的问题凸显，需进一步完善云平台管理架构，构建资源全局视图。

目前运营商对云资源池的管理有两种方式：方式1，各资源池分别建有管理平台，管理相对独立；方式2，各资源池分别建有管理平台，各自管理相应资源池，同时集中建设云管理平台，与资源池管理平台交互，实现对所有资源池的集中管理。以某运营商为例，总部统一建设的资源池采用方式2管理，省内建设的资源池则大多采用方式1管理。从实现资源统一管理调度和资源共享的角度，方式2更适用于云平台的统一运维管理。

对于国内采用集团和省两级运维管理架构的运营商，若采用方式2建立一级云管理架构，即集中设置云管理平台，对集团统建资源池、省内建设的资源池统一管理和运维，理论上可以实现全网资源的集中管理和调配，提升资源利用率，但实际上，由于总部、不同省对资源池的建设需求各有差异，资源池规划、资源配置、应用系统的部署等均相对独立，很难实现总部统一运维管理、以及跨31省的资源统一调配，而从管理职能及业务需求来看，跨省调配资源的必要性不大，因此可考虑采用统一监控、分级管理的模式，即集中设置全国级云管理平台，各省设置省级管理平台，全国级云管理平台负责管理和运维集中统建的资源池，同时通过省级管理平台获取省内资源池状况，可对全网资源进行统一监控；省级管理平台则对省内资源池进行统一管理和运维，管理架构如图2所示。

为适应运营商业务繁多、需快速响应业务管理的需求，云资源管理平台的软件建议首选开源软件，以便灵活定制管理组件，并根据自身需求优化软件功能。

在搭建云管理平台的同时，需建立与云计算发展相适应的组织架构。对现有组织架构，建立集中化和专业化的云计算管理团队，规范资源池管理流程，逐渐改变服务外包的状况，以自有人员为主对资源池进行管理和维护。

图2　云管理架构示意图

3.5尽快建立云安全体系

与传统模式类似，云资源池内的物理机、存储设备、网络设备等仍需进行相应的安全防护，此外，云平台采用的虚拟化、资源共享等新技术带来新的安全防护需求，需针对云计算平台建立相适应的安全防护体系。在架构构建时，需针对IaaS、PaaS及SaaS三种模式制定相应的安全防护机制，对于IaaS服务，主要保证底层资源池的安全，包括物理安全、主机安全、虚拟化安全、网络安全及资源池内部的接口安全等；对于PaaS服务，除底层资源池安全外，还应保证对外PaaS接口的安全；SaaS服务则还需保证相关应用的安全。

目前运营商所建私有云资源池大多为IaaS模式，安全防护架构的搭建宜遵循“分区、分层、分级、分域”的设计思路，重点保证虚拟机安全、虚拟化软件安全、虚拟机间网络安全、资源共享带来的数据安全，有针对性地选择安全防护技术。同时加强研究可信、可控安全支撑的关键技术，构建云计算安全管控支撑平台，基于数据安全、虚拟化安全支撑等方面构建云安全服务平台，实现安全能力服务化。

此外，在云计算技术应用规模不断扩大的态势下，运营商面临成熟云计算商业产品与开源软件、软硬件一体机与通用产品等技术路线的选择问题，由于对大数据处理、分布式云存储等专业技术实践较少，缺乏对云计算相关技术适用性的有效评估和实践案例，软件自研能力相对较弱，软件产品主要依赖于第三方，无法实现上层应用公共能力的标准化，形成新的应用竖井，因此需要运营商借鉴互联网企业的经验，加强相关技术研究和经验积累，提升软件自主研发能力，特别是在虚拟化软件、云存储软件等方面。

4　近期重点关注的技术

运营商在建设云资源池的过程中，需重点关注云计算相关技术的发展进程，以选择适合的技术应用于平台中，建议近期关注的技术如下。

4.1虚拟化技术

它是推动云计算发展的核心技术，主要有虚拟机技术和容器技术。虚拟机技术创建应用和启动速度为分钟级，支持的厂商较多，成熟度和稳定性相对较高，可支持多种操作系统，功能丰富如支持在线迁移等，是目前运营商主要采用的技术。容器技术创建应用和启动速度为秒级，但支持的厂商相对较少，尚无完善的安全隔离方案，目前主要应用于互联网企业。

4.2云存储技术

它具有低成本、高可扩展性、易管理、接入灵活等特点，可有效解决现网海量数据存储成本高、扩展性有限等问题，符合运营商低成本高效运营的发展策略。云存储技术正在向融合存储和软件定义存储方面发展，其中融合存储方式可屏蔽差异，同时提供块存储、文件存储、对象存储访问接口；软件定义存储可统一管理接口、管理异构物理硬件。云存储技术的选择与应用场景相关，如分布式文件存储主要应用于邮箱等需支撑复杂文件操作的业务；弹性块存储主要应用于性能要求不高的虚拟机等业务系统；对象存储则主要应用于公众服务云、音乐等面向Web的海量一次写多次读数据的存储业务。

4.3SDN技术

ONF定义的SDN（Soft Defined Network，软件定义网络）技术将是未来资源池组网的主要技术。SDN基于OpenFlow协议，将传统网络设备的数据转发和管理控制两大功能模块分离，通过集中式的控制器采用标准化接口对各种网络设备进行配置、管理和控制，可有效解决物理机和虚拟机融合组网、虚拟机迁移等问题，更有利于实现资源池网络虚拟化。目前该技术已在一些运营商数据中心局域网及广域网组网中应用。

4.4NFV技术

NFV（Network Function Virtualization，网络功能虚拟化）是电信网云化的关键技术，其本质是将电信网元的软件与硬件解耦，原有网元的功能均由软件实现，与硬件无关，硬件则可采用通用的服务器并组成资源池来承载支持虚拟化的网元软件。ETSI在白皮书中描述了基于NFVI技术的NFV的应用愿景，包括移动基站、移动核心网及IMS、固定接入网络、家庭环境、CDN等，NFV将成为未来电信网的核心技术并逐渐推广应用。电信网云化对云计算平台将带来新的功能需求，需要适应其部署特征。

5　结束语

从通信业发展趋势来看，云计算技术逐渐成为电信网的核心技术之一，云计算平台将成为运营商通信网和IT支撑系统的基础设施，随着5G、NFV等技术的成熟应用，私有云平台将从只承载业务网、IT支撑系统向承载核心网、无线网云化演进。由于通信网的云化对云计算资源池的要求与支撑系统有很大不同，如在高性能、高可靠性以及安全性和面向负载等方面，是部署在现有私有云资源池上，还是建设专用资源池来承载云化的通信网络，需要运营商尽快深入探讨和研究。未来云计算技术将渗透到运营商网络的各个层面，发展前景非常广阔。

参考文献

[1] 张敏，陈云海. 虚拟化技术在新一代云计算数据中心的应用[J]. 广东通信技术，2009(5).

[2] 秦润锋, 樊勇兵, 等. 开源云计算管理平台技术在电信运营商私有云建设中的应用研究[J]. 电信科学，2011(10).

Discussion on the construction of operator′s private cloud platform

LV Hong-wei
(China Mobile Group Design Institute Co., Ltd., Beijing 100080, China)

AbstractCurrently domestic operators have built their own private cloud computing platform forcarrying private application such as IT system and service system. After using cloud technology,they are facing the challenges of network construction, system operatingand maintaining. This paper analyzes the problems during constructing private cloud platforms, providing some proposals and optimization solutions forconstruction mode, management architecture and technology introduction.

Keywordsprivate cloud; virtualization; cloud management

收稿日期：2015-12-25

中图分类号TN915

文献标识码A

文章编号1008-5599（2016）01-0001-06