边云协同的分布式云基础设施管理系统

1 引言

在整个行业数字化转型的大背景下，IoT、5G、VR、AI、区块链、边缘计算、云原生等新兴技术和业务的迅猛发展，进一步推动了云计算向海量大规模、多业务集约承载的分布式云架构演进。相对于经典云计算带来的“云端”的海量计算能力，边缘计算实现了资源和服务向边缘位置的下沉，从而能够降低交互时延、减轻网络负担、丰富业务类型、优化服务处理，提升服务质量和用户体验；分布式云则能够基于边云协同能力，面向业务/用户需求，灵活、敏捷、按需、智能地提供分布式、低延迟、高性能、安全可靠、绿色节能、能力开放的信息化基础设施，满足全社会各行业数字化转型需要。

技术层面，业界各大主流标准化和行业组织都在积极推进，其中，ETSI MEC提出了面向4G、5G等移动业务场景的边缘计算应用平台架构与标准，并正在向固移融合方向发展；3GPP将对MEC的支持纳入标准研究计划，作为ETSI MEC的有效补充，正在加速MEC商用化进程；IEEE联合OpenFog联盟成立IEEE P1934工作组，旨在以OpenFog参考架构为基础，加速雾计算的推广和商用进程；ITU-T 2016年启动分布式云架构和功能相关研究工作，目前已发布第一版的框架和需求标准；ECC边缘计算产业联盟等各类行业组织，也都是边缘计算的积极推动者，定位于搭建边缘计算产业合作平台，推动“政产学研用”产业开放协作，孵化行业应用最佳实践，促进边缘计算产业健康与可持续发展，目前主要面向IoT场景。

开源方面，分布式云/边缘计算领域整体处于发展初期，Linux基金会和OpenStack基金会是主要推动者。Linux基金会主推CORD、Akraino、EdgeX等项目，ONAP、OPNFV等也涉及边缘相关工作，其中，CORD旨在将数据中心生态和云计算灵活性引入电信COs，涵盖有线接入、企业网络、5G移动等多种场景；EdgeX Foundry 2017年创建，目标是为物联网边缘计算开发标准化的开源互操作性框架，旨在实现跨边缘分析、安全性、系统管理和服务的互操作性代码，并简化IoT网关和智能边缘设备的集成；Akraino 2018年初成立，旨在构建开源软件栈，提升面向运营商、云提供商、IoT等场景的边缘云基础设施能力，代码主要来自ATT和Intel。OpenStack基金会成立Edge Computing WG统筹协调，并于2018年创建独立于OpenStack项目的Airship、StarlingX边缘项目（皆为Linux Akraino核心组件），其中，Airship旨在实现OOK 整体环境的自动化部署和生命周期管理，主要贡献者是ATT、SK Telecom、Intel；StarlingX旨在提供面向边缘计算的OpenStack集成平台，主要贡献者是Wind River、Intel。此外，还有CNCF KubeEdge、Open Edge、微软Azure IoT Edge等开源项目也都在积极推进。

对运营商而言，“网络云改、云网融合、云原生、智能化、边缘云”成为运营商重点工作，全球各大运营商都在对既有云计算架构和能力进行规划与重构，构建包括核心云、区域云、边缘云在内的完善的分布式云体系，提供面向全网各类ICT服务的云化承载。面向上述发展目标，在云基础设施层面，要求构建整体规划、层次化布局、统一管理的大规模分布式云基础设施，面向IT、CT等，提供跨专业集约承载、按需分发的统一IaaS能力。因此，大规模分布式云基础设施的统一管理，成为亟待解决的问题。

2 关键技术

2.1 OpenStack边缘参考架构

OpenStack边缘计算工作组给出的边缘参考架构如图1所示。

图1 OpenStack 边缘计算工作组-边缘参考架构

其中，主要包括如下几个层级：

（1）中心DC：大型云基础设施，数量较少，时延约100 ms；

（2）边缘站点：小型站点，数量较多（百），时延约2.5～4 ms；

（3）远端边缘站点：小型站点，数量多（千），时延约2 ms；

（4）用户侧边缘站点：设备物理位置靠近用户（同一楼宇），数量很多（万），时延1～2 ms。

上述边缘参考架构在部署模式方面，存在分布式控制面、集中式控制面两种：

（1）分布式控制面情况下，每个边缘站点都部署有独立控制面，有助于应对网络中断情况下的站点自治，如图2所示。也可按需灵活选择部署方式，例如，可不包括远端边缘站点。

图2 OpenStack边缘部署-分布式控制面

（2）集中式控制面部署方式下，核心DC的集中式控制面实现对边缘和远端边缘站点的统一管理，有助于实现跨region的资源管理，但无法满足边缘站点网络间断场景下管理需求，如图3所示。同样也可按需灵活部署。

图3 OpenStack边缘部署-集中式控制面

2.2 StarlingX

StarlingX是OpenStack边缘计算工作组联合ATT、Intel、Wind river等厂商，与2018年发布的由OpenStack基金会托管的独立开源项目，由OpenStack边缘计算工作组与Linux Akraino项目共同推进，目前已经先后于2018年10月、2019年8月发布两个版本。StarlingX基于Wind River Titanium Cloud R5商业版本，Intel和Wind River是主要贡献者。

StarlingX定位于提供开源的功能丰富、高性能的边缘云软件栈，并提供集成的OpenStack平台，旨在满足边缘计算相关业务场景对高可用、QoS、性能、低时延等的需求。

StarlingX v1.0系统框架如图4所示。其中主要包括如下组件。

图4 StarlingX v1.0系统框架

（1）配置管理：提供主机安装、资源发现和主机配置；提供系统级配置，及StarlingX平台服务配置；为所有核心组件提供API、Horizon、CLI服务。

（2）主机管理：提供主机生命周期管理、运营管理；提供主机故障监控告警，并触发故障恢复处理。

（3）服务管理：为控制节点的StarlingX和OpenStack服务提供高可用集群管理。

（4）软件管理：软件补丁管理和部署；软件版本升级管理。

（5）故障管理：为其他StarlingX组件提供告警和日志报告服务。

（6）基础设施编排管理：提供VM高可用管理；提供软件补丁和升级编排服务。

StarlingX v2.0系统框架如图5所示。其中，新增Kubernetes组件，用于实现OpenStack服务的容器化部署和管理。

在部署框架层面，StarlingX v1.0支持基于OpenStack region机制的分布式云架构，region间通过REST API进行通信，具体包括如下两类region：

（1）中心云：提供集中系统控制，托管OpenStack共享服务，提供整体基础设施编排功能，包括边缘云的部署和管理、边缘云配置管理、故障汇总、整体补丁管理等。

（2）边缘站点：部署在远端的分布式边缘站点，控制面简化，通过L3网络连接至中心云。

图5 StarlingX v2.0系统框架

3 分布式云基础设施管理需求分析

给出分布式云整体体系框架如图6所示。

图6 分布式云体系框架

分布式云体系主要包括两类组件：分布式云节点和分布式云管理系统。

（1）分布式云节点：是具备自治管理能力的独立的云节点，提供云基础设施及服务，为各类业务和应用提供运行环境；根据所处的位置、节点规模及在分布式云系统中的作用，分为核心云、区域云、边缘云等不同的云节点。

（2）分布式云管理系统：实现对分布式云节点的统一管理，包括统一的资源管理、网元和应用管理、业务编排、运营管理、服务管理、安全管理、研发支持、系统集成管理、数据管理等。

给出分布式云管理系统逻辑功能架构如图7所示。

图7 分布式云管理系统逻辑架构

其中，分布式云基础设施管理定位于基础设施资源管理，需支持对各类异构云节点资源的统一管理和动态管控，实现对各类分布式/边缘业务的承载，具体需求体现在：

（1）海量异构：核心、区域、边缘云节点，在技术实现、部署位置、性能/可靠性等方面各异。

（2）边缘受限：边缘节点适应多种业务场景环境，资源受限，潜在不可靠的网络连接，远程管控。

（3）隔离自治：节点间既能够互联互通、统一管控，也要求具备自治能力和业务提供能力，互不影响。

（4）统一管控：支持对各类异构云节点的基础设施资源的统一管理和监控运维。

（5）业务承载：支持5GC、IMS、视频、AI、IoT等多种网元和App对底层资源的不同需求。

4 分布式云基础设施管理体系框架

分布式云基础设施管理旨在实现对分布式云基础设施软硬件资源的统一管理，包括大规模异构分布式节点的隔离自治、统一管控，支持应对边缘云节点资源受限、网络不可靠等风险，要求构建“分层多级、统一管理、节点自治、协同调度”的分布式云基础设施管理体系。其体系框架如图8所示：

图8 分布式云基础设施管理体系框架

其中，主要包括如下要点：

（1）分层多级

① 分布式云管体系按需部署在集团、省、地市核心和边缘等多层级；

② 核心/区域云采用标准适配层；边缘云按需采用轻量适配层等实现，并可考虑按需采用标准开放的一体化云基础设施解决方案；

③ 基于汇聚层支持多层级纳管，按需采用多适配层、计算拉远等多种方式。

（2）统一管理

① 全网资源统一呈现、鉴权认证、编排管理；

② 规范化业务模型和接口，推进多专业云管的融合；

③ 提供IT、CT、公有云等资源域分权分域分管理，集团统一控制鉴权；

④ 支持虚机、容器资源统一管理，按需部署；

⑤ 支持各种软硬件性能加速资源管理，按需配置。

（3）节点自治

① 各节点具备自治管理能力，以应对网络中断、统一管理故障等突发情况。

（4）协同调度

① IT云、对外服务云资源池化，面向业务系统需求，资源按需分发、部署；

② CT云大区制或属地化部署，面向服务需求，资源按需分发、优化调度。

5 基于StarlingX的分布式云基础设施管理系统

边缘云的实现是多种形态的，一体化的集成交付边缘解决方案对中国电信而言是全新的、有待探索的方案。给出基于开源StarlingX的分布式云基础设施边云协同管理系统逻辑功能架构，如图9所示。

图9 分布式云分布式云基础设施管理系统逻辑功能架构

其中，主要包括如下组件：

（1）统一管理中心：对云资源池内的计算、存储和网络资源的统一调度和协同管理，并通过对资源的性能、故障的采集，实现监控和故障管理。

（2）StarlingX适配层：以开源OpenStack为基础，由认证管理和镜像管理两大模块组成，实现统一鉴权管理和镜像操作，其他计算、存储、网络等组件由StarlingX自带OpenStack提供。

（3）StarlingX中心云：作为中间管理层，基于StarlingX提供的配置管理、主机管理、服务管理、故障管理等功能组件，实现对所纳管的边缘站点的统一认证鉴权、统一镜像管理和统一资源管理；

（4）StarlingX边缘子云：实现对本节点的自治管理，并对外提供虚拟资源服务。

基于上述系统设计，项目组采用中国电信云管平台作为统一管理中心，对中国电信云管平台适配层进行简化作为StarlingX适配层，并基于开源StarlingX v1.0版本版本进行二次开发和系统对接与集成，构建了分布式云原型系统。系统具备如下功能：

基于开源StarlingX的分布式云基础设施边云协同管理技术方案主要提供如下功能：

（1）统一认证鉴权：中国电信云管平台将边缘云纳入统一的分权分域管理体系，实现对边缘云的统一认证和鉴权管理。

（2）统一镜像管理：中国电信云管平台将边缘云纳入统一的镜像管理体系，实现对边缘云镜像的统一管理和分发。

（3）统一资源管理：边缘云管具备对所纳管多个边缘站点资源的统一管理能力。中国电信云管平台具备对多个边缘云资源的统一管理，并能够通过统一的管理门户进行边缘云资源管理相关操作。

（4）统一监控告警：边缘云管具备对所纳管多个边缘站点的监控告警管理能力。中国电信云管平台具备对多个边缘云资源的统一监控和告警管理，并能够通过统一的管理门户进行边缘云监控告警相关操作。

（5）资源调度部署：中国电信云管平台统一接收上层系统资源部署和调度需求，并分发至相关边缘云站点。中国电信云管平台能够通过API网关统一访问和调用StarlingX边缘云提供的OpenStack服务。

（6）边缘自治：边缘站点具备自治管理能力。

（7）应用适配承载：实现对人体姿态识别、边缘视频处理等边缘应用的适配和承载，如GPU等。

6 展望

整体而言，分布式云/边缘计算仍处于发展初期，在Gartner发展成熟度曲线上位于炒作巅峰，已被公认为是IoT、5G、增强和混合现实、人工智能、数字商业等业务场景的核心关键技术，“边缘+云+智能”成为整个产业的战略核心，相关技术、业务日新月异，各大行业组织、标准开源项目都在如火如荼的开展，未来将迎来爆发式增长。对运营商而言，5G、MEC等新兴网络业务云化承载的研发和应用正在密集推进，边云协同管理成为核心基础承载能力和关键环节。

鉴于开源版本成熟度，本文中基于开源StarlingX的系统设计与实现，主要基于StarlingX v1.0社区版本，实现了基础的边云资源统一纳管和协同管理，但在监控告警、快速分发、容器化部署、异构管理等方面，仍有待于进一步研究与提升。