一种基于云端SOA架构的多维可视化运维管理平台
2018-08-17叶青郑卓文廖振松
叶青,郑卓文,廖振松
(中国移动通信集团湖北有限公司,武汉 430000)
随着移动互联网及视频、游戏、网络社交等行业的爆发增长,国内外IDC市场均呈现高速增长态势。据研究机构预计未来3年中国IDC市场规模将持续上升,2019年市场规模将接近1 900亿元。
IDC业务既是机遇也是未来,一方面,现阶段IDC业务市场规模较大,同时运营商发展IDC业务具有天然优势,公司发展IDC业务面临良好的机遇;另一方面,随着移动互联网的发展,“平台+终端”的业务模式逐渐成熟,IDC将是信息源新高地建设的重要基础。
IDC业务的蓬勃发展对数据中心运维能力提出了更高要求。IDC是多种信息系统的综合体,安全、存储、网络等硬件设备差异性较大,软件、规范、配置等标准不统一给运维工作带来了很大难度。各个IDC中心实施管理方案标准不一,支撑系统多样,给IDC集中管理带来较大难度,迫切需要统一规范管理。另外,IDC机房值班人员技术能力参差不齐、技术专家支撑不及时,给机房运维质量提出更高挑战。
1 IDC运维管理现状
1.1 IDC运维管理问题分析
目前IDC运维管理工作主要有以下几个特点。
(1)IDC运维体系中的业务系统厂家众多,每个厂家的平台都是单独建设,发挥独立的平台监控或者平台资源数据采集的功能,就湖北移动IDC机房管理来说,涉及到的系统包括EOMS、ESOP、综资、视频监控等多个专业平台。
(2) IDC运维体系中的业务系统平台数据规范多样,包括 XML SOAP、SNMP、REST、TCP、FTP文件、各类数据库协议接口等,如果每个系统单独对接,进行数据采集,开发工作量巨大,联调周期也很长,经费成本和时间成本都很高。
(3)IDC运维体系中业务系统平台对接工作量大,主要体现在系统对接方面。
(4)IDC业务的蓬勃发展对数据中心运维能力提出了更高要求。IDC是多种信息系统的综合体,安全、存储、网络等硬件设备差异性较大,且中国移动IDC服务除了提供标准的主机出租、托管之外,还提供公有云等虚拟机资源,软件、规范、配置等标准不统一给运维管理工作带来了很大难度。其次,IDC业务在上线、运营、下线全生命周期中会有大量扩容、变更、统计和分析工作,传统运维方式需要手工从后台、线下完成,运维效率低。
1.2 基于SOA架构的云端多维可视化运维管理平台方案
国家信息安全对IDC基础数据管理提出更高要求。IDC作为互联网重要的数据节点,必须落实资源数据管理和不良信息治理职责。而随着IDC规模的扩大,入驻业务的增加,出口带宽的提高给资源数据管理和不良信息整治带来了极大难度。信息安全已成为IDC面临的管理难题之一。
在此背景下,本文提出一种基于SOA架构的云端多维可视化IDC运维管理平台方案,围绕三维视图,基于SOA架构的云端多维可视化平台架构,实现“所见即所得”的IDC可视化资源管理,通过“业务域”的区块划分实现各类客户专属服务功能,构建了基于多维可视化的各类运维场景和安全全流程支撑,实现基于可视化的云端异构资源管理研究,助力产品开发推广。
2 基于SOA架构的云端多维可视化IDC运维管理平台方案
2.1 构建基于SOA架构的云端平台架构
平台分为运维管理层、数据接入层和底层外部系统3层架构。运维管理层集合中国移动专家团队之力,通过围绕三维视图,以业务划分为切割手段,基于VR实景机房,通过形成多维可视化IDC运维管理规范,打造一个多维可视化运维平台;数据接入层采用基于新型SOA架构的云端开发平台,将大量异构数据协议的转换封装在框架底层,为上层提供统一JSON接口。底层外部系统包括公司的“4+1”系统,以及安全类平台、公有云平台、视频监控系统等。
2.2 IDC异构资源可视化管理
以3D建模为基础,将IDC资源、云资源通过划分“业务域”的方式予以管理,具体通过界定业务域构成,设定导入规则、注入资源信息,动态生成机房,业务所见即所得4个步骤实现IDC可视化资源管理,并结合校准机制保障资源管理数据的准确性。
2.2.1 IDC模型的搭建
IDC可视化的呈现是通过多样的机房设备模型搭建的。构建完善的机房模型标准是多维可视化IDC运维管理的基础。完善的机房模型标准包括明确3D模型搭建功能要求、3D模型建设功能要求和3D模型操作功能要求。其中,3D模型搭建功能指建筑模型、独立设备模型、机架模型、机架内设备模型等;3D模型建设功能指搭建墙壁、添加环境设施、机房锁定、连线类型、连线命名等;3D模型操作功能指拉近、拉远、移动、选择等。通过模型的搭建,形成了园区、楼宇、机房等多个微模块。
2.2.2 界定“业务域”的构成
基于IDC组网具备高度规范性及IDC以客户业务为核心的特点,规划构建了IDC逻辑域和业务域,为构建IDC以业务、客户为导向的管理模式奠定基础。
逻辑域指构成具体客户业务入驻或IDC自有业务的端到端的物理设备和端口支撑单元的总和;业务域至少包含一个逻辑域,为利用多个逻辑域实现的业务,并关联多种资源。
2.2.3 建立资源导入模板
依据“业务域”的定义创建IDC综合资源管理系统录入模板,模板中“业务域名称”、“逻辑域名称”字段串联各业务域资源,“对端设备”字段定义逻辑拓扑;形成模板标准,为实现“可视化资源管理”奠定基础。
2.2.4 构建完善的VR展现场景
当真实数据注入模型后,需要对立体场景进行全面定义。VR展现场景包括地图环绕、客户场景、容量场景、温度场景、供电系统场景、PUE场景、制冷系统场景、视频场景和多屏机房呈现等。每种场景呈现都包括场景功能要求、分布位置、机房定位、信息展示、信息溯源、信息同步等。
2.2.5 构建完善的资源核查机制
当真实数据注入到机房标准模型后,才具备运维管理的现实意义。因此,完善的资源核查机制是IDC可视化的关键点。资源校准功能流程包括依据内部流程的设备上下架资源校准、与综合资源管理平台及信息安全平台的通信的外部数据校准、依据配置关系核查的配置关系校准3种模式。其中依据配置关系核查的校准模式又分为初始配置逻辑域校准与由于日常运维过程中的故障处置而产生的逻辑域校准两种情况。
2.3 数据接入层采用CDIF架构的云端开发平台
CDIF(通用设备互联框架)是一种基于JSON的新型SOA软件框架,提供了与基于XML的WSDL语言和SOAP协议同等抽象能力、但简洁得多的JSON实现。CDIF为所有的云服务,各类异构协议或系统,物联网智能设备等创建了一个简洁、统一的JSON API规范模型,该规范也适合用于描述微服务架构的API接口。它提供完整的服务注册和发现能力,并在此基础上提供其HTTP接口上的统一JSON API调用接口,方便各种前端应用开发出基于该统一规范的API调用代码。通过框架提供的设备抽象层,CDIF将来自底层的各类异构协议和接口统一封装成各种虚拟设备,将其具体实现封装在设备驱动代码中,并对外提供统一的JSON模型和虚拟设备访问HTTP+JSON接口供客户端使用。
2.3.1 构建基于CDIF的对上统一、对下兼容新型接口规范
与WSDL或Swagger等技术不同,使用CDIF提供的JSON API规范与JSON API接口的客户端APP不需要对被CDIF管理的REST API做离线的客户端代码生成和手动集成,便可将这些API接口及其变化动态地反映在客户端UI上供用户使用,大大省却了客户端对接口的集成和变化带来的繁琐的手动客户端升级工作。
表1 CDIF与主流接口规范的比较
从表1比较可以看出,CDIF提供的统一API接口规范比现有两种主流的API规范都要更简洁并强大,并使用简洁的JSON格式支持各类系统的API接口。
CDIF支持驱动代码的热切换,驱动中的代码实现发生变化时只需要安装新的驱动包到CDIF框架上,变化即可即时生效。CDIF还可以为底层的各类异构系统提供独有的双向数据通道能力,开发者可以从CDIF框架订阅来自底层系统的各类实时事件和通知,而不需要由用户主动发起API调用更新数据,产生额外的API调用开销。该特性为目前所有基于API调用的单向云服务数据通道提供了更强大的能力。
2.3.2 实现基于CDIF框架的云端能力开放平台
基于CDIF打造的新一代云端能力开放平台提供了完整的云端应用开发和管理工具,可在云端直接开发并部署和管理应用版本,提供免运维的自动扩容能力,并提供大量自动化开发工具例如自动化接口测试,文档生成等,节省外围系统接入的开发、联调工期。
3 基于SOA架构的云端多维可视化IDC运维管理平台方案应用实践
3.1 通过“业务域”的区块划分实现客户专属服务功能
该平台以客户业务为管理核心,包含客户业务基础信息管理、客户专属区域管理、专属网络管理、专属服务管理、专属VR展示等方面内容。客户业务基础信息管理主要实现客户业务基础信息、订单信息、计费流量的数据接收、存储、搜索、查询、展示呈现的功能。客户专属区域管理指在网管虚拟机房中划定一定的区域给予客户,客户具备这部分区域的管理能力。客户专属网络管理指通过虚拟三维空间进行实景连线,按照业务生成逻辑拓扑,使客户具备客户业务域的管理功能。客户专属服务管理指为客户提供消息通知、可管服务、授权管理、远程控制等方面的专属服务功能。客户专属VR展示指对客户实现的VR参观虚拟机房功能。
通过云端多维可视化系统,对流程规范、分权分域设定,实现了客户自服务门户,为客户提供网络运维、质量分析、专属服务等应用,包含专属区域VR实景机房,AR运维,设备监控、VR专属展示、重启等自服务;同时,在IDC可视化真实再现的基础上,构建云端VR营销版本,用于客户参观体验、市场营销。可视化的VR营销通过注入多种IDC展示策略使参观者能够“沉浸式”的体验IDC、了解IDC、理解IDC 。
3.2 构建基于多维可视化的各类运维场景
IDC业务管理模块主要包括对各个运维场景的实现。通过多维可视化IDC运维平台与各个运维子平台的对接,实现包含业务上下架、辅助运维、大屏展示、专家攻略等方面功能,实现业务全生命周期管理,提升客户响应及时率,支撑市场发展。业务管理模块主要包括三维地图呈现场景、客户场景、大屏展示场景、云资源场景、PUE场景、多屏机房场景、专家攻略场景等。
三维地图呈现场景指以立体地图形式展示IDC机房周边地形、建筑、街道、地名等元素。通过直接定位显示或逐级定位的方式显示物理机房。
客户场景是在3D机房内以客户为单位,以客户分布为核心展示内容的场景。客户场景主要关联客户的IP资源、带宽资源、机架资源、合同信息等信息。
大屏展示是将互联网数据中心的3D机房及其管理要点投放到大屏幕中,主要用于日常IDC关键指标展示,节假日保障模式展示,重大故障处理等方面。
云资源场景:通过与综合资源管理系统对接实现云资源信息的接入,在此基础上实现云资源多层立体可视化呈现,在合同信息发生变化时IDC管理平台会与综合资源管理系统进行数据同步。
PUE场景是IDC机房的PUE及其相关的供电统计展示场景。通过关联IT类设备功耗、制冷类设备功耗和机房总功耗等基本信息,提供基于应用颜色、透明度等差异化方式展示机房能耗分布。
IDC多屏机房场景实现多个3D机房在一个3D场景内同时呈现,并能够分别对各机房进行操作。选择多个机房进行同类资源的对比分析,呈现出不同机房间的物理基础、资源基础、客户发展情况的比较。
该平台应用三维可视化方式展示资源及围绕资源挂载数据,即将虚拟仿真环境与多维数据融合的方式表现真实世界的状态,是一种普遍适用的方法。以机房三维可视化管理为例,该方法不仅适用于公有云出租虚拟管理,还适用于客户租用资源管理与自有资源管理等多种场合。具体地,将资源通过属性设置区分为客户属性与自有属性,以此为前提关联机房的机架、U位等物理资源,带宽、IP等逻辑资源,机房、机楼等空间资源,再将所关联的资源与其所产生的告警、工单、变更记录等信息予以挂载,即实现了客户租用资源与自有资源的全面管理。
3.3 IDC信息与网络安全全流程可视化支撑
IDC信息和网络安全管理需要实现对IDC机房域名、URL、IP、端口、协议、关键字网页内容等信息,在应急状态下,可实现区域管控功能;同时还要实现网络安全监测功能,能够辨别和防护僵木蠕病毒、缓冲区溢出攻击、拒绝服务攻击等。同时,通过搭建可视化人员进出安全管理功能、可视化资源和信息安全管理功能,提升机房安全性和资源的动态更新。
3.4 实现基于新型SOA架构的云端开放平台,助力产品开发推广
与中国移动“4+1”系统对接,为各个IDC运维平台带来了大量开发工作量。采用基于新型SOA架构的云端开发平台提供了全新的解决思路,将大量异构数据协议的转换工作封装在框架底层,为上层提供统一JSON接口。基于JSON格式的数据规范,使原有系统接口规范无需改变,即可完成对接工作。而基于新型SOA架构的云端开发平台,借鉴了传统SOA系统设计的精华,支持在线创建和部署云端应用,为开发和管理带来了便利。
3.5 实例应用效果
湖北移动以金银湖IDC为依托,围绕IDC的空间资源、逻辑资源、物理资源,结合IDC运维流程、服务流程,以IDC虚拟仿真为基础结合多源数据实现了IDC环境可视化、资产可视化、容量可视化、连线可视化、监控可视化、业务可视化以及流程可视化,运用VR参观、大屏展示等手段将IDC的运维视角拓展到决策层,应用单兵系统、AR眼镜、手机终端等运维工具将IDC的运维广度予以延展,即将IDC的运维从二维时代推向了三维时代。首创三维可视化和VR展示主动营销方法,丰富客户经理营销模式。通过基于SOA架构的云端多维可视化IDC运维管理的建立和实施,IDC运维能力得到显著提升。IDC基础设备100%接入网管告警系统并实现自动派单;客户入驻周期缩短至2.75天;工单平均处理时长缩短至2 h 44 min,提升54.87%。
信息安全管理效果有效提升:通过设计校准、流程校准、配置校准、AR校准4种IDC资源核查机制,以及多维可视化IDC运维管理平台与ESOP、综资系统、信息安全系统打通,构建了VR实景全生命周期管理,通过自动化手段减少人为差错,通过可视化手段减少核查专业门槛,解决信息安全基础数据准确性核查难问题。借助IDC全生命周期资源校准机制,实现了机房IP和机柜资源100%准确,活跃域名和IP信息100%准确;通过全自动资源录入流程的打通,实现了资源登记及时率100%。满分通过两部委考核信息安全基础数据考核检查。
4 总结
云端SOA架构的多维可视化运维管理平台的方案,通过IDC模型、连线、场景、虚拟资源池呈现规范,以及技术、接口、实施等规范和标准构建,实现了IDC统一管理架构,解决全网规模复制标准化的问题。基于可视化的云端异构资源管理平台,采用可视化的手段,融合“4+1”系统,有效解决了基础运维效率低、客户响应不及时、营销推广单一化、规范标准不统一等问题,提高了运维管理水平,提升了IDC服务竞争力,全面推动网管从传统的二维时代向多维时代转型升级。