融合IDC运营支撑系统设计与分析
2013-09-29刘化召陈学锋
刘化召 ,陈学锋 ,俞 前
(1.中通服软件科技有限公司 广州 510610;2.中国电信股份有限公司广东分公司 广州 510620)
1 引言
互联网和3G的蓬勃发展对互联网数据中心(internet data center,IDC)提出了新的要求和挑战,当前“光进铜退”战略快速推进,普及应用的PON、3G网络所建设的高速通信带宽,能够支撑越来越多的互联网应用,建立了稳定、快捷的智能信息管道,促使计算和存储向IDC的服务器端迁移,庞大的互联网用户数对IDC的存储量和访问量的需求也越来越大,需要IDC提供商提供更大更优的存储和服务器资源满足用户需求;手机电视、手机证券、手机资料备份等手机互联网应用已经成为运营商的重点业务,大量的视频、图像、文档资料存储在数据中心,供用户随时下载、查看,并实现交互。IDC作为互联网的应用和数据引擎,有力支撑了各类互联网应用,利用有限的资源实现存储的最大化,在用户需要的时候,通过搜索及时提供给用户,用户通过轻量级终端、浏览器与互联网高速连接,即可享受所需要的各种数据和计算服务。
2 IDC发展现状和运营问题
目前全球IDC市场保持高速增长的趋势,2011年整体市场规模达到222.6亿美元,增速为21.5%。在云计算、虚拟化以及新型节能技术的推动下,各国IDC的发展呈现出虚拟化、智能化、绿色化的特征。随着国家对战略性新兴产业的重视,对云计算、下一代网络的积极推进,IDC市场迎来了前所未有的发展机遇。一方面,基于云计算的数据中心建设进一步推进,并成为不少政府园区关注引进的重点;另一方面,基于移动互联网的应用发展迅速,SNS、电子商务、视频等业务的大规模增加给IDC市场带来了持续的需求。IDC行业经历了转型、整合、多元化发展阶段后,逐渐变得规范、有序。目前全国最活跃、最体系化的IDC公司和运营商主要集中在北京、上海、广东3地。2011年我国IDC市场规模达到170.8亿元,同比增长67.1%,增长率持续上升的原因主要来自于增值业务的快速增长。
随着IDC规模的快速扩张,机房服务器数量近几年的增长速度维持在40%左右,主要来自于增值业务的推动,机房服务器数量为1 000~3 000台的IDC所占比例最高,达到38%。近年来,随着绿色机房观念的倡导,设备投入所占比例已经在慢慢降低,相反人力资源的投入和培训成为主要IDC企业成本投入增长最快的部分,如部分绿色工程的开发可以极大地减少维护这些技术环境所需要的空间和所消耗的能源,使用这些巩固措施,减少了服务器、网络设备、路由器、PBX设备、单独的存储设备以及CSU/DSU的需求。我国IDC圈公布的调研数据显示,我国IDC公司的成本最高的内容情况:22%的被调查IDC服务商认为是人员投入成本,40%的被调查IDC服务商认为是设备投入,19%的被调查IDC服务商认为是维护成本。
为了提高运营效率、服务质量,推动IDC业务快速发展,同时降低成本,集约化运营已经成为IDC运营企业普遍的共识。集约化运营旨在合理利用资源,集中规划调配,降低人力物力投入和提高生产效能,资源的集中和高效精细的管理是IDC集约化的核心。在集中统一调配生产资源的过程中,实现精细化管理,以节俭、约束、高效为价值取向,从而达到降低成本、高效管理,进而使企业集中核心力量,获得可持续竞争的优势。建立IDC全网集中融合运营支撑平台是集约化运营的基础和保障,能够支撑集团级集约化运营体系,突出服务能力标准化,实现业务一点接入、全网服务。
3 融合IDC运营支撑系统建设目标
系统融合架构主要体现在4个方面,包括流程融合、数据融合、操作融合、服务融合。通过合理设计构建出一个标准、松耦合的系统融合架构,基于此架构可灵活扩充业务,实现公共组件及技术复用。系统建设目标主要包括以下几点。
(1)规范管理、统一调度
统一IDC业务的开通、保障、运维操作业务流程,实现IDC业务从售前、售中到售后的端到端服务,设备告警采集、故障分析及预警,提供机房、设备、网络的维护操作平台。
(2)面向业务运营、优化资源配置
建立客户、IDC资源、业务的关联关系,统一视图,强化资源管理,建立IDC业务资源从新装到退网的全生命周期管理,精细化资源管理,有效降低资源的浪费。
(3)快速响应需求提升客户感知
基于统一的数据视图及一体化的IDC业务流程平台,提高IDC业务的响应速度;统一IDC业务管理部门、人员的IT支撑系统,提高运维工作效率,降低成本,满足复杂的计费起租规则。
(4)建立网络端口精细化管理手段
实现网络资源与网管双向自动同步管道,定时扫描网络端口,确保客户、产品准确占用资源,自动比较IDC出口、接入用户流量数据一致性,提高业务健康水平。
4 系统设计
从融合IDC运营支撑目标出发,满足全程、全网跨域资源管控和服务调度要求,设计上重点考虑大规模、高可扩展性、高可靠性等技术指标。采用基于J2EE的B/S/S软件架构,通过RIA技术实现面向全浏览器的丰富的客户端操作体验。
4.1 系统整体架构
融合IDC运营支撑系统架构如图1所示。系统纵向分为设施设备交互、业务处理和应用整合3个大的层次,横向分为数据模型、公共构件、业务逻辑、MVC等多个层次。
设施设备交互层主要实现与IDC机房设备以及外围设备的交互,包括数据采集、网络激活、设备自动发现等,是运营自动化的主要基础之一。第一类是网络设备交互,汇聚和接入层直接面向NMS,一方面采集各层交换机、路由器、防火墙等网络设备的物理和逻辑端口流量数据、性能和告警数据等,另一方面下发激活指令,自动开通业务工单;骨干层通过与核心数据网络的EMS交互,同步出口设备、网络的流量和障碍等数据,分析服务器对采集和同步的数据进行综合加工,为上层业务逻辑提供各类自动化支持。第二类代理面向物理主机、云平台等服务器、存储等IT设备,实现对设备硬件(包括主板、内存、CPU、网卡等基础设施)、基础软件(包括操作系统、虚拟化平台、Oracle等数据库软件、中间件等)、应用软件等各层次的数据采集、分析和运营工具化支持。第三类代理面向IDC安全和节能减排,与动力&环境监控系统、视频监控、门禁、消防等系统交互,采集相关数据、集成运营管理界面,为集约化运营管理提供基础数据。
图1 融合IDC运营支撑系统架构
业务处理层是系统核心,支撑9大业务功能。数据模型层通过对IDC的资源、流程、业务和产品、客户数据统一建模,实现围绕IDC的全程、全网、全专业数据集中管理,减少数据冗余,对于流量、告警、视频、图片等非关系型数据,通过文件数据库建模管理,提高系统性能和管理海量数据的能力;业务逻辑层采用分层法,分为ORM层、技术组件层、业务构件层、服务提供层、接口交互等多个层次,通过各层次复用,提高系统的快速需求响应能力;UI层采用MVC框架,根据不同的业务场景,支持基于浏览器展现复杂业务的RIA技术和较简单的瘦客户端展现。
应用整合层明确IDC运营部门与市场等相关部门的界面,实现业务自动化流转,提高企业整体效率。通过标准接口发布服务,供客户关系管理系统、进销存、计费等系统调用,支持IDC的群新装、扩容、减容、拆除、机架变更、端口升速等各类开通和资源查勘、割接影响分析等服务。
系统部署总体采用分布式架构,数据库服务器采用双机热备,数据存放在磁盘阵列中,通过RAID5确保数据可靠性;应用服务器根据业务发展需要,利用云的弹性计算能力,部署于多台VM上;采集机采用分布方式,按照机房设备容量,采用单一机房或多机房覆盖方式部署,文件数据库根据IDC空间分布情况部署。
4.2 系统功能设计
系统主要包括9大业务功能,融合了IDC运营业务的业务管理、资源管理、网络管理、服务开通、服务保障等各个领域。各功能详述如下。
(1)业务管理
参照NGOSS企业信息核心数据模型,实现客户、产品、业务流程的自定义和可视化配置。支持IDC空间产品(机柜、VIP 机房、U 位等),互联网接入产品(IP、带宽等),增值产品(安全专家、灾备服务、座席等)和云计算产品(云主机、云存储、云桌面等)的群子产品、组合产品管理,产品开户、新装、变更和拆除等业务,提供可视化业务流程监控和订单管理。
(2)服务开通与激活
实现全网范围内集团、省、IDC资源调度和统一施工管控,根据业务实际要求,提供定单和工单多级流程协调;系统提供流程图形化监控,方便掌控各流程的日志以及所处环节的异常变更情况;支持的主要施工类型包括:新装、扩容、减容、更改端口速率、入机、出机、批量入机、批量出机、按机架入机、停机、复机、换机、增值业务等正常和异常施工流程;支持跨域定单在集团、省、市IDC之间的协同调度。
(3)资源管理与配置
采用集中部署、分布应用,按照权限满足集团、省、市、IDC资源管理的要求,基于Web的可视化资源管理方式,以机房平面图为基础,管理VIP空间、机柜、线架、连缆和电量等资源,各类设备资源实现架、框、板、槽、端口的面板展开图;缆箱资源实现从列头柜端子、多级线架到二/三层交换机用户端口的工程关联和业务跳线,形成完整的机房内IDC接入电路;支持IP地址段的自动分段、合并,由IP地址可追溯到托管服务器、机房位置、网络端口、电路等信息,同时可直接展现出IDC客户、业务数据。支持物理、逻辑等各类IDC资源的独立和组合配置,组合配置依据资源连接关系,自动建立关联;资源配置采用方便灵活的可视化配置方式,支持自动配置能力;提供完备的关联校验和方便的配置查询能力,与云OS平台对接,实现云虚拟资源同步,管理虚拟资源开通、漂移后与物理资源的实时映射。
(4)故障管理
系统具备对全网IDC机房的接入层、汇聚层交换机、路由器端口(含逻辑端口)运行状态进行监控,实时接收各省级服务中断的重大故障,并同步提供重大故障的告警能力,告警信息与客户信息相关联,在通过短信、邮件等方式向维护管理人员告警时,直接显示IDC中心、客户名称、业务类型等主要的客户业务信息。提供面向客户的故障告警能力,面向集团的故障监控与检查、故障处理流程管控等服务能力。在故障发生时,系统根据收到的故障报告,根据网络拓扑结构,隔离根源故障点,关联由此引发的相关故障信息,快速对故障定位。
(5)流量管理
采集出口、汇聚、接入以及客户的出入流速,进行流量分析,从端口、设备、机房、VIP客户等维度进行流量数据拓扑监控、历史流量数据分析。根据配置好的分析任务,系统在后台对相关任务涉及的流量数据进行统计分析,以供页面展现分析结果;以图形方式实时监控端口、出口、汇聚、接入电路、客户综合电路的流量;支持流量告警配置,系统在后台做历史流量分析时,如果满足告警配置则产生告警。灵活定义基于AS号、协议、端口、地址等的组合流量过滤,并基于此实现TOPN、流量矩阵等分析报表、图表。
(6)拓扑管理与自动发现
支持对IDC机房IP网络设备的准确3层拓扑自动发现,在对全网络进行拓扑管理的基础上,建立业务和服务视图;拓扑发现的网络变化情况实时同步到资源数据中。根据网络资源信息自动展现IDC机房网络的拓扑视图,显示网络的资源、流量、性能、告警信息。将系统配置的资源信息进行分层拓扑展现,采用不同颜色显示网络的不同状态。支持用户自定义网络视图,实现任意的定制资源、故障的拓扑展现视图,满足客户需要。实现对拓扑展现风格的定制功能;根据业务或维护的需要,具备手工编辑IDC网络拓扑视图功能,包括手工添加、修改、删除拓扑视图中的网元或连接关系。
(7)性能与作业计划
实现对IDC网络设备、电路、客户主机等的性能管理,可灵活实现对监控对象性能指标数据的采集定义配置;支持对采集到的原始性能数据进行格式转换处理,转换成系统定义的标准类型的性能数据,提供有效灵活的转换处理手段来适应原始性能数据格式变化带来的影响;提供方便、易配置的性能数据采集活动定义策略,支持周期性和非周期性以及即时的采集活动定义、采集周期(频率)的设置灵活定义。
(8)配置管理
通过编辑配置文件实现对告警和性能数据的分析、建模及入库等工作;支持对告警标准模型的定义、修改,并可根据需要针对不同的应用增加新的模型;资源配置管理实现对IDC的各种设备,如主机、电路、IP地址等的配置功能;根据用户配置IDC机房设备访问信息 (如IP地址、SNMP、Community等),按定义的采集周期,以SNMP polling等多种方式自动获取网络上不同厂商、不同类型设备(如路由器、交换机、主机等)的详细配置信息;对各功能模块及菜单进行定义和分类,实现合理布局,每个登录用户根据分配的模块操作权限不同,所展现的功能也是不同的;根据业务的需求定义不同的数据字典,如客户类别、客户等级、行业性质等,数据字典主要包括条目名称、条目代号、条目说明等信息;通过配置参数,决定系统运行的特殊行为,如登录系统的首页连接、附件上传服务器后的存储位置等。
(9)决策支持
面向IDC网络、客户,集中展现IDC客户占用的IDC各类资源数据、当前在途业务开放情况,施工历史记录、用户设备维护变更状况等;实时生成IDC大客户的设备网络拓扑,根据权限级别,展现跨省、省内和本地网的IDC客户设备拓扑;按照集团、省、本地网不同级别制定的报表模板,系统自动生成月、季、年统计报表,支持任意字段、任意字段组合和模糊查询,支持统一查询功能的多入口,基本报表功能能够快速定制。
5 系统应用
融合IDC运营支撑系统为IDC集约化运营提供了强有力的信息化支撑,建立了开放的服务能力体系,实现了能力封装以及便捷的服务访问手段,提升了业务运营效率、面向客户的支撑能力,快速高效地支持跨域综合应用支撑能力需求。建立策略统一展示、统一管理和统一调度的机制,采用灵活、高效的数据驱动生成策略,与网络侧的智能策略互动,使系统具有智慧的大脑,适应网络和客户快速变化的业务需求。以系统的方式共享操作方法,共享被确认的流程,智能生成新流程,实现高度的人机互动,支持业务的高度灵活性和多样性。融合IDC运营支撑系统应用体系如图2所示。具体应用体现在以下几个方面。
(1)聚焦客户、提升客户体验
聚焦客户,强化客户品牌的实施策略,优化开通激活的效率,提升客户体验;重点发展高价值客户,提供差异化服务;建立客户为中心的服务保障体系,提供客户服务的便捷性;以市场为驱动,建立产品设计和网络规划建设的流程支撑体系。全面开放面向客户的服务能力,提供方便、快捷、自助、主动、精确、有质量的客户服务,为客户提供快速、方便、主动的服务,满足省心、开心、放心、舒心等“五心”服务的要求。
(2)全程全网、实现一体化管理
全面提供全程全网业务开通和服务保障能力,加强异地业务处理以及协同支撑能力,加强前后端的协作,建立灵活的第三方合作模式,建设全网流程贯通、服务能力共享、业务术语统一的网络化运营体系。实现VIP客户业务故障的一点申告、全网保障,业务开通的一点开通、全程管控以及业务的全程全网服务质量监控与分析管理。加强集团/省/IDC业务全网协同、快速开通和保障,集团和海外客户的故障在线处理。
(3)精确智能、实现运营优异
实施集约化创新,实现流程自动化和办公移动化,加强数据标准化建设,在开通、保障、调度等各方面强化对运营数据质量管控,在人财物运行维护实施精确化管理。整合IDC内部的各类空间信息,统一空间数据标准,消除信息“孤岛”,节省企业投资成本,提高企业工作效率,为企业创造更大的经济效益和社会效益。
本系统2009年已在中国电信股份有限公司广东分公司投产,集中建设、分权分域应用,支撑20多个地市、近百互联网数据中心的装、拆、移、改类开通流程和客户服务、保障流程,管理数10万托管设备,支持思科、华为、中兴通讯等10多家主流厂商的交换机、路由器等网络设备的性能采集、告警监控、流量管理和自动激活等自动化管控能力。目前系统已支持数百并发访问,不限制同时在线用户数;系统已经成为用户生产、运维的日常使用平台,运营效率提高达30%,服务质量提高达25%,月度运营分析效率由原来的一周提高到1 h左右。本系统2012年已经开始向中国电信集团公司各省市公司推广应用,并获得多个省市公司的建设权。
图2 融合IDC运营支撑系统应用体系
6 结束语
本文提出的融合IDC运营支撑系统将资源和网络无缝融合,减少了网元数据冗余,最大限度实现流程数据驱动。通过统一的任务派发视图,施工维护人员无需面对多个系统;管理人员通过一个统一的监控台能够对所有任务进行管控,全程体现每个任务对后端SLA(service level agreement,服务等级协议)时限的分解要求,实现对全业务开通、保障流程闭环管理,提高自动化处理能力,提升生产效率;加强服务质量管控,提高精细化的管理水平,提高客户感知;通过提升IT能力促进管理,快速支撑IDC生产流程持续优化,统一了业务流程平台,建立了统一服务标准,系统服务易开发、易维护、可复用;融合系统数据模型、统一业务数据的来源,确保了业务数据的一致性和完整性,方便数据提取和展示。
基于本系统架构和模型的IDCIMS平台实现、跨域50多个IDC应用的实践,证明了该体系结构的可实施性和可部署性,能够满足集团级IDC集中统一集约化运营的跨域开通和资源管控。
1 康楠.互联网数据中心转型服务全业务运营研究.信息通信技术,2010(12):10~13
2 王征,刘峰.云计算在IDC中的应用研究和实践.数据通信,2011(7):65~69
3 侯继江,张鉴,陈军.电信运营商云计算数据中心安全防护体系研究.电信网技术,2012(3):23~29
4 徐玉.云计算对数据中心市场的影响分析.计算机工程,2006,32(13):30~35
5 牛勇.停开机业务工单处理调优分析.电信技术,2012(2):13~15
6 雷鸣,刘玲.云计算数据中心组网技术.电信工程技术与标准化,2012(4):26~30
7 刘蓬,王元,武洁夫.通信设备智能巡检系统分析与设计.电信技术,2012(1):34~37
8 赵雷霆.运营商级云计算数据中心发展研究.信息安全技术,2011(8):36~39
9 刘高俊.应用ITIL体系提升IT运维服务水平.中国金融电脑,2012(5):56~58
10 刘佳,杜雪涛,朱文涛等.互联网数据中心安全解决方案.电信工程技术与标准化,2010(2):25~29