以大数据容量管理提升IT支撑系统效能

中国移动通信集团广西有限公司信息技术管理部|宫大鹏 雷蕾 王涛

IT支撑系统是移动业务正常运行的基础保障和支撑，在确保IT支撑系统的准确性和可靠性的同时，如何提升企业IT 支撑系统的支撑效能，实现IT支撑系统的高投资回报率，实现资源的合理配置，正逐渐成为电信运营商中相关部门关注的焦点。本文通过使用多种大数据算法进行容量预测和分析，希望在容量预测准确性上有进一步的突破。

容量分析规划

容量分析规划是指对移动IT支撑系统进行关键业务及相应的设备容量、性能的关系分析。根据关键指标数据与设备性能数据之间的关系，建立容量数学分析模型，结合各种因素（IT设备生命周期，系统优化，业务的生命周期规律）对容量数学分析模型不断改进优化，模型修正。容量管理服务引擎，是根据容量数学分析模型，结合设备性能数据，关键业务指标数据进行智能计算分析，得出IT设备的负载能力及未来业务的容量规划能力，及时发现并预警容量性能瓶颈问题。

目前移动用户在IT支撑系统设备容量管理方面存在的主要问题包括：

1.缺乏对业务未来发展的预测分析（业务类型、业务功能、用户量、性能需求等等）;

2.缺乏对容量管理角色，以及其流程文档化、规范化、标准化的清晰认识;

3.缺乏对引发IT容量问题根源的分析;

4.缺乏对大量、准确的性能数据的收集和积累。

容量管理的目标就是在合适时间、合适地点以及适当的成本提供合适的资源，同时满足移动业务的持续增长需要。

基于大数据算法的预测方法

首先，通过收集业务和资源数据，分析出业务量与资源容量使用情况的关系，建立起业务量与系统资源消耗量间的数学模型。

其次，从业务角度出发，分析用户使用业务的规律，找出业务发展的现有水平和未来趋势，并结合分析数学模型和业务发展水平，得出该系统的容量规划和资源分配方案。

最后，根据业务的需求进行虚拟资源再分配，从而解决因虚拟资源分配不合理，引起系统资源的频繁回收与分配，造成部署的业务相互影响的问题。

容量预测关键步骤

容量数据获取

基础的容量数据已经由监控管理模块或其它模块采集，容量预测模块通过接口直接获取这些已有的数据，以进行容量预测。

数据预处理与加工

数据据预处理主要对指标数据进行消噪溯源，对异常数据进行特殊处理，避免异常数据影响预测模型的准确性，异常数据主要来源于系统故障、节假日等，系统容量出现大的波动，如图1所示。

容量预测模型建立

通过系统容量历史采样数据，利用指数平滑法对容量数据进行平滑，并利用线性回归算法建立容量预测模型。在本方案中，对于容量预测模型的建立主要通过数据层的Spark进行，容量预测模型的建立步骤分为：一，计算容量分析指标的平滑因子；二，计算容量分析指标一次和二次指数平滑值；三，计算出线性回归参数αt和βt，即截距和斜率；四，计算出容量分析指标的调整因子。

模型优化与调整

在预计未来基础架构容量的需要时，必须将业务发展变化需要的影响考虑到容量的发展变化当中。将业务量变化的因素加入到性能指标变化的过程中，更好地对未来性能指标的发展做出预测，是否要计算模型的调整因子，主要基于模型未调整前的精确度来决定。

容量大数据分析

利用大数据分析技术，在大数据分析平台的Hadoop框架中通过对IaaS、PaaS和SaaS各资源指标的性能数据和告警数据基于MapReduce任务进行批处理作业，进行智能分析计算，根据预测算法得出最后的预测数据。

容量预测结果展示

能够预测未来时间段的业务容量趋势。

容量预测实例

数据准备

针对性能数据进行数据质量检查；筛选法定节假日等特殊时段；处理性能与业务指标数据的采集周期，使其保持一致或近似；对CPU性能指标、内存性能指标和虚拟内存利用率指标，筛选出每天业务量最大值的产生时刻时的取值，用于计算资源容量预测；对磁盘使用率、数据库表空间使用率指标，按小时取平均值然后取每天的最大值，用于存储资源容量预测,如图2所示。

图1 数据处理逻辑流程

预测分析详细设计过程

运行指数：衡量资源运行压力趋势，越高表示越忙。

能力指数：衡量资源可用情况，对能力指数趋势预测分析，可衡量业务系统主机的能力，取值范围0-1。

对目前已经纳入到BOMC监控范围内的系统平台的历史性能数据进行采集，保留至少2年的历史数据，以便于历史分析。

容量管理后台计算引擎程序，根据计算模型，选取忙日忙时段的峰值数据，进行数据的处理计算，得到运行指数和能力指数，并结合业务指标数据，及预测模型进行数据的趋势预测分析，评估未来的容量规划需求。

趋势分析根据之前N个周期预测未来N个周期（月或天）资源性能负载情况，采用相应的预测算法，对数据进行预测分析，智能判断是否发生性能瓶颈或性能空闲，并能提前通过告警的方式通知用户，采取应对措施。说明:

图2 CPU容量预测与内存容量预测

1. 运行指数公式（用户数×每用户月服务请求次数×月忙日集中系数×日忙时集中系数×每笔业务处理事物数/60/CPU使用阀值）。

2. 能力指数公式［（月话单量×话单长度×存储周期+其他）×盘阵RAID系数×(1+磁盘损耗)/存储使用阈值］。

3. 如果运算需要的指标权重，运行指数公式参数，能力指数公式参数发生变化，则需要重新进行该修改后的历史数据的计算。

容量管理在电信企业管理中扮演着很重要的角色，它可以确保所有在云计算基础架构中任何与容量有关的变化都能够支撑业务需求，通过容量管理，管理者可以在面对容量需求时作出最具成本效益的选择。

对容量预测的深入研究，将以业务为基础，以建立的性能模型为依据，避免传统过于依赖规划人员经验的问题，使得容量规划和资源的分配更加准确。一方面使得系统处理能力能够适应业务快速变化发展的需求；另一方面，通过对资源的整合，减少硬件设备数量，有效地降低环境运行成本，进一步提升运维管理水平。