计费系统负载模型的研究与应用

徐 健

(中国移动通信集团上海有限公司，上海 200060)

1 概述

随着电信运营商深层次多方位市场发展的需要，新业务不断推出，用户数量也在快速稳定地持续增长。计费资费方式的多样化以及计费话单量的快速增加，使计费系统的主机负载能力面临巨大的挑战。特别是在圣诞、元旦和春节等业务高峰期，计费系统的业务量达到日常业务量几倍以上。在这样的情况下，在系统运维中一方面需要有效地控制并降低业务受影响的风险，切实保证业务的安全稳定运行；另一方面又要对系统资源进行合理有效的管理和配置，避免资源的浪费。因此，需要对计费系统的负载模型进行深入研究，用以指导实际的生产维护，实现精确运维与稳定运维。

文献[1]在分析服务器负载特性的基础上，结合应用时间序列提出了服务器负载预测方法；文献[2]提出一种预测主机负载的线性时间序列模型法，虽适用于各类主机，但是该方法没有明确各种预测模型的预测能力；文献[3]使用聚合历史时间序列采集点的方法，对未来主机运行负载进行了预测；文献[4-5]与文献[3]类似，也是基于历史主机负载数据对主机负载进行预测；文献[6]对9种预测模型进行了分析与评估，对于时间序列 AR模型的评价较高。可以看到，在上述文献中提出的主机负载的预测方法与模型，其核心是基于主机负载的历史数据记录。这类预测方法很难预测由于突发业务流量引起的主机负载突变。文献[7]分析集群节能配置策略前简单介绍了一种基于前一个时刻服务请求情况的在线负载预测方法。同样较难预测突发业务流量引起的主机负载突变。

本文从引起主机负载变化的最基本因素——业务流量的变化角度出发，研究主机负载与计费业务流量之间的内在关系，建立一种新的负载模型。

2 业务分解

计费系统负载主要包含主机的CPU负载、内存负载以及存储设备的I/O负载。由于主机的CPU负载直接影响到计费系统的业务处理效率，因此在研究过程中重点是建立计费系统主机的CPU负载模型。

由于不同的业务处理过程对系统资源的消耗情况各异，因此在研究计费主机CPU负载模型之前，首先需要对同一台主机上的业务流程进行分解，从而分析每一个业务流程的影响。对于常见的电信运营商计费系统，其主机上的业务可以按2种维度进行细分：(1)从业务类型维度进行细分，可以分为对语音话单、短信话单、无线宽带话单、上网流量话单等业务。(2)从处理流程维度进行细分，可以对于不同类型的话单有可以分为预处理、剔重、解码、解析、批价、入库等处理流程与阶段。

3 计费系统负载模型的建立

3.1 建模方法分析

特定业务可能运行在不同的主机上，同时业务处理本身也可能发生变化，为了在不断变化的环境下准确地计算该业务的CPU负载，需要找到一个相对恒定的量来描述单笔业务处理的负载情况。

文献[8]介绍了面向Web服务器集群的性能评价方法，但是该方法无法用来评价计费主机的性能；文献[9]针对承载银行中间件业务的主机给出相应性能模型和测量方法，由于与计费业务处理逻辑上有很大差异，因此也无法直接用来评价计费主机的性能。因此，研究人员根据实际情况参考文献[10]中tpmC(transactions per minute-C)值的评价方法：对于某一个特定的处理步骤i，如果可以计算得到该步骤处理单笔业务所需要的tpmC值，将该值定义为该处理阶段的tpmC当量iτ，那么该处理步骤在某一时刻的CPU负载为： cpui=xi×τi/tpmC 。其中，tpmC为该主机标称的tpmC值；τi为第i个处理阶段的tpmC当量；xi为第i个处理阶段在某一个时刻的每分钟业务量。

一方面，由于在单台主机上同时运行着多个处理阶段(进程)，每一个处理进程各自负责本身的处理步骤，其处理单笔业务所需要的tpmC当量不尽相同；另一方面，在同一台主机上同时包含部分特殊进程，该类进程是固定的系统进程。综合考虑这2种情况，对于整台主机，其CPU负载情况为：

其中，c值为系统进程所占用的CPU资源；tpmC为该主机标称的tpmC值；iτ为第i个处理阶段的tpmC当量；xi为第i个处理阶段在某一个时刻的每分钟业务量。接下来就是确定计费系统中每一个处理阶段的tpmC当量iτ的值。

3.2 业务流量与主机CPU负载关系分析

为了分析、寻找特定主机上各业务进程所对应的tpmC当量。需要从各业务进程的业务流量与该进程CPU负载之间存在的联系进行分析。

从图 1、图 2看出，特定业务的业务量与相关进程的CPU使用率之间密切相关，且存在y=kx+b的线性关系。

图1 业务量与CPU对比

图2 业务量与CPU趋势分析

3.3 计费系统负载模型

由前面的公式 cpui=xi×τi/tpmC ，cpui=k· xi+b可以得到：

使用上式可以计算出每一个业务进程的tpmC当量iτ。

在计算出iτ后，就可以计算一台主机在给定业务压力集合(X)下的CPU负载模型为：

其中，xi∈X，iτ为之前计算得到的tpmC当量。在使用该模型时，上式中的c、和iτ为已知量，只要再将预测的业务量集合(X)的具体数值以及业务所在主机的 tpmC值代入到上式中，就可以计算出在预测的业务量集合下，特定主机上的CPU负载情况。从上面的模型中可以发现，计费主机负载预测的准确性主要依赖于对计费业务量集合(X)预测的准确性。图3、图4对近3年内主要计费业务量的趋势进行了分析(根据业务数据保密性要求，图中不显示具体业务量，趋势公式中的常数使用s1、s2、s3、s4表示)，其中，业务1、业务2、业务3使用指数曲线进行拟合的拟合度非常高，业务4则使用线性曲线拟合度较高。

图3 主要计费业务量趋势分析

图4 计费业务业务量趋势分析

将各业务预测公式代入前面得到的CPU负载模型公式可以得到预测某一个时间点计费系统负载的模型为：

其中，τ1i、τ2i、τ3i、τ4i分别为4种类型业务在第i个处理阶段的tpmC当量。在实际预测时可以根据预期前一段时间的计费业务量进行滚动统计，更新业务趋势曲线参数，进一步提高预测精度。

4 模型验证

由于在春节期间，实际的业务量，特别是短信业务量往往达到全年的最高峰，因此使用春节期间的业务流量以及计费系统的实际负载情况进行验证，可以有效地反映模型的准确性。

在具体验证时，首先利用上节的模型对春节高峰期时刻计费系统负载情况进行预测。然后再将预测值与实际值进行比较。通过这种方法来验证模型的准确性。在表 1中展示了计费系统中针对短信话单处理主机1与主机2在春节忙时的主机CPU使用率的预测值与实际值的对比情况。从中可以看到，使用模型计算处理的主机CPU预测值与实际值基本吻合，平均误差在3%以内。

表1 计费主机负载预测值与实际值比较 (%)

5 模型的应用

根据现有业务压力的增长情况，可以利用计费系统负载模型来预测计费主机的性能变化并及时提出需要对主机进行升级的告警。

根据图5和表2中的评估结果，在判断出计费主机在第2年春节的业务高峰期时，CPU负荷将达到90%以上，可能影响业务的正常进行。根据此项判断，项目人员在春节前对计费主机进行升级。主机的 tpmC值从升级前的323394增加到升级后的809144。图6展示了升级前后计费主机CPU使用率的实际值与使用主机负载模型进行计算得到的预测值之间的对比。

图5 主机性能季度预估

表2 主机性能季度预估数据 (%)

图6 升级前后计费主机负载预测与实际对比

6 结束语

本文针对计费系统主机负载变化大、资源动态分配难的问题，从分析各类计费业务流量与系统负载的关系入手，研究单笔业务在每一个处理环节的资源开销情况，提出一种基于单位业务tpmC当量的主机负载预测模型。经过实际验证，该模型可以较精确地预估计费主机的CPU负载情况，有助于计费系统维护人员实现精确运维和稳定运维。在上述模型中对于主机系统进程的负载情况使用了一个固定的常数c，然而在实际情况中系统进程的负载偶尔会出现细微波动。为提升计费系统负载预测模型的预测精度，今后将围绕该类系统进程负载的波动情况展开进一步研究。

[1]杨 伟,朱巧明,李培峰,等.基于时间序列的服务器负载预测[J].计算机工程,2006,32(19): 143-145.

[2]许 伟,陈志刚,曾志文,等.分布式系统中主机负载预测的一种普适性方法[J].计算机工程与应用,2004,40(6): 181-183.

[3]程宏兵,杨 庚.一种基于自动回归的改进网格主机负载预测模型[J].计算机应用,2005,25(11): 2483-2485.

[4]龚 波.分布式环境中主机负载预测的研究[J].信息系统工程,2011,(12): 122-124.

[5]陈荣征,李广松.基于遗传神经网络的主机负载预测方法研究[J].计算机时代,2009,(10): 12-13.

[6]李春辉,戚淑芬,李 静.分布式系统主机负载预测方法的评估[J].科技创新导报,2009,(7): 63-63.

[7]刘 斌,杨 坚,赵 宇.基于在线负载预测的动态集群节能配置策略[J].计算机工程,2010,36(24): 96-98.

[8]Chung I H,Jeffrey K.Hollingsworth.Automated Clusterbased Web Service Performance Tuning[C]//Proc.of IEEE High Performance Distributed Computing Conference.[S.1.]:IEEE Press,2004.

[9]Li Bo,Zhou Haiying,Zuo Decheng.Performance Modeling and Benchmarking of Bank Intermediary Business on High-performance Fault-tolerant Computers[C]//Proc.of the 41st IEEE/IFIP International Conference on Dependable Systems and Networks Workshops.[S.1.]: IEEE Press,2011.

[10]Transaction Processing Performance Council(TPC).TPC BENCH-MARKTM C Standard Specification Revision 5.11[EB/OL].(2010-02-10).http://www.tpc.org/tpcc.