实现移动产品运行质量端到端量化分析的方法研究

杨剑 谭志远 周文红

摘要业务质量和客户满意度是运营商快速发展移动业务，增加客户粘着度并赢取市场份额的关键。文章阐述了产品运行质量分析的需求，提出了移动产品运行质量分析采用端到端量化评估的理论模型，并且以WAP业务为例说明该模型如何实施。

关键词产品健康度KQIKPI质量分析客户满意度评估模型

1引言

中国电信于2008年末承接了CDMA网络并于2009年初对外放号，至此，国内三家电信运营商都已具备全业务运营资格，业务范围和目标客户群日益接近，导致竞争更加直接和激烈。在网络同质的情况下，产品运营质量将成为关键竞争力之一，同类产品之间的客户感知度逐步成为未来竞争关注点，提升客户感知、提高客户满意度将成为获得竞争优势的关键。

定期进行产品运行质量分析是运营商评估和掌握网络和业务运行情况的常见手段。但是，如何使产品质量分析评估的结果切实反映客户感知，使产品质量分析成为提升业务质量、赢取市场份额的有效工具，是运营商面临的难题。

2产品运行质量分析的需求

我们认为产品质量分析应满足以下关键需求：

首先，产品质量分析应面向用户，反映用户的业务使用感知。用户的业务使用感知是衡量产品运行质量的最重要指标，所有产品质量的评估以及优化工作应最终落实于提升用户业务使用体验和总体满意度上，而这也是产品得以迅速推广的基础。当前的质量分析往往存在这种问题：网络侧的指标评估正常，而实际的用户使用体验却不佳。其根本原因在于没有建立网络运行指标和用户业务感知之间的关联性。因此，产品质量分析应从用户的业务使用场景出发，切实反映用户的业务使用感知。

其次，产品质量分析应面向网络，从全程全网、端到端的角度去综合考虑产品的运行质量。作为业务提供的载体，业务平台的运行质量一直是产品质量分析的重点。但是，从移动业务的实现流程来看，业务实现往往需要贯穿业务平台、核心网络、承载网络、无线网络、第三方SP／CP，甚至手机终端等多个环节，这些网元和环节都有可能对产品运行质量产生重大的影响，因此，完整有效的产品质量分析不局限于业务平台，而应该实施端到端的产品运行质量分析。

再次，产品质量分析应具备量化评价手段，且评估结果能够体现产品的整体健康度。当前质量分析的一个大难题在于：产品质量分析和考核都制定了一批网络运行指标(KPI)，但是哪些指标和用户的业务使用感知更加密切?哪些指标的劣化对业务质量的影响更大?如何通过这些指标来综合评价产品的整体健康度?这些均未知。由于网络运行指标与产品质量之间存在正相关或负相关的关系，而各个指标对产品运行质量产生的影响也各不相同，因此产品质量分析需考虑影响产品运行质量的各个因素的关联以及权重，才能提供综合的评价。

3产品质量分析评估模型

在介绍产品质量分析评估模型之前，需先解释几个关键名词：

(1)KQI(key quality index)：产品的服务质量指标。它表示产品的整体或某一方面的性能，一般可以通过一个或多个不同的KPI得到。

(2)KPI(key performance index)：关键性能指标。它反映端到端服务的某一方面或某一部分的数据，是网络运营维护的重要考核指标，是影响产品运行质量的因素。

(3)PHD(product health degree)：产品健康度。它是对产品整体运行质量的量化评分。

基于网络对端到端量化评估的需求分析，为了使产品质量评估模型反映用户的业务使用感知并满足量化评估的需求，我们通过以下两个阶段建立质量评估模型：

3.1KQI开发及分解

从用户实际使用业务场景出发，分析业务使用过程用户的使用感知因素，从而提取出产品KQI，再结合业务流程(话务模型)、网络拓扑结构，把产品的KQI分解成网元的KPI指标。通过这种方法，从网络层面解决用户感知与产品KQI、网元KPI的关联问题。研究方法如图1所示。

(1)分析业务场景：从终端用户的角度，研究用户的业务操作使用过程。

(2)分析用户感知因素：根据用户的业务使用场景，分析业务使用过程存在哪些影响客户感知的因素。

(3)提炼网络运营KQI：把用户感知因素归纳和提炼，形成产品的KQI，每个KQI能够反映用户感知的某一方面因素。

(4)分析网络拓扑架构：分析业务流程以及网络的网络拓扑结构，哪些关键网元共同参与业务提供的过程，每个网元负责哪些关键操作。

(5)KQI分解：根据各个网元在业务处理过程中的关键操作，分析与之对应的网元KPI指标，当KPI出现劣化时会影响该业务的哪些用户感知因素，从而确定产品KQI与网元KPI之间的对应关系。

(6)确定KQI度量方法：根据各网元KPI之间的关系以及KPI对产品质量和用户感知的影响，确定KQI与网元KPI之间的算法和权重。

3.2产品健康度量化取值

通过给KQI指定参考值和量化取值的方法，分配不同权重，聚合形成产品健康度，以满足产品整体运行质量的量化评估需求。研究方法如图2所示：

(1)建立产品KQI：通过第一阶段KQI开发和分解工作建立产品KQI体系。

(2)对KQI量化评分：制定各个KQI的参考值，制定评分规则，把对网络测评结果，例如：业务时延、成功率，转化为100分制的量化值。

(3)产品健康度聚合计算：根据各个KQI对产品质量的影响分配合适的权重，通过KQI加权聚合得出产品健康度。

4模型应用实例

WAP上网是当前运营商重点发展的移动产品，试以WAP产品为例介绍产品质量分析评估模型的应用和实施。

4.1WAP场景及用户感知分析

用户使用WAP上网的业务场景可以分为3步骤：用户打开网络连接，发送网页浏览请求，结果接收和显示。我们需要分析这三个步骤的具体操作，看存在哪些影响用户感知的因素：

(1)用户点击手机终端的上网按键，打开网络连接。此环节影响用户感知的因素主要包括：

◆网络连接是否成功；

◆建立网络连接的时间长短。

(2)用户打开浏览器，输入网址并发送请求。此环节影响用户感知的因素主要包括：

◆用户终端(含浏览器)界面是否友好；

◆网址输入是否方便；

◆终端剧览器的操作是否符合用户使用习惯。

(3)用户终端接收网站的返回结果，并且显示输出网页。此环节影响用户感知的因素主要包括：

◆网页是否成功打开；

◆接收网页内容的速度如何；

◆从发出网页请求到终端／浏览器完成页面显示用了多长时间；

◆上网过程是否出现掉线的情况；

◆终端／游览器的操作是否符合用户使用习惯。

4.2提炼影响客户感知相关的网络运营KQI

根据用户业务使用场景的分析，从影响用户使用感知的因素提炼形成KQI指标，每个KQI指标能够反映用户使用WAP上网业务的某一方面感知，总体上可以分为业务成功率、业务时延、业务支持度以及速率几类。如表1所示：

4.3网络拓扑及关键操作分析

下面从WAP上网业务的基本网络拓扑(如图3所示)人手，分析各个业务网元在业务提供过程中都有哪些关键操作可能会对用户的业务体验产生影响。

(1)打开网络连接

◆移动终端经过无线网络发送连接请求。

◆PDSN与RADIUS Server进行消息交互完成用户鉴权认证、IP地址分配。

◆PDSN向RADIUS Server发起初始计费请求，连同移动终端MSISDN转发给WAP GW。

◆WAP GW将计费请求消息中的用户身份信息缓存在内存中，并RADISUS Server返回计费开始应答。

◆计费开始应答转发给PDSN，PDSN向移动终端下发动态IP地址激活响应。

(2)发送网页浏览请求

◆用户输入网址或者打开本地保存的链接，发起访问某个网页的请求。

◆PDSN将WAP浏览请求转发给WAP GW协议处理部件。

◆WAP GW对WAP浏览请求的进行内部处理和适配，并将请求发送到目的Web Server。

(3)接收和显示

Web Server返回响应消息(包含了WAP请求内容结果)。

WAP GW完成响应消息的内部处理和转换，并转发给PDSN。

PDSN将浏览内容经无线网络转发给移动终端，由移动终端处理显示。

4.4KQI分解并确定算法

本环节根据网络拓扑以及相关网元在打开网络连接、发送网页浏览请求、接收和显示各阶段的关键操作和处理过程，对KQI进行分解。如表2所示。

4.5产品健康度开发

本环节确定各个KPI指标的量化评分方法以及权重，建立网络运营健康度的评估方法(如表3所示)。为了使评估结果能更准确地反映用户感知，不同的KQI需分配合理的权重，权重的设置可以来自业务逻辑的分析以及产品质量分析的经验，也可以参考问卷调查的用户反馈。

4.6健康度评估结果举例

图4为WAP产品健康度评估结果的举例，尽管每月产品KQI有所波动，但是产品健康度稳中有升，反映了产品的总体运行质量正在逐步提高。

5结束语

产品质量评估模型具有广泛的适应性，可以灵活应用到彩信、定位、视讯等各类主流移动业务产品中。同时。产品质量分析的实施是一项系统工程，需前端市场业务部门、网发部门和后端运营维护部门通力合作，才能把产品质量分析的成果应用于网络优化建设、业务开展，提升客户的业务体验，从而促进移动产品的健康发展。