上海移动用户满意度评分与网络质量相关性分析系统介绍

黄建华 中国移动通信集团上海有限公司网络部工程师

邵四清 北京中创信测信息技术有限公司监测系统产品部工程师

中创信测技术专栏

上海移动用户满意度评分与网络质量相关性分析系统介绍

黄建华 中国移动通信集团上海有限公司网络部工程师

邵四清 北京中创信测信息技术有限公司监测系统产品部工程师

编者按：为了促进我国手机市场更好更快地发展，移动集团和第三方评估机构有必要定期进行手机用户满意度抽样评分。由中国移动通信集团上海有限公司黄建华和北京中创信测信息技术有限公司邵四清所撰《上海移动用户满意度评分与网络质量相关性分析系统介绍》一文通过中创信测信令监测系统对上海用户的满意度评分进行了跟踪分析和评估，了解了上海具体用户的真实网络业务质量指标，可供相关网络维护人员参考、借鉴。

移动集团和第三方评估机构需定期进行手机用户满意度抽样评分，内容包含网络整体质量、语音呼叫质量、信息收发质量、上网业务质量等。本文基于上海移动用户满意度调查抽样用户的评分，通过中创信测信令监测系统对本地用户的满意度评分进行跟踪分析和评估，以了解本地具体用户的真实网络业务质量指标，实现针对指定抽样用户号码进行业务记录详尽质量评估分析和对网络质量的问题定位分析。作为信令监测系统数据记录的增值应用，本文值得维护人员学习参考。

用户满意度评分 信令监测系统 网络业务质量 指标相关度分析

1 用户满意度分析需求描述

移动集团和第三方评估机构需定期进行手机用户满意度抽样评分，内容包含网络整体质量、语音呼叫质量、信息收发质量、上网业务质量等项。基于上海移动用户满意度调查抽样用户的评分，上海移动希望通过信令监测系统对本地用户的满意度评分进行跟踪分析和评估，以了解本地具体用户的真实网络业务质量指标，实现针对指定抽样用户号码进行业务记录详尽质量评估分析和对网络质量的问题定位分析。具体需求如下：

（1）根据提供的用户满意度调查表，对调查的分类项目及评分进行跟踪评估。调查表用户号码必须保密，不能对外透露任何信息，否则要承担相应责任。

（2）针对调查表的相关号码提取信令监测系统最近一个月涉及网络覆盖和语音质量、短信/彩信、上网质量的记录，进行用户本地移动轨迹和用户业务质量评估分析。

（3）针对用户业务记录进行用户业务质量的时间、小区（区分住宅、办公、地铁、商务等）、终端类型、操作系统、业务类型等多维度分析，定位用户质量问题是终端故障、网络覆盖问题、网络运营故障等。

2 针对用户满意度专项分析需求的专用系统

（1）中创信测在一台服务器中安装相应软件和数据库，并完成用户网络业务质量指标综合统计功能开发：

●用户满意度CS域客户感知指标统计，可以进行多天统计分析，具体参见图1；针对用户满意度调查评分表增加中高端标志等维度关联统计，如图2所示。

●用户满意度PS域客户感知指标统计，可以进行多天、小区、终端类型等统计分析，具体参见图3；针对用户满意度调查评分表增加手机上网整体质量评分等维度关联统计，具体指标如图4所示。

●CSFB业务专项统计分析模块如图5所示。

（2）由于上海移动用户数据涉及2G/3G/4G业务，因此涉及的数据库表特别多，按满意度跟踪用户表过滤提取一天的用户数据，在系统负荷较低的情况下，至少需要4h。针对满意度分析用户的数据倒表程序，在夜间定时启动。

图1 用户满意度CS域客户感知指标统计功能

3 系统分析指标改进完善

3.1 用户满意度网络质量分析指标说明

在系统中增加了“主叫时被叫号码重复次数”和“被叫时主叫号码重复次数”等指标，以便辅助分析用户拨打和接听电话的感受。总体分析指标参见表1（含相关算法的说明）。

对于已经收集的数据再次重新分析生成每个用户的按天统计表。

KPI指标算法说明如下：

位置更新成功率=（位置成功次数/位置更新总次数）%

位置更新失败率=（位置失败次数/位置更新总次数）%

总掉话次数=主叫掉话次数+被叫掉话次数

总掉话率=总掉话次数/（主叫应答次数+被叫寻呼次数-寻呼失败次数）

寻呼成功率=（用户被叫寻呼总次数-寻呼失败次数）/用户被叫寻呼总次数

SMS总失败次数=MOSM次数-MOSM成功次数+（MTSM次数-MTSM成功次数）

图2 用户满意度CS域客户感知指标

SMS总失败率=（总失败次数/（MTSM次数+ MOSM次数））%

后续对相关指标与用户满意度评分进行相关性分析。

图3 用户满意度PS域客户感知指标统计功能

图4 用户满意度PS域客户感知指标

3.2 分析周期及样本量说明

在2014年12月10日，现场分析、统计2014年11月24日—12月7日CS和PS域两周数据，按用户的IMSI号码合并统计项。对于评分为空的用户，进行去除处理。因此，获得的有效样本数据量为：CS域790用户；PS域上网分析用户612个。

对于每个IMSI再区分中高端标志、KPI指标与网络整体质量评分进行相关性分析。经过单项指标分析后，再决定增加平均值相关性分析，因为用户单项指标与评分相关性弱。下面是详细的指标和用户评分相关性分析图表说明。

图5 用户满意度CSDB业务专项指标

表1 用户满意度网络质量分析维度和指标

4 用户满意度CS域业务记录相关性分析

4.1 按指标均值相关性分析

针对不同评分值，计算获取相关用户的多项指标平均值（见表2）。

（1）从图6可以看出，用户评分与寻呼成功率、位置更新成功率、SMS失败率指标之间没有强相关性指示。

表2 满意度用户质量CS域业务质量指标平均值

图6 网络整体质量与业务指标的相关性分析

（2）从图7、8可以看出，用户评分与平均掉话次数、掉话率之间有一定的相关性指示。即评分高的用户平均掉话次数低，与掉话率也有弱相关性。

（3）从图9可以看出，用户评分与寻呼失败次数、位置更新失败次数、SMS失败次数、重复呼叫次数等指标之间没有强相关性指示。

4.2 按单项指标相关性分析

针对所有有效评分用户的单项指标与其所给的评分值进行全部排序及关联分析，可见下面各个指标的相关性分析图示：

（1）用户评分与位置更新失败次数没有明显的相关性。即使评分高的用户也存在较高的失败次数，而且非中高端用户即使失败次数高，也有评分高的用户存在。位置更新成功率和失败率也类似，具体参见图10、11所示，以区分中高端用户和非中高端用户。

（2）用户评分与总掉话次数没有强的相关性。即使评分高的用户也都存在较高的掉话次数，也有掉话次数目前是0的用户，而且非中高端用户即使掉话次数高，也有评分高的用户存在，只是比例有所不同，具体可参见平均值分析说明，掉话率也类似。

图7 网路整体质量与总掉话次数指标的相关性分析

图8 网路整体质量与总掉话率指标的相关性分析

图9 网路整体质量与业务次数指标的相关性分析

图10 中高端用户网路整体质量与位置更新失败次数指标的相关性分析

（3）用户评分与寻呼成功率和寻呼成功次数没有强的相关性。即使评分低的用户也都存在较高的成功率和成功次数，指示评分高的用户寻呼成功率较高，即所占比例较高。另外，8～10高分用户的100%寻呼成功率占比高或人数多。

（4）用户评分与主叫次数没有强的相关性。用户评分高8～10且主叫次数高的所占比例明显高，也即高话务用户对于网络质量的整体评分都是高的。

（5）用户评分与短信发送和接收失败次数、总失败率没有强的相关性，但对于低评分用户确实存在高失败次数，无论是中高端还是非中高端。

5 用户满意度PS域上网业务记录相关性分析

5.1 按PS业务指标均值相关性分析

针对PS域相关全部用户，按照网络整体质量评分取平均值，然后进行各项指标的相关性分析（见表3）。

用户网络质量整体评分与相关成功率、响应时延、下载速率等指标没有相关性；与HTTP下载平均流量有弱相关性，即流量高的用户对于网络质量评分高。

图11 非中高端用户网路整体质量与位置更新失败次数指标的相关性分析

5.2 按PS域单项指标用户相关性分析

通过对PS域每个用户的上网业务质量指标进行排序，然后按照网络整体质量评分进行有效用户的相关分析，初步分析与各项指标的相关性较弱。

6 用户满意度评分与网络质量相关性分析初步结论

（1）经过多个指标相关性分析，用户整体网络质量评分与网络业务质量多项指标相关性程度较低。

（2）用户整体网络质量评分与用户的平均掉话次数有弱相关性。可针对掉话小区类型居住区、地铁、商务区等进行用户归类跟踪分析。

（3）用户整体网络质量评分与用户的总话务量趋势基本一致，即高话务量用户的评分相对较高，无论中高端还是非中高端。另外，PS业务平均流量高的用户满意度评分相对较高。

（4）网络质量满意度评分是用户对网络质量一个相对比较主观的评价，切入点除从网络质量入手外，还可从用户心理、外部因素（例如运营商资费、服务）等多方面维度进行进一步深入研究。

表3 满意度用户质量PS域上网业务质量指标平均值