基于用户感知的网络质量评估诊断方法研究与应用

苏 飞，冉 萌，蔡子龙，陆 钧

（中国联通网络技术研究院 北京100048）

1 引言

网络质量是用户选择移动通信运营商的最重要因素，传统网络质量考核体系已经不能够客观地反映出用户感知，往往出现网络KPI（key performance indicator，关键绩效指标）很好，用户感知却很差的情况。结合目前网络现状，一方面，存在很多高端用户对网络满意度持续下降的情况，需要采取措施重点针对高端客户的感知进行基于多维度的分析和衡量；另一方面，3G用户热衷于参与性强、互动性好、有吸引力的各类应用，特别重视体验的效果，3G 成功的关键是看用户感知的好坏。因此，运营商必须建立以用户感知为导向的网络质量评价考核体系，有效地开展网络优化工作。但从实际应用来看，运营商大多仅实现了从KPI向用户感知的KQI（key quality indicator，关键质量指标）的聚合，评估方法单一，实现力度不够[1]，因此，如何保障用户对网络的体验、提升用户对网络的满意度，是运营商面临的重要课题。

2 提升用户感知的主要方法

在提升用户感知方面，目前存在着多种方法，主要有基于自动路测的采集评估，基于手机植入的终端质量监测，基于多维指标的业务质量分析和基于信令数据的挖掘分析。这些分析技术在网络质量评估和网络优化过程中发挥着重要作用，下面对这些方法进行简单论述。

（1）基于自动路测的采集评估

基于自动路测的采集评估系统是利用车载系统模拟用户做拨打测试，然后通过无线调制解调器把数据传到系统主服务器上。系统服务器主要包括收集海量测试数据的数据库管理系统、LOG 文件系统及预处理系统。客户端部分可以从系统服务器中读取数据，集成后台分析处理功能（展示、分析、报表、拨打控制等）。

（2）基于手机植入的终端质量监测

UE 预先安装相应客户端，在后台运行，自动采集网络参数，回传到服务器；UE 能够进行软件自动升级；通信服务器用于连接客户端与数据库，保证稳定的数据传输；数据库服务器用于UE 远程升级，存储测试数据，并进行数据分析和报表管理；BS 客户端用于进行网络性能分析，可以进行用户行为分析和话务模型分析。

（3）基于多维指标的业务质量分析

该方法需要建立“基于QoE的KQI 分类方法”，建立KPI-KQI-QoE的映射模式，针对业务或应用进行业务质量分析，体现用户感知QoE。

（4）基于信令数据的挖掘分析[2]

基于信令数据的挖掘分析主要包括数据采集、信令关联、智能挖掘和问题定位。数据采集通过高性能信令采集设备对网络中各接口信令和测量报告、性能数据进行采集和存储；信令关联通过信令数据关联进行数据清洗，保证数据的准确性；智能挖掘对网络性能进行多维度评估，如对切换失败、掉话、位置更新异常、指派失败、干扰、弱信号、载频隐性故障等问题进行评估；问题定位是对分析结果反映的问题进行定位和优化。

每种方法各有优劣，根据不同需求和不同场景，可以采用不同的评估方法。基于自动路测的采集评估，无法做到对整个网络的测试，成本高加重了网络负荷；基于手机植入的终端质量监测涉及用户隐私，每类终端需单独开发AGENT，无法推广到所有在网用户；基于多维指标的业务质量分析的问题在于难以建立QoE 与KQI的一一对应关系，用户的移动性与业务多样性导致业务视图建立困难；基于信令数据的挖掘分析存在信令硬件投资巨大，系统建设维护工作较大，用户隐私与安全等问题。

3 基于用户感知的网络质量评估方法

基于用户感知的网络质量评估方法依托于基于信令数据的挖掘分析方法，利用核心网CDR（call detail record）数据，结合用户行为和用户体验，进行网络质量的评估。

3.1 多数据源

各类数据源是用户体验网络质量评估方法的基础，数据源的准确采集、导出和导入是优化工作的重要前提。现网运维数据中存在多种数据源，如信令消息的CDR、MR（measurement report，测量报告）、设备内部的CHR（call history record，呼叫历史记录）以及话统数据等，各种数据源可以利用关键字进行关联分析，从而实现对优化工作的有力支撑。

本文主要利用核心网信令消息CDR 进行异常用户行为模型分析，如通话CDR、切换CDR 等，加以其他数据源的支撑，最终完成优化。

3.2 方法流程

基于用户感知的网络质量评估方法主要包括6个过程[3]，即数据理解整合提出需求、建立用户行为模型、数据清洗、数据分析实施、多维度分析和参数调整，如图1 所示。

流程中各部分具体内容如下。

（1）数据理解整合提出需求

充分理解各类数据源（如CDR 数据、话统数据）的深层次含义及数据源之间的关联性，结合现网实际情况，提出数据分析需求。

（2）建立用户行为模型

通过用户应对不同话音业务问题时所表现出的异常行为，利用其行为特征，如通话时长、通话间隔等，建立基于异常用户行为的话音业务问题挖掘模型，用于后续分析。需要注意的是，在模型建立的过程中，涉及个别模型参数的选择，参数的选择是影响模型准确与否的关键，因此，需要通过现网的数据分析或利用相关专家的经验进行设定。

（3）数据清洗

对于一些疑似事件，可能是由于用户拨测或个体行为导致，需要对这部分数据进行数据清洗，从而提高数据的准确性，减少其对结果的影响。如某个用户在一段时间内的通话时长均很短，而且通话间隔较短，这可能是由于手机卖场拨测等情况导致，需要将这部分数据从数据分析工作中清洗掉，以避免对结果产生影响。针对不同的业务场景，需要设置不同的数据清洗规则。

图1 基于用户感知的网络质量评估方法流程

（4）数据分析实施

利用相关数据分析工具（SQL、Modeler、SAS），对建立的数据分析模型进行实现，并对数据进行实施。

（5）多维度分析

针对检测到的疑似事件，进行多维度场景细化分析，基于多维度信息，寻找疑似性较高的疑似事件及可能的多种维度，如时间维度、地理维度、网络维度、网元维度、呼叫类型等。如果分析结果发现事件在某个维度上表现出明显异常，则需要重点关注，并列为重点疑似对象。

（6）参数修正

通过优化实施后的经验，对问题检测模型的参数进行修正，以使模型对问题的检测更加准确，为后续优化提供强有力的支持。

3.3 关键问题分析

在整个方法的实施过程中，关键环节的处理至关重要，可能存在以下问题。

（1）多数据源采集

由于需要多数据源支撑，多数据的采集、关联和准确性需要一定的保证，增加了数据采集和分析的难度。

（2）分析模型误差

方法中使用的用户行为可能是一些用户的正常行为，需要从模型中将这类用户去除，从而完善模型，提高准确率。

（3）问题精确定位

筛选出的问题实体（如小区、链路等）可能较多，需要将其中最具疑似性的实体挑选出进行高效的优化。

（4）检测模型修正

问题检测模型中的参数选取尽管有数据支撑，难免与各省实际情况有出入，需要对参数进行有效修正。

3.4 典型模型

基于用户感知的网络质量评估方法重点研究用户行为，通过用户行为特征，反映出用户对网络的体验感受，从而发现网络存在的问题。

用户行业是指用户在使用网络开展话音或数据业务时，行为在某一维度上表现出了较高的集中度，如用户第一次通话失败，而再次拨打成功；或用户在某段时间内，在某小区的通话时长总是很短。这些异常的用户行为模型背后往往隐藏着丰富的网络质量信息，如有用户在某小区内的通话时长总是很短，可以初步判定该小区存在问题，然后进一步分析是无线网问题，还是核心网问题，最终达到对问题进行精确定位的目的。本文关注话音和数据业务的用户行为模式，并研究不同模型映射出的网络问题。

3.4.1 话音业务的模型分析

（1）通话时长

通话时长是指用户在通话过程中的时间长短，用户的通话时长，往往能够反映出当时网络的状况。

如一个小区的用户平均通话时长很短，可能是这个小区的网络环境相对较差，造成话音质量不好，影响用户感知，用户无法完成通话，在较短的时间内结束了通话，因此，通话时长很短。

通话时间超长的用户，也是运营商需要重点关注的用户。这类用户对运营商来说非常重要，可以重点分析其通话局向、对方用户类型等信息，对市场推广有着重要的参考意义。

此类用户模型折射出的网络问题如超长通话、超短通话等。

（2）通话间隔

通话间隔是指用户通话的时间间隔，通话间隔可以辅助其他因素进行网络问题的挖掘。

如果用户的通话时间间隔总是较短，则可能是用户所在小区的无线质量很差，导致用户多次短时间间隔通话。

如果用户的通话间隔短，且较为频繁，则可以重点分析用户行为，如分析是否为恶意通话等。

此类用户模型折射出的网络问题如超频通话、单通等。

（3）切换频繁

切换频繁是指用户在较短的时间内，频繁发生切换，且具有较高的集中度。

切换是由于用户位置移动所导致的正常行为，但如果切换过于频繁，且具有较高的集中度，则将成为一种网络问题，可能会发生掉话等。

此类用户模型折射出的网络问题如频繁切换等。

（4）2G/3G 重选

2G/3G 重选是指用户在空闲状态下，进行2G 和3G 间的异系统重选，从某种重选规律出发，可以挖掘出隐藏的现网问题。

如在3G 中的用户，重选到2G，但在很短的时间间隔后，又回到了3G，可能是当时的3G 信号很差，重选到2G，但很快3G 信号又好转，再次回到2G。可以利用这样的用户行为挖掘3G 覆盖差的小区。

此类用户模型折射出的网络问题如3G 深度覆盖问题等。

（5）2G/3G 切换

用户发生2G 和3G 之间的切换，根据用户的某种切换类型，可以发现现网中存在的问题。

在3G 环境下起呼的用户，在通话时间很短的情况下，由3G 回落到2G，如起呼3G 切2G 事件。

此类用户模型折射出的网络问题如起呼3G 切2G 等。

（6）标志性用户事件

标志性用户事件是指通过统计用户在某些失败事件前后，其他正常事件的相关信息，可以进行相关问题的定位。

用户在某一次失败事件后，进行了其他成功的事件，则将那次失败事件记为标志性事件。

此类用户模型折射出的网络问题如寻呼黑洞等。

3.4.2 数据业务的模型分析

（1）PDP 激活频繁

用户在某一段时间内频繁发生PDP 激活事件，且有较高的集中度。

PDP 激活是WCDMA 系统用户上网的重要流程，如果用户在一段时间内频繁进行PDP 激活，且失败事件较多，则反映出网络存在明显异常。

此类模型折射出类似参数不合理等问题。

（2）开关机

用户在某一段时间内，进行频繁开关机操作。

在很多情况下，出现用户只能进行关机—开机操作，才能上网，因此，对用户频繁开关机行为进行分析，能反映出存在问题的地理维度。

此类模型折射出数据业务的隐性问题。

（3）话音数据业务并发分析

用户在话音业务过程中进行数据业务或用户在数据业务过程中进行话音业务分析。

并发业务情况在现网中越来越多，其质量的好坏，严重影响用户对网络的体验。

折射出并发业务存在的信令流程问题。

话音业务单通问题[4]是比较严重的话音质量问题，对用户感知影响较大，目前在现网上普遍存在，各地客服经常接到此方面的投诉。单通问题可能由无线环境、链路接口或配置、无线/核心网设备内部机制等多种原因引起，在信令流程上与正常通话一样，理论上只有通过对比话音业务源端和接收端的用户面数据源才能判定，不易直接从设备内部话统或信令流程上判定，因此，在该类事件的问题定位和优化上一直缺乏系统性、成熟的方法和手段。

因此，需要针对单通问题发生原因和场景进行系统性地梳理和细分，充分利用网优支撑系统，通过用户行为特征、单通容易发生场景等经验知识，提出行之有效的问题定位方法和手段，开展针对性的优化，提高话音业务质量，改善用户感知。

4.1 主要场景

单通问题考虑的主要场景包括无线环境问题、无线设备问题、核心网链路问题和核心网设备问题。单通问题细分场景及呈现特征见表1 所列。

针对以上各类细分场景导致的单通问题，只有核心网链路级问题几乎为100%触发，其他问题都是以一定的概率呈现，因此，只有当某个网元维度该类事件发生比率明显大于同类网元维度时，该问题才能发现并进行处理。

表1 单通问题细分场景及呈现特征

考虑到单通事件难以直接通过信令流程、设备话统进行判定的特点，结合网优支撑系统的数据源，提出的总体思路是：

· 结合单通事件中的用户行为特征、网元维度集中度特点对现网数据进行分析，获取疑似单通事件评估指标；

· 针对核心网链路级单通事件、无线小区级单通事件等2 类现网上极易发生的典型场景，分别进行优化研究。

4.2 链路级单通

（1）核心思路

链路级单通的用户行为判定原则：以PCM/CIC为研究对象，利用用户行为分析指标进行疑似链路级单通的判断，链路级单通的判断思路如图2 所示。

图2 链路级单通的判断思路

链路级单通的判定原则：当PCM 或者CIC的平均通话时长小于指定值（暂定为30 s），且通话时长分布与正常的时长分布差异较大时，判断为疑似链路级单通。

以某省数据为例，对参数进行详细说明，E口链路平均通话时长（全天通话次数100 次以上）链路数分布如图3 所示。

从图3 可以看出，大部分链路平均通话时长集中在72～125 s。需要重点关注的对象是通话时长在30 s以下的链路分布情况，对图3 局部区域放大后可以得到图4，图4 方框中的异常突起即为需要重点分析的单通链路。

E口时隙、A口链路、A口时隙的分析思路同E口链路，下面分析内容中不再特殊说明。

图3 E口链路平均通话时长（全天通话次数100 次以上）链路数分布

图4 E口链路平均通话时长（55 s 以下）链路数分布

（2）优化流程

链路级单通的优化流程为：采集A口/E口CDR 数据和T 局话单数据，利用疑似链路级单通检测指标进行检测，对检测的链路级单通进行拨测验证和定位，然后进行有针对性的优化，最后进行优化的评估和模型参数修正。链路级单通的优化流程如图5 所示。

（3）现网实施

针对链路级单通，分别在省一和省二进行了现网验证实施。

在省一，采用全网一天的A口/E口CDR 数据，其中：

· E口链路46 466条，疑似单通链路37条；

· E口时隙约10 000个，疑似单通时隙21个；

· A口链路29 553条，疑似单通链路0条；

· A口时隙913 290个，疑似单通时隙49个。

单通链路中，7条为省内链路，经拨测验证，全部为单通，已临时闭塞；19条省际链路，需要集团协助定位；11条平台链路确认为语音信箱/秘书台等业务，通话时长由业务特性决定较短。

单通时隙中，28个A 类时隙，2个网元间的时隙配置有误，导致这2个网元间所有链路的16 时隙都为单通时隙；42个B 类时隙，特定链路的特定时隙存在问题，与网元没有强相关性。

在省二，采用全网一天的A口/E口CDR 数据，其中：

· E口链路19 069条，疑似单通链路17条；

· E口时隙约282 790个，疑似单通时隙36个；

· A口链路2 542条，疑似单通链路0条；

· A口时隙76 269个，疑似单通时隙49个。

除此之外，还对疑似单通链路对局向通话占比的影响进行了分析，如图6 所示。从图中的第一个柱状条可以看到，链路1（即省二TMSC1-1 到省二MSS4之间）中有9.2%的单通比例，即几乎每10 次通话中就有1 次是单通，严重影响用户感知。

4.3 小区级单通

（1）优化流程

小区级单通的用户行为判定原则：双方第一次通话后，在很短时间内发起第二次通话。具体条件为：第一次通话时长≥T1（暂定5 s）、≤T2（暂定20 s），时间间隔≥T3（暂定0 s）、≤T4（暂定20 s）（主被叫可互换；时间T1、T2、T3、T4 可调）。

图5 链路级单通的优化流程

图6 疑似单通链路对局向通话占比的影响

小区级单通优化流程主要分为5个阶段：单通模型构建、单通模型实现、多数据源联合判定、指标生成和目标小区判断以及现网优化实施，具体如图7 所示。

（2）现网实施

针对小区级单通，在省三、省四和省五进行了现网验证实施。

在省三，采用全网一周的综合话单CDR 数据，利用小区级单通判断原则进行小区级单通检测，共得到疑似小区级单通个数为39 704个，小区级单通占比分布如图8 所示。

针对这些疑似单通小区，对其进行了数据清洗，首先对现网采集过程中的异常数据进行了清洗；然后进行了城市维度、网络类型维度、站点维度分析，讨论了不同维度下疑似单通小区在单通占比上的分布。

为了有针对性地对单通小区进行优化，定义了TOPN 小区，即疑似性较高的N个小区。TOPN 小区的筛选原则为：

· 计算小区7天总的疑似单通占比；

· 选择总通话次数大于100 次（统计意义上）的小区，对总的疑似单通占比进行降序排序，挑选出TOPN 小区；

· 结合小区的每天疑似单通占比辅助判定；

· 结合每个小区不重复的疑似单通号码个数和单通次数辅助判定；

图7 小区级单通的优化流程

图8 小区级单通占比分布

表2 多数据源联合判断结果

表3 BSC 疑似单通占比分布

· 结合小区掉话率进行辅助判定；

· 结合主叫号码平均单通次数和被叫号码平均单通次数辅助判定。

在省四，重点对连续7天发生疑似的1 723个单通小区进行单通次数占比分析，其中，占比大于1%的小区达214个，占比大于1.5%的小区18个。对占比大于1.5%的疑似单通小区进行地理维度分析，给出了相应的GIS 图，如图9 所示。

图9 7天疑似单通占比高小区分布

在省五，采集了一周的综合话单CDR，挖掘出疑似单通小区，并将这些小区和多数据源进行联合分析，联合的数据源有设备告警信息、指标数据和用户投诉信息。重点分析了单通比例在2%以上且单通发生4天（含4天）以上的小区，共337个，映射到其他数据源反映出的问题见表2 所列。

337个小区中存在明显问题的小区个数为142个，占比43.1%，其余小区为存在疑似隐性问题的小区，后续可重点进行单通拨测。

除了对TOPN 小区进行分析之外，还对基站/RNC/BSC 疑似单通占比进行了分析，筛选出疑似基站、RNC和BSC。BSC 疑似单通占比分布见表3 所列。

从图中可以看出，67152 和68832 两个BSC的疑似单通占比大于2%的小区分别达到了38%和50%，基本确定其有问题。

此外，在现网的验证过程中发现，有些小区的异常信息淹没在一天的数据信息中，还需要将时间粒度缩小，分析每个时段小区的疑似单通占比情况，从而能够更加有针对性地对单通进行分析。

本文研究了目前针对用户体验评估的主要方法，对每类方法的优缺点进行了分析，在基于信令数据挖掘分析的基础上，结合用户行为，提出了基于用户感知的网络质量评估方法，利用此方法，确立了现网链路级单通和小区级单通的思路，利用核心网CDR，分析了现网中的单通问题，并进行了多维度分析，给优化提供了更多渠道。

1 韩振东，蔡子龙，程晓军.基于用户行为数据挖掘的网络质量优化.数据通信,2012（1）

2 郭喆.基于用户行为的无线通信网络综合优化研究.华中科技大学博士学位论文，2011

3 王睿，苏飞，韩振东等.基于用户行为的语音业务隐性问题挖掘及优化研究.邮电设计技术,2013（6）

4 丁赛平，黄燕华.GSM用户单通问题的分析及解决方案.中国联通佛山分公司，2011