VoLTE端到端客户感知评估方法的研究

黄昭文

（中国移动通信集团广东有限公司，广东 广州 510000）

VoLTE端到端客户感知评估方法的研究

黄昭文

（中国移动通信集团广东有限公司，广东 广州 510000）

VoLTE业务已经正式开始商用，业务量和用户数快速增加，研究如何有效保障VoLTE网络的质量已成为重要课题。通过对VoLTE客户感知的评估方法进行深入研究，指出现有客户感知分析方法需要改进，提出把VoLTE网络指标、客户真实体验与客户满意度相结合的思路，建立了一个基于VoLTE客户感知量化评估的模型（VoMOQ），并通过实际应用验证了该方法的有效性。

VoLTE 客户感知 VoMOQ 端到端 客户满意度

1 引言

相比传统2G/3G网络，VoLTE网络的实现需要PS、CS、IMS的支撑，涉及网元众多，流程跨越无线网、EPC、PCC、IMS以及CS核心网网元，业务流程经过多个网络接口[1]。为了确保VoLTE网络质量，需要结合其技术特点开展端到端优化[2-3]。但是，在这种复杂的网络环境下，仅通过网络KPI指标难以反映VoLTE客户的真实感知。在VoLTE网络使用过程中经常出现网络指标良好，但用户主观感知差等情况[4-5]。经分析，现有的网络评估技术方案主要是针对网络指标进行单方面评价，而并未能考虑用户预期、环境条件和心理因素等主观因素，评估准确度难以把控。此外，虽可通过问卷调查的方式抽查客户对VoLTE业务的满意度，但是在VoLTE业务发展初期，客户对VoLTE的认知度相对较低，客户的VoLTE知晓率不高（例如视频通话使用率较低，大多数客户未使用过该功能），大部分客户对VoLTE存在认知偏差，从而难以从问卷中获得全面、客观的评估结果。

针对上述情况，本文提出将网络指标与用户满意度进行回归拟合，计算用户满意度与网络指标的关联性，进而准确评估VoLTE客户感知，定位关键问题。

2 VoLTE客户感知的评估原理

影响VoLTE客户感知的因素包括主观因素和客观因素[6]。主观因素包括但不限于客户预期、环境条件、心理因素、价格因素、应用背景等。客观因素主要考虑网络性能指标。对VoLTE网络进行评估一般从VoLTE信令数据的接入性、保持性、完整性、移动性指标及VoLTE话务模型数据着手，选取特征数据作为模型的输入变量，包括注册用户数、无线接通率、IMS网络PDN建立成功率、初始注册成功率、IMS专用承载建立成功率、IMS承载更新成功率、S-CSCF接通率、SBC主叫平均建立时长、MO接通率、MO应答率、MT接通率、MT应答率、语音MOS值、视频语音丢包率、视频语音抖动、掉话率、E-RAB掉话率、eSRVCC切入平均时长、eSRVCC媒体面切换中断时长、系统内切换成功率、系统内切换中断时长、VoLTE用户应答话务量、初始注册次数、重注册次数、VoLTE用户平均通话时长、每用户应答话务量、每用户BHCA等指标[7-8]。为了更好地评估VoLTE网络性能，从而有针对性地对网络进行优化，应从VoLTE信令数据的接入性、保持性、完整性、移动性指标及VoLTE话务模型数据着手，选取核心网络指标数据作为模型的输入变量，然后通过迭代回归算法，对通过调查问卷获取的用户VoLTE满意度数据样本进行训练，拟合获得用户VoLTE感知评估模型及相关的各项KPI指标的评估权重。

3 VoLTE客户感知评估方法

建立了一种VoLTE客户感知评估方法，简称为VoMOQ（VoLTE Measure of Quality），系统框架如图1所示。

图1 VoMOQ系统架构

如图1所示，VoLTE码流进入VoMOQ后，分别按信令面及媒体面进行感知评估。图中列举了音视频MOS、接入类、保持类、移动类、资源类、会话类等主要指标类型及其处理模块（C、U1、U2、U3、U4、U5）。根据需要，可以依据本文所介绍的方法进一步扩展需评估的业务指标类型。依据VoLTE指标统计规范，以上各类指标虽然在统计侧的重点和参考点不同，但其数据来源在总体上可以归为三大类型：成功率、时延、完整性。在采用VoMOQ对指标进行感知综合评分时，需要依据具体类型采用不同的计算公式。

3.1 成功率相关指标的评分方法

令设x为VoLTE网络应用的成功率，如附着、PDP激活、路由区更新成功率等指标[9]，“1”表示成功，“0”表示失败。VoMOQ采用示性评分法计算：

现网中可以归入成功率类型的VoLTE指标包括：无线接通率、IMS网络PDN建立成功率、初始注册成功率、IMS专用承载建立成功率、IMS承载更新成功率、S-CSCF接通率、VoLTE MO接通率、VoLTE MO应答率、VoLTE MT接通率、VoLTE MT应答率、系统内切换成功率等。

3.2 时延相关指标的评分方法

令x为相应VoLTE单次业务时延，Dbig、Dsmall为对应时延感知指标的上、下门限的定义值。时延感知的上门限是指如果时延大于该指标，则感知是差的；下门限是指如果时延小于该指标，则感知是好的。VoMOQ系统中采用线性评分法计算：

现网中可以归入时延类型的VoLTE指标包括SBC主叫平均建立时长、eSRVCC切入平均时长、eSRVCC媒体面切换中断时长、系统内切换中断时长等。

3.3 完整性相关指标的评分方法

（1）语音MOS感知评分

与信令面指标不同，语音MOS是基于VoLTE媒体面的性能指标，该指标可以通过自动路测仪表进行抽样拨测统计。语音MOS值的评估原理如图2所示。

令x为相应单次的语音MOS值，Eup、Edown为对应速度感知指标的上、下门限的定义值。语音MOS上门限是指如果MOS值大于该指标，则感知是好的；下门限是指如果MOS值小于该指标，则感知是差的。具体计算公式为：

图2 语音MOS值评估原理

（2）视频类业务感知评分

体验视频类业务的常用指标包括视频会话建立、视频业务建立、视频播放、视频流畅度等，跟传输网络质量（包括带宽及误码率）密切相关。通过对视频流传输速度及误码率的统计，可以计算出视频业务的客户感知。令x为相应单次视频业务的速度，Equick、Eslow为对应速度指标的上、下门限的定义值。根据视频流的不同，Equick、Eslow应取不同的值，例如对于720P的码流，其上下门限对应值分别可取3 Mbit/s及1.8 Mbit/s。令y为相应单次视频业务的误码率，Lmax、Lmin为对应误码率的上、下门限，以下为评分法计算公式：

（3）消息类业务感知评分

对于以实时交互数据传输为主的消息类应用，令x为相应单次响应时延，Dbig、Dsmall为对应时延感知指标的上、下门限的定义值。时延感知的上门限是指如果时延大于该指标，则感知是差的；下门限是指如果时延小于该指标，则感知是好的。基于业务需求，可以分别设置不同的门限值，以下为计算公式：

3.4 综合感知评估

根据网络保障和优化的需要，实际关注的VoLTE网络性能指标的数量是很多的，粗略统计有超过100种端到端性能指标。如果进一步把这些指标按照不同的维度细分，则指标数量将会进一步增加[9]。如要基于这些性能指标来对网络进行综合评估，一种常见的做法是将指标分成不同的层次，例如分成核心指标、一级指标、二级指标等，并根据重要程度赋予相应权重。由于指标的多样性，如何进行合理有效的权重赋值难度较大。

为此，本文提出采用基于统计回归方法计算总体评分值及各指标权重（具体可以参考xgboost实现方式[10]）。该方法将能代表用户切实体验的用户满意度数据融入到客户感知端到端评估中，以弥补传统评估方法仅以网络指标作为唯一评判标准的不足。基于客户深度调研数据采用树形迭代回归算法将网络指标与用户满意度进行回归拟合，计算出用户满意度与网络指标的关联性，从而建立一套准确有效的VoLTE用户感知评估方法模型。首先把用户调查回访的数据随机分配为训练数据和测试数据，迭代得出一个权重汇总与匹配度之间的对应关系值，取匹配度最高的阈值为最优阈值。通过迭代回归算法对特征数据进行求解，得到与用户满意度匹配度最高的模型，用于客观准确地评估VoLTE客户感知。基于该模型，可得到各分数段对应的网络指标的最优权重参数，进一步可依据权重大小进行指标保障优化。

3.5 与传统方法的对比

对比传统的指标建模方法，VoMOQ方法在以下几个方面较有优势：

（1）通过迭代回归算法对多项特征数据进行反解，可得到与用户满意度匹配度最高的模型，即能客观准确评估VoLTE客户感知的模型。基于VoLTE感知评估模型，围绕客户感知，明确指标提升关键点，通过纵向“省-市-县”，横向“客服-市场-网络”的管理方式，构建预测-＞查找-＞定位-＞提升-＞验证-＞闭环管控体系，稳步推进优化工作，达到切实有效快速提升VoLTE用户感知的目的。

（2）由于VoMOQ方法统计的是网络中全量的VoLTE用户行为，并对用户的全量操作进行感知评估，所评估的感知依据与客户的实际体验紧密结合，因此可以准确掌握所有用户及业务的真实感知。这种做法避免了统计网络指标时出现的因为平均操作而把部分弱感知信息屏蔽的缺点。

（3）VoMOQ方法的统计及归类的原子操作是业务行为而不是设备上的运行指标，因此可避免对网络指标及设备能力的依赖，这对于网络运营而言是非常重要的。

（4）VoMOQ的统计过程是全量统计，可以根据需要分别选择不同的子集，例如对重要客户、重要业务分布进行统计和监测，从而提高网络资源的利用率。

（5）在时间粒度上，VoMOQ的统计过程可以根据应用场景进行调整，从而提供实时的感知监测能力。

（6）随着VoLTE性能指标的增加，传统的基于指标数据进行网络评估的方法较难兼顾端到端环节的总体性能，而VoMOQ可针对指标属性分别进行评分，并与真实客户感知值进行关联学习进而确认指标族中各个指标的权重，有助于实现全局最优评估。

4 VoMOQ的现网应用

基于VoMOQ模型对现网VoLTE客户感知进行端到端分析监测，图3为VoLTE客户感知区域分布监测视图。

区域内VoLTE客户感知的分布与用户密度及地理环境有较大的相关性，图3中蓝色区域为需要对客户感知进行重点关注的小区，VoLTE网络弱覆盖区域一般为语音通话最需要改善的地方，区域内通话清晰度、稳定性等方面有待加强。利用VoMOQ平台的数据，可实现对全区域内VoLTE客户感知的在线监测保障。通过对VoLTE接通率、端到端接续时延、掉话率、注册成功率，以及对不同接口和错误码占比等进行分析，可找出影响接通率、时延、掉话率以及注册成功率的关键因素。图4至图7为某区域内影响客户感知的端到端关键指标与影响因素的定界定位分析数据。从图中可以看出，该区域VoLTE的端到端接通率基本保持在95%以上的水平。对于接通率下降的情况，可以分别由MO及MT的错误码进一步定位原因。

图3 基于VoMOQ的全网VoLTE客户感知监测

图4 某区域VoLTE接通率趋势

图5 MO错误码分布（剔除487）

图6 各MT错误码在不同时间的分布

通过分析，该区域出现487的错误占比最高，主要原因是呼叫请求被BYE或者CANCEL消息所终止；对错误码为非487的次数再进行统计，则得出错误码占比最高的是486/500等。对487错误码的warning消息进行分析，发现其中约75%的warning消息cause值集中在“cancel received on initial invite”，其次“no response from peer”的占比达到17%。对cause值集中在“cancel received on initial invite”进行分析和拨测，发现引起此类错误码的主要原因是VoLTE主叫用户在发起呼叫后，在被叫振铃之前取消了呼叫，属于用户行为。

5 问题与挑战

通过准确评估客户感知，有助于向海量的VoLTE连接提供端到端的QoS保障能力，并可根据业务类型及需求合理分配网络资源，提升网络总体效率。由于VoLTE业务发展，网络容量、用户规模、终端种类等不断变化，客户感知也将随之波动。本文的VoMOQ方法可在一定阶段内实现对全网VoLTE用户感知进行分析，并定位引起不良感知的主要因素，但在长期的网络运维优化过程中，为了能及时准确跟踪监测客户满意度与网络性能指标，需要定期开展客户满意度调查，并将调查结果用以校正优化不断变化的网络模型，从而确保分析和预测的准确性。

图7 SIP Invite 487各种原因值分布

6 结束语

随着流量和连接数量的增长，VoLTE网络需要一个可实际应用的、准确率较高的端到端客户感知分析体系。VoMOQ分析体系基于传统的客户感知评估方法进行了多方面的演进，模型可结合业务特性及感知规律对数据进行分析，具有可扩展性、灵活性、易用性等特点。经测试对比发现，VoMOQ对VoLTE网络的端到端客户感知的评估能力优于传统方法。在此基础上，下一步的研究重点是提升VoLTE感知评估的实时性及网络问题的定位能力，立足客户感知，从“体验佳、打得通、接得快、听得清、不掉话、收发快”6个维度，建立VoLTE语音及视频业务端到端感知质量评估体系。

[1] 陈锦潮. VoLTE关键技术及引入策略研究[J]. 通讯世界,2016(5): 25-26.

[2] 李博,周宇. 运营商VoLTE总体优化思路及关键性能指标的测试与优化[J]. 移动通信, 2016,40(15): 9-15.

[3] 沈爱国. VoLTE关键技术与优化方法研究[J]. 电信快报,2015(12): 24-27.

[4] 郝益勇. 提升移动网络用户体验质量的理论与方法研究[D]. 北京: 北京邮电大学, 2012.

[5] 杨燕. 浅析移动通信网络中的QoE[J]. 电信科学,2007,23(8): 34-38.

[6] 熊玉辉,吕正林,蒙琳. 客户感知理论及其体系的构建初探[J]. 电脑与电信, 2012(7): 35-38.

[7] 陈锦潮. 基于KPI的VoLTE网络分析优化方法研究[J].中国新通信, 2016,18(16): 58-59.

[8] 杨君,李雯. VoLTE技术中基于失败定界分类的eSRVCC切换优化方法研究[J]. 移动通信, 2016,40(18): 8-15.

[9] 纪元茂,袁野. 基于信令分析的VoLTE接入性能优化[J].移动通信, 2016,40(22): 18-21.

[10] Tianqi Chen, Carlos Guestrin. XGBoost: A Scalable Tree Boosting System[C]//Acm Sigkdd International Conference on Knowledge Discovery & Data Mining.2016: 785-794. ★

Study on Evaluation Method of End-to-End Customer Perception in VoLTE Networks

HUANG Zhaowen
(China Mobile Group Guangdong Co., Ltd., Guangzhou 510000, China)

VoLTE service has been officially launched. Due to the rapid increases of traffic and the user’ scale, how to effectively guarantee the quality of VoLTE networks is the important task. The evaluation method of customer perception in VoLTE networks was thoroughly analyzed. It was pointed out that the existing analysis methods of customer perception should be improved. The idea of the combination of the VoLTE network metrics, customers’real experience with the customer satisfaction was proposed. A quanti fi ed evaluation model based on the VoLTE customer satisfaction was built. The effectiveness of the proposed method was veri fi ed by the practical application.

VoLTE customer perception VoMOQ end to end customer satisfaction

10.3969/j.issn.1006-1010.2017.21.013

TN929.5

A

1006-1010(2017)21-0064-06

黄昭文. VoLTE端到端客户感知评估方法的研究[J]. 移动通信, 2017,41(21): 64-69.

2017-07-28

文竹 liuwenzhu@mbcom.cn

黄昭文：高级工程师，博士毕业于华南理工大学，现任中国移动通信集团广东有限公司业务与系统支撑工程师，主要从事移动通信网络质量优化与新技术的研究及应用工作。