基于信令监测的终端性能与用户感知分析系统

钟鼎，郭志林，廖振松

（中国移动通信集团湖北有限公司，武汉 430023）

基于信令监测的终端性能与用户感知分析系统

钟鼎，郭志林，廖振松

（中国移动通信集团湖北有限公司，武汉 430023）

在移动互联网时代，终端对用户感知的影响非常关键。一方面，终端品牌众多，质量良莠不齐，带来了终端问题的多样性。另一方面，终端与应用软件、不同厂家产品的兼容性，也带来问题的不可调和。本文主要是从终端维度上挖掘出影响用户感知的短板问题，定位出可能的终端性能或者是兼容性上的问题，为终端市场营销和资源投放进行总体的方向指引，从终端维度上提升用户的使用感知和网络体验。

客户感知；终端；全量投诉；满意度；关联分析

1 引言

人们对移动互联网技术的渴望一方面推进了移动通信技术的快速发展，如3G、4G、CMMB等多媒体业务竞相开展，同时也迎来手机生产厂商高爆发增长的黄金时代，除了苹果、三星等传统的手机巨头外，也诞生了小米、乐视等新兴的厂商，其他的厂商也更是如雨后春笋般相继而生。在行业繁荣的背后各种问题也开始逐渐显露倪端，如不同厂商生产的手机质量层次不齐，不同厂商的终端和应用软件之间存在兼容性问题，更有甚者是部分终端自身存在性能上或者系统上的缺陷等。如果是终端出现问题而又没有及时发现，那么它影响的将是一个用户群，而用户的惯性思维第一个想到的就是运营商的问题，进而可能会导致针对运营商的大面积投诉。在目前竞争激烈的情况下，一旦出现大面积投诉，将严重影响移动公司的整体形象，甚至造成客户流失。

早期对于异常终端的发现和挖掘都较为滞后，总是在批量的用户投诉之后才后知后觉，不能在第一时间发现问题。

（1）没有进行终端维度的指标优化和管理。在以往的网络性能指标提升与优化过程中总是站在网络的维度进行优化，总是以全网或者某个地市某个片区为单位进行优化提升，却没有细化到终端维度。

（2）缺乏自动化处理工具。在以往的工作中，如果通过用户投诉发现某款终端存在问题只能通过手动的方法去挖掘分析，与信令以及网管指标的关联分析都是通过人工完成，需要编写复杂的Excel公式来进行计算，费时费力且容易出错。

（3）缺乏预测手段，不能在用户投诉之前发现终端问题。在目前的工作中，处理终端问题都是被动的后知后觉的处理方式，一方面造成问题处理周期长，另一方面也导致了集团满意度调查中各项结果偏低，带来不好的影响。

基于信令监测的终端性能和用户感知系统，正是基于以上需求而研发。该系统主要基于以下3个方面的出发点。

（1）对现网在用的所有终端进行综合性的性能分析，包括终端自身性能、与主流应用之间的兼容性问题等，对于可能存在问题的疑似异常终端，再结合万投比和用户信令进行关联分析，精准定位终端问题。

（2）进行终端维度上的用户感知量化和分析，根据分析结果呈现出不同终端的网络使用效果和用户的使用感知及喜爱程度等，为终端的市场营销与资源投放提供数据支撑和方向性指引。

（3）形成一个自动化运行的系统，实现天/周/月等不同时间粒度的终端维度性能指标评估和用户感知分析，以图形化和表格化的形式自动输出相关报告。

2 基于终端性能定位的客户感知分析系统

2.1 系统构建总体指导思路

基于信令监测的终端性能和用户感知分析系统的建设与应用思路，主要包括如下。

（1）基础数据获取：数据获取分为两部分，分别是从经分系统获取万投比数据以及从信令监测系统获取XDR信令数据。移动通信的信令是一个非常复杂的系统，一个完整的通信流程涉及到众多的网元，各个网元之间的信令交互过程也都比较复杂。信令监测系统按照标准协议对每一条信令进行解析并按照不同字段重新组装成XDR数据。本模型对于信令数据的获取采取简化的原则，从节约系统资源和运算速度等方面考虑，只需要采集XDR数据中的一些关键字段即可。

（2）数据清洗：在数据录入的时候容易引入一些不符合质量要求的脏数据，根据“Garbage In，Garbage Out”的原理，对不满足数据质量要求的数据进行分析预测，得到的是不准确甚至错误的结论，对后续的数据分析挖掘和异常终端确定都是不利的。数据清洗作为数据预处理的关键一步，通过对脏数据进行清洗和修复，可以提升数据质量，进而提高数据挖掘和预测分析的准确性和高效性。

（3）终端评估：通过终端评估算法对终端进行评估，结合终端维度的各项指标，终端用户数以及终端使用过程中出现问题的用户是否集中等进行综合分析与评估，如果终端的用户数较少或者是终端出现问题仅仅是集中在某一个或者两个用户身上，则该终端的问题不具有普遍性与代表性，对于这类型终端可以暂时先不做分析。

（4）信令关联分析：对于终端评估算法筛选出来的疑似异常终端进行信令关联分析，通过终端IMEI或者是用户IMSI关联出异常信令，提取流程失败时信令Cause的填充值，判断终端异常的原因。

（5）异常终端输出：自动输出疑似异常终端，终端用户，异常原因等，包括自动生成终端维度指标与网络质量指标关联分析报告，形成反向关联关系来指导终端营销以及资源投放等。

2.2 系统架构图

根据基于信令监测的终端性能和用户感知分析系统的体系架构设计，项目总体框架分为3层，分别为应用层、数据处理层和数据采集层，如图1所示。

应用层为用户提供了二大主题模块，分别为终端维度的性能指标分和终端维度的用户满意度关联分析。这二大模块根据系统数据处理层的3类规则（满意度与故障关联规则、满意度与性能关联规则、数据挖掘规则）来面向用户呈现成果。

数据处理层定义了相关算法和数据处理规则，对采集层获取的相关数据进行一系列的自动化处理，算法权重因子等参数后续可以根据需要进行手动设置。

采集层用于收集项目的基础数据。包括信令监测数据、EOMS工单、报备单、性能指标数据，经分系统数据等，对初始数据进行清洗之后将其保存在数据库中。用户感知分析模型可以让生成的分析结果规范化，达到标准统一的输出，同时方便地将终端维度的分析结果形成报表或导入其它系统进行使用。对基于终端维度的用户感知数据，可以自动采用预设的模型，并输出分析结果，提高工作效率。

图1 基于信令监测的终端性能与用户感知分析系统体系架构

终端维度指标包括用户端到端上网的各项关键指标以及影响用户感知的一些指标如下载速率、时延等，具体指标说明如下。

2.2.1 用户端到端上网关键指标

用户端到端上网涉及到多个网元，分为多个子流程，完整的用户端到端上网流程包括Attach、PDN、DNS、TCP及get/post等流程，具体如图2所示。

图2 PS上网关键步骤

Attach：用户附着过程，即登陆过程，用户上网必须要附着到网络上。在此环节出现失败，用户将无法访问网络，该指标计算公式：Attach成功率=Attach成功次数/Attach请求次数×100%。

PDN：外部数据网络连接，用户上网必须要建立PDN连接，指标计算公式：PDN成功率=PDN成功次数/PDN请求次数×100%。

DNS：域名解析系统，域名和IP对应的数据库，用户访问网络必须要进行域名解析获取对应的IP地址，然后访问网络。DNS指标计算公式：DNS成功率=DNS成功解析次数/DNS解析请求次数×100%。

TCP握手：TCP提供面向连接的可靠服务，传送数据之前先要通过3次握手建立可靠的连接。TCP指标计算公式：TCP成功率=TCP功次数/TCP请求次数×100%。

get/post：用户和服务器之间进行的交互过程。计算公式：get/post成功率=（get/post成功次数）/(get/ post请求次数)×100%。

2.2.2 用户感知类指标

下载速率：下载速率是用户使用LTE网络对网络资源进行下载这一过程中的下载速度，也就是即时速度，它以“kbit/s”的形式来表达，是用户使用LTE网络可以最直接体验和感受到的一项指标。在本系统中该项指标以平均速率进行计算。

用户时延：时延是指一个报文或分组从一个网络的一端传送到另一个端所需要的时间。用户时延包含控制面时延和用户面时延，本模型中的时延主要是指用户面的时延。

2.2.3 万投比指标

万投比指标需要从经分系统提取，该指标体现的是1万个用户当中产生投诉的比例，是用户实际使用满意度的反馈，万投比越高说明用户投诉越多，满意度越差，用户在使用该终端时遇到的问题越多。指标计算公式：万投比=用户投诉量/用户总量×100%。

2.3 终端维度用户感知分析模型

用户感知分析模型可以让生成的分析结果规范化，达到标准统一的输出，同时方便地将终端维度的分析结果形成报表或导入其它系统进行使用。对基于终端维度的用户感知数据，可以自动采用预设的模型，并输出分析结果，提高工作效率。目前可以采用如下几种模型进行分析。

2.3.1 定性研究模型

定性研究模型可以细分为阶梯探索法和层次分析法，相关介绍如下。

2.3.1.1 阶梯探索法

识别哪些属性对于用户的偏好和选择具有驱动作用，同时也显示出这些关键属性之间的关联以及应用次序。通过这种技术就能够识别某个用户的“决策结构”的一个方面。

阶梯法是基于手段——目的链（Means—end Chain）理论，该理论提出3种“抽象层次”，用来描述人们对于产品或服务的感想。

（1） 属性（A），包括产品的物理特性、成分等，利用它们来描述产品。

（2） 结果（C），使用产品所产生的后果，或者从中得到的利益。利用它们来表示产品能为用户做什么。

（3） 价值（V），用户使用该产品的根本原因或直接原因，也就是说，该产品如何帮助用户实现他们的目标（无论是客观的，还是主观的）。

2.3.1.2 层次分析法

根据用户所期望的要素，建立相互间联系的一种方式，是一种以图形化的方式来描述调查对象的主要感知倾向或决策结构的一种方法。

2.3.2 定量研究模型

用户的需求与需求的满足程度将会影响用户的认同度，因此了解用户未满足的需求，将会在竞争中获得优势。用户需求模型通过两个指标来衡量需求程度：需求的重要程度（记为imp）和需求的被满足程度（记为stis）。

按重要程度和满足程度对用户需求打分（5分制），用重要-满足图像直观反映用户的需求特征，寻找尚未满足的市场需求。在此基础上，细分不同类型用户的需求图像，尤其是认可用户的需求特征，为产品开发提供有力的支持。从中找出用户认为重要的但未满足的需求，准确定位目标用户的需求重点，为服务提升提供方向。

2.4 系统创新点

结合使用人员的反馈，基于信令监测的终端性能与用户感知分析系统，具有如下创新点。

首先，对现网在用的所有终端进行综合性的性能分析，包括终端自身性能、与主流应用之间的兼容性问题等，对于可能存在问题的疑似异常终端，再结合万投比和用户信令进行关联分析，精准定位终端问题。

其次，进行终端维度上的用户感知量化和分析，根据分析结果呈现出不同终端的网络使用效果和用户的使用感知及喜爱程度等，为终端的市场营销与资源投放提供数据支撑和方向性指引。

最后，形成一个自动化运行的系统，实现天/周/月等不同时间粒度的终端维度性能指标评估和用户感知分析，以图形化和表格化的形式自动输出相关报告。

3 结束语

基于信令监测的终端性能与用户感知研究，在我省终端、投诉、市场管理工作中，均具有较好的口碑，自系统投入运营以来，效果显著，工作效率有效提升。在未来的工作中，还需要从以下3个方面入手提高该系统运行的效率和准确性。

（1）进一步优化终端评估算法，提高终端评估的准确性，及时的发现异常终端并进行信令关联分析，精准定位终端问题。

（2）在终端用户感知满意度方面，目前主要是分析采用定性和定量两种模型进行研究，对于部分类型的指标来看，关联度不够高。下一步拟针对全量的数据进行模型和算法的优化。

（3）后期计划加入GIS地图呈现模块，将终端维度的用户以及各项指标用户感知等可视化的呈现的出来，可以直观的了解到不同区域的用户体验。

News

Fraunhofer IIS在CCBN上展示了下一代广播电视音频标准和VR音频解决方案

3月23日，全球领先的音频及媒体技术研究机构Fraunhofer IIS在2017年中国国际广播电视信息网络展览会（CCBN）上展示了成功被ATSC3.0和DVB数字电视标准采纳的MPEG-H电视音频解决方案，以及为VR和移动设备设备带来最佳沉浸式声音体验的Fraunhofer Cingo技术和能够显著简化VR沉浸式声音制作流程的Cingo Composer软件。

在CCBN期间Fraunhofer IIS展示的全部音频创新技术，在全面提升广播电视用户沉浸式及交互式聆听体验的同时，实现了未来视听与虚拟现实的高度融合，成功将3D音频技术完美融入到各个用户收听设备上，从而打造全新的智能视听世界，并为广电智能化发展注入勃勃生机。

MPEG-H电视音频系统专门为未来广播电视和流媒体设备而设计，基于对象的音频系统能够带来沉浸式及互动式音频效果。通过MPEG-H，用户能够根据自己的喜好调节混音并且显著提升声音的真实性和感染力。此外，MPEG-H能够根据不同的设备和环境定制最佳的声音还放，进而提供“通用传输”。

据介绍，MPEG-H已经成功集成于ATSC3.0标准和DVB音/视频工具箱中，并将在2017年正式应用于韩国基于ATSC 3.0的全新地面超高清电视系统中。MPEG-H已经拥有应用于电视和AVR的解码器软件库，此外，基于Cadence Tensilica HiFi DSPs的MPEG-H解码器已经推向市场。而能够便捷地为家庭客厅环境带来沉浸式音效的Fraunhofer 3D条形音箱参考设计也已问世。目前，支持MPEG-H的UHD编码器包括DS Broadcast, Kai Media, Media Excel以及 Pixtree等，而支持MPEG-H的LG电视机也即将问世。

Fraunhofer IIS中国地区代表Toni Fiedler先生表示:“用户期待通过各种设备获得影院般的收听体验，智慧视听无疑是提升用户体验的最佳途径。在过去一年中，我们参与了国际数字电视音频标准的提案和制定，并且成功获悉中国市场对于广播电视3D音频标准的需求并努力参与其中。在未来，我们致力于与中国广电人一起，共同为广电行业的发展以及为用户的极致收听体验做出贡献”。

（赵青)

A terminal performance and user perception analysis system based on the signal monitoring

ZHONG Ding, GUO Zhi-lin, LIAO Zhen-song
(China Mobile Group Hubei Co., Ltd., Wuhan 430023, China)

In the era of mobile Internet, terminal impact on user perception is critical. On the one hand, the quality of the terminal brand is numerous, the good and bad are intermingled, bring the diversity of the terminal problem. Terminals and application software, different manufacturers, on the other hand, product compatibility, also brings irreconcilable problems. The short board problems affecting user perception is given, a new system is provided to locate the possible terminal performance or compatibility issues, to serve the terminal marketing and resources on the overall direction from the terminal dimension on improving user awareness and the use of network experience.

user perception; terminal; full complaint; degree of satisfaction; correlation analysis

TN929.5

A

1008-5599（2017）04-0076-05

2016-09-27