基于用户满意度的移动终端评测研究

肖海浪，安岗

（中国联通研究院，北京 100032）

基于用户满意度的移动终端评测研究

肖海浪，安岗

（中国联通研究院，北京 100032）

在现有研究的基础上提出了一种基于用户满意度的移动终端评测方法。以用户群分类研究为基础，分析影响不同类型用户对移动终端满意度的关键因素。设计移动终端满意度评测模型，对新终端整体用户满意度及销售情况进行了预测。

用户体验 用户满意度 用户群分类研究 评测模型

1 引言

随着LTE牌照的发放，中国通信业开始进入4G时代，移动互联网及智能终端得到进一步的发展。4G时代用户体验被提到一个全新的高度，用户体验的好坏直接影响到用户对运营商服务的感知。为保证移动终端良好的用户体验，需要研究一种测试方案来全面测量与用户实际使用感知最贴合的项目。

目前针对移动终端用户体验方面的研究还比较少，产业链各环节正在积极开展相关方面的工作，具体如表1所示。但相关研究基本都是基于通信相关内容的微创新，不能适应新的产业发展需求。

本文在现有研究的基础上，提出了一种基于用户满意度的移动终端评测方法。满意度反映的是用户通过使用智能终端满足个人需求后的愉悦感，是愉悦感和满足感的数字化体现，是用户体验的最终呈现。相比其他主客观指标，满意度具有更大的外延性，不仅包括用户与终端交互过程中的感知质量，还包括交互前的品牌感知和体验预期以及交互后的价值质量和售后服务。这是一个更综合化的指标，最能够反映用户对终端产品的喜爱和忠诚度。

表1 产业链各环节开展用户体验研究示意图

2 移动终端用户满意度评测研究

移动终端用户满意度评测研究主要包括三大方面：（1）用户群分类研究；（2）用户满意度测试内容研究；（3）评测模型设计。

2.1 用户群分类研究

用户群分类研究是移动终端用户满意度评测研究的第一步。通过将移动终端用户群细化分类，准确地区分不同类别用户对于终端产品的需求，能最大程度地反映移动终端实际使用情况。

用户群分类研究的内容主要包括用户特征分析（如职业、性别、年龄、收入水平、学历、地域等）、用户终端使用行为分析（如使用时长、重点关注功能、使用场景等）、用户对终端产品的需求及期望（如品牌、性价比、售后服务、期望功能等）。

研究的主要方法有问卷调查法、焦点小组法、访谈以及聚类分析法等。通过对不同类型的用户进行研究分析，建立符合其行为特征的用户模型。

2.2 用户满意度测试内容研究

用户满意度测试内容的选取主要建立在用户群分类研究的基础上。针对不同类别的用户，设计相应的测试内容，能获得与移动终端用户满意度最贴合的原始数据，其测试结果才具有准确性和权威性。不同类别的用户对移动终端的需求及关注点不同，而其对于移动终端的满意度正是基于其需求及关注点。以学生用户模型为例，对其进行分析研究，明确其用户满意度测试内容：

（1）由于学生用户平均每天使用手机时间较长，故终端耗电及续航能力是影响其满意度的一个重要指标。

（2）学生用户主要以年轻人为主，喜欢追逐新鲜事物、关注的功能多，故移动终端应用程序支持能力及兼容性也是影响其满意度的关键因素。

（3）针对学生用户重点关注功能进行分析。为保证其良好的用户体验，可以提炼出影响其满意度的关键因子，如应用程序加载时间、呼叫成功率、通话质量、短信收发成功率、上网速度、相机功能及相片效果、视频播放效果、音乐播放效果、屏幕显示效果、屏幕大小、游戏流畅度、操作响应时延、系统稳定性、系统UI友好性等。

（4）此外，学生用户的可支出消费普遍不高，故性价比也是其关注的重点。另外，终端品牌及口碑、易用性、外观以及售后服务都是影响其用户满意度的重要因素。

2.3 评测模型设计

评测模型设计是移动终端用户满意度评测研究中最关键的一步，也是最复杂的一个环节。确定用户满意度测试内容后，需设计一种测试方法来对影响移动终端用户满意度的各关键因素进行测试，并需对其测试结果进行量化建模。由于终端评测数据中包含与用户满意度有关的信息，通过分析这些数据，建立终端评测数据与用户满意度之间的数学模型，用于对新终端用户满意度和销售情况的预测，为改进终端功能提供依据。此外，将终端用户测试结果经过标准化处理后，以可视化的方式展示出来，这样可以使用户对终端各方面性能的对比有直观的了解。

（1）移动终端用户满意度测试方法设计

用户问卷调查方式是用户满意度评测最常用的方法。通过设计面向多个终端单项功能的用户测试调查方式，用户接收到测试终端，按照测试要求，对多个终端中的某一项功能依次进行测试。用户根据自身测试情况，对这t款终端的同项功能的满意程度进行排序（1、2……t）。对所需要测试的功能重复以上工作，得到一系列多终端单项功能测试的数据。

如果测试用户需要对终端的所有功能进行测试，测试用户的工作量将会非常庞大。为此只要求用户对其中的几项功能进行测试，但不同用户测试的功能的总和为需要测试的所有功能。

（2）单个项目满意度评分建模

由于每个用户只对全部测试功能中的一部分功能进行测试，所以需要对用户测试进行一个数据归并处理。采用概率统计的方法，对收集的终端评测数据进行处理。对于面向多个终端单项功能的用户测试调查数据，在所有测试终端中，两两终端进行同一项功能优劣的对比，胜出的统计数据加一，最后得出两两终端间胜出的概率。

例如，有A、B、C、D这4款终端，功能项为1、2、3、4。首先取其中一个功能项（如功能1），调查数据中有大量用户对A、B、C、D此项功能的排序。在这些数据中统计出A＞B、A＞C、A＞D、B＞A、B＞C、B＞D、C＞A、C＞B、C＞D、D＞A、D＞B、D＞C（“＞”这里表示在用户给出的顺序中，前者排名靠前）的数据情况，并同时得到与之相对应的概率。对此可得到此项功能终端间的优胜概率矩阵：

在优胜概率矩阵中，采用贪心算法，找寻概率最大的终端排序情况。例如A＞C＞B＞D，对应的概率为PA、PB、PC、PD，对终端的其他功能重复以上操作，就可以得到A、B、C、D这4款终端在功能项1、2、3、4下的排序。

假设终端测试的用户数量为m，要进行测试的终端为n款，每个用户测试的终端个数为t（t≤n并且n能被t整除），测试功能d项，用户接收到的t款测试终端是随机的。按照测试要求，分别对t个终端进行测试。用户根据自身测试情况，对这t款终端的此项功能的满意程度进行排序（1、2……t），将用户测试的数据进行归并处理，得到终端功能排名矩阵：

Tij表示第 j款终端的第i项功能的排名号。根据需求，对给出的排名赋予一个适当的分值，排名越靠前，分值越高。再将上述分数与优胜概率矩阵中对应的值相乘，得到最后终端功能分数值。优胜概率矩阵为：

Pij表示第i款终端的第 j项功能的优胜概率。

单款终端中单项功能分数计算公式为：

终端功能分数值矩阵为：

gij表示第i款终端的第j项功能的功能分数值。

（3）移动终端整体用户满意度建模

由于终端测试过程中涉及到多项性能指标的测试，需对其进行统计评估，可视为一种典型的多元统计分析。此外由于移动终端用户满意度各关键指标之间存在相互影响。如终端屏幕显示效果和屏幕大小都会影响终端视频播放效果，从而间接影响终端整体用户满意度。最后，该评测模型需具有对后续新终端整体用户满意度及销售情况进行预测的功能。

选取PLS回归方法来建立模型，它适用于解决具有以下2个特点的问题：一是变量间存在共线性，甚至自变量个数较多，而由于种种原因观察例数小于自变量个数；二是回归方程建立以后主要应用于预测。

终端销售数据库以及用户反馈数据可以衡量移动终端用户使用满意度，通过将销售排名与用户使用满意度关联，可以对用户满意度回归模型进行初始化。具体流程如图1所示。

以用户满意度S为因变量，以其测试项目得分{g1, g2,L,gp}为解释变量，采用线性（也可选半对数）特征方程建立用户满意度的终端评测回归模型：

图1 用户满意度回归模型初始化流程

该模型可表示如下：

其中gij表示终端i的测试项目j的得分，si表示终端i的用户满意值，ai表示模型中的第i个参数。S S为用户满意值矩阵，G G表示终端测试项目分值矩阵，A A为PLS模型参数，F F表示残差矩阵。

具体算法如下：

GG 经标准化处理后的数据矩阵记为

E0=(E01,E02,L,E0P)n×p， SS经标准化处理后的数据矩阵为F0=(F01,F02,L,F0P)n×q。

第1步，求矩阵E'0F0F0'E0的最大特征值所对应的特征向量W1，然后求成分t1和残差矩阵E1，其计算公式如下：

式中

第m步，求成分tm=Em-1Wm，这里Wm是矩阵的最大特征值所对应的特征向量。

如果根据交叉有效性，确定共抽取m个成分t1，t2，…，tm可以得到一个满意的预测模型，则求F0在t1，t2，…，tm上的普通最小二乘回归方程为：

这样就得到了用户满意度指数测评的PLS模型。通过PLS模型，后续终端测评数据可以对终端销售数据进行预测。

（4）终端测试结果可视化分析

随机抽取用户，让用户在同一个测试项目中随机使用终端进行测试。例如可以先用终端1对某一项目进行测试，或用终端2先对这个项目进行测试。测试项目的顺序也是随机的（可以随机挑选测试项目，某个项目先进行测试都可以），测试完一个项目，用户根据自己的实际体验，选择哪个终端在此项测试中表现较为优秀。

以表2为例，从总体用户测试选择情况来看，终端1与终端2为44:19，终端1较终端2优秀；从纵列可以看到，在项目1中终端2略优于终端1，其他项目中终端1优于终端2。

表2 终端用户评测表

由于各个测试项目的重要性程度不一，在此基础上，再做进一步的改进。以表2为例，采用图2中的方式进行终端对比的修正：

图2 终端评测性能对比图

由图2可以看出，根据测试项目的重要性程度不同，设定不同的矩形长度。重要性越大的长度就越长，矩形框中的数字代表测试项目的号码。图2中终端1的面积比终端2的面积大，由此可知终端1较终端2优秀。

3 结束语

在移动互联网时代，移动终端传统评测方法已不能满足运营商需求，其测试结果难以有效地反映用户使用终端时的真实感受。为满足新时代运营商业务与终端发展的需求，运营商需要将互联网思维引入终端评测中。本文提出的基于用户满意度的移动终端评测方法正是互联网思维的体现，通过建立移动终端用户满意度评测方法，运营商可以引导终端厂商设计更加贴合用户实际使用感知的终端产品，从而提升产业链话语权以及品牌形象。与此同时，其测试结果能对移动终端销售数据进行预测，为运营商销售策略提供指导，也能为消费者在进行终端选择时提供参考。

[1] 刘臻,来志京,果敢. 智能终端用户体验评测体系研究[J].电信网技术, 2013(12): 29-33.

[2] 李仲侠,么遥,王灵芝. 移动终端的用户体验研究[J]. 信息通信技术, 2012(4): 12-17.

[3] 肖海浪,安岗,刘健. 基于用户体验的移动终端整机性能评测研究[J]. 移动通信, 2012,36(13): 71-75.

[4] 肖琳,何大卫. PLS回归方法及其医学应用[J]. 中国卫生统计, 2002(2): 76-79.

[5] 钟堃,张金良. 满意度调查的方法及模型[J]. 国外医学（卫生学分册）, 2008(3): 187-191.★

肖海浪：工程师，硕士学位，现任职于中国联通研究院终端与测试实验室，从事终端测试技术的研究以及相关产品的开发工作。

安岗：工程师，硕士学位，现任职于中国联通研究院终端与测试实验室，从事终端测试技术的研究以及相关产品的开发工作。

Research on Mobile Terminal Evaluation Based on Customer Satisfaction

XIAO Hai-lang, AN Gang
(China Unicom Research Institute, Beijing 100032, China)

A mobile terminal evaluation method based on customer satisfaction was proposed on the basis of existing research. According to the research on customer group classifi cation, the key factors affecting mobile terminal satisfaction of different customers were analyzed. Satisfaction evaluation model of mobile terminal was designed. The overall customer satisfaction and the sales of the new terminal were forecast.

customer experience customer satisfaction research on customer group classifi cation evaluation model

10.3969/j.issn.1006-1010.2015.07.008

TN98

A

1006-1010(2015)07-0037-05

肖海浪,安岗. 基于用户满意度的移动终端评测研究[J]. 移动通信, 2015,39(7): 37-41.

2014-10-10

责任编辑：刘妙 liumiao@mbcom.cn