一种基于AHP的QoE客户感知云服务质量评价方法研究

付 平，肖 伟（.中国联通网络技术研究院，北京 00048；.中讯邮电咨询设计院有限公司郑州分公司，河南郑州 450007）

1 概述

1.1 背景

随着云计算技术的成熟，IT 资源服务化的思想日益普及，服务已成为云计算的核心概念。各领域云服务的需求正快速增长，大量多样性服务不断涌现，因此对云服务进行指标体系建设、构建指标权重和评价方法变得迫在眉睫。为服务商提供优质的云服务质量评价及管理手段，具有重要现实意义。

当前云服务质量评价模型中存在如下不足。

a）云服务评价指标不合理，不能满足度量服务质量的需求。

b）评价指标权重分配不合理，缺乏科学理论依据。

c）各类云服务评价依据标准不统一，当前云服务种类多样，包含计算、存储、网络、容器、组件等一系列云服务产品类型，如何统一标准针对不同类型云服务进行打分及排序成为难点。

针对这些问题，提出一种基于层次分析法（Analytic Hierarchy Process）的QoE 感知模型来计算云服务指标权重，同时得出云服务质量评价模型。

1.2 行业调研

首先，调研业界主要云服务质量评价指标，业界的云服务指标选取有5E 模型、QoS 模型、QoE 模型等。QoS 是当前普遍采用的一种服务度量标准，但其评估指标更多侧重于对网络性能方面，同时也没有考虑用户的主观因素，无法充分体现云服务评价质量。因此提出QoE 服务度量标准，在功能评价因素和非功能评价因素属性基础上，对云服务做出更加贴近用户体验的云服务质量评价。其次，调研指标权重分配方法，各行业普遍采用统计学的层次分析法（AHP）、模糊综合评估法等，选取更适合本场景的AHP 方法计算指标权重，该方法自1982 年被介绍到我国以来，以其定性与定量相结合的处理各种决策因素的特点，迅速在我国社会经济各领域内得到广泛重视，其中就包括性能评价方面的应用。最后，针对不同类型的云服务进行统一标准的评判，根据国家颁布的云服务质量评价标准和云计算综合标准化体系建设指南，业界可采用与云服务商的服务标准进行比对，通过比对结果进行质量管控。

2 云服务质量评价模型

云服务质量评价模型主要包含以下几个基本步骤。

a）QoE 指标选取：根据国家云服务质量标准及企业云服务用户诉求，对服务质量做定性分析，即选取可反映云服务质量及用户体验的指标。

b）指标权重计算：采集专家指标偏好信息，通过层次分析法（AHP）把定性指标分析转换为定量指标权重分析，采用统计学方法计算各项指标权重。

c）质量评价：对云服务评价所需的主观反馈、客观质量评估等信息进行采集，并根据服务规范及评价依据对云服务每项指标进行打分，根据每项云服务的每个指标的打分和权重，得出该云服务的总得分，从而得到所有云服务质量的打分及排名。

本文提出的基于AHP 的QoE 客户感知云服务质量评价方法评价模型如图1所示。

2.1 QoE指标

云服务的质量评价，需要从多个方面进行考察，依据中华人民共和国国家标准《信息技术云计算服务质量评价指标》（GB/T 27728-2019），云服务质量可从安全性、可用性、可靠性、响应性和满意度多方面进行表征，同时结合企业云服务用户对IT 云服务指标选取侧重点，基于QoE 将指标选取分为功能评价和非功能评价因素2 类。功能评价因素主要是从服务可用性、可靠性、响应性这3个方面体现云服务的优劣，每个方面还有具体指标来反映云服务质量；而非功能评价因素主要是用户对于云服务的满意度的主观评价，即通过自服务满意度、服务响应满意度、服务定制化满意度、计量机制完备性4个方面体现云服务质量。

图1 云服务评价模型

2.1.1 功能评价因素

功能评价因素主要是针对云服务本身客观的质量所选取的指标。指标选取依据国家标准及QoE指标选择方法，最终从可用性、可靠性、响应性3 个方面给出相应指标，指标细化如下。

2.1.1.1 可用性

可用性指标用于描述云服务在服务协议规定的条件下处于可执行规定状态的能力，这里主要包含服务可用率指标。服务可利用率指在预定义时间段中，服务可用时间之和与预定义时间段之和的比例，可排除允许的服务不可用时间。

式中：

N——预定义时段数量

Ti——预定义时间段

2.1.1.2 可靠性

可靠性指标用于描述云服务商在预定义时间内履行服务规范的能力，如关键业务的容灾能力、服务中断次数及服务的连续性保障能力，具体分为如下3 个指标。

a）关键业务容灾能力：云服务商是否建立完善的容灾制度及措施，是否提供关键业务的容灾能力。

b）服务中断次数：预定义时间段内服务中断的次数。

c）业务连续性保障能力：云服务商具备有效的业务连续性能力，确保业务的可持续性。业务连续性保障能力=预定义时间内无中断业务数/业务总数×100%。

2.1.1.3 响应性

响应性指标用于描述云服务商为用户提供有效、及时的弹性扩展性服务能力，具体分为如下4个指标。

a）服务请求响应及时性：云服务商响应客户需求的及时性程度。

b）资源弹性可扩展性：云服务商具备资源弹性扩展机制以保证客户在资源扩展时的需求、规模要求的及时性。

c）响应处理制度：云服务商是否建立响应机制，并且执行记录是否完整。

d）关单率：在云服务过程中，预定义时间内对客户服务是否做出及时响应，并结束客户诉求工单。关单率=已关闭工单/所有工单×100%。

2.1.2 非功能评价因素

非功能评价因素主要是通过对用户的调研反馈，可反映用户对云服务质量主观评价的指标，指标选取依据国家标准及QoE指标选择方法，指标细化如下：

a）自服务满意度：自服务满意度主要是用户对于自助服务的满意度，自服务满意度=满意样本数/样本总数×100%。

b）服务响应满意度：服务响应满意度指用户在服务运维、服务申请、服务咨询等方面响应的体验的满意程度，服务满意度=满意样本数/样本总数×100%。

c）服务定制化满意度：服务定制化满意度指可及时响应定制化用户的需求，是否得到用户认可的满意程度。服务定制化满意度=满意样本数/样本总数×100%。

d）计量机制完备性：计量机制完备性指云服务商是否提供计量机制，计量机制是否完整，是否包含服务定制化的计量模板。

2.2 指标权重计算

层次分析法（AHP）是美国统计学家匹兹堡大学的T.L.Saaty 教授于20 世纪70 年代提出的一种定性分析和定量分析相结合的多目标系统分析方法。它根据问题的性质和要求达到的总目标，将问题分解成不同的子目标，通过两两比较的方式确定层次中诸目标的相对重要性，即不把所有因素放在一起比较，而是两两相互比较，采用相对尺度，以尽可能减少性质不同的诸因素相互比较的困难，从而提高了指标权重确定的信度和效度。此数学模型对多因素的复杂问题评判效果显著，根据AHP，对于各指标权重判定的基本步骤如图2所示。

图2 云服务指标权重获得基本步骤

a）主观排序：需根据专家组建议，定性分析各指标重要程度，并对其进行主观排序。

b）建立层次模型：将决策的目标、考虑的因素按它们之间的相互关系分为目标层、权重层及决策层，由于目标层云服务数量不确定，因此本文只考虑用层次分析法解决指标权重问题。

c）构造判断矩阵：为实现定性向定量转化需要有定量的标度，即需两两比较指标的权重，此过程需要结合专家建议，得到判断矩阵。例如云服务质量评价各因素P1，P2，P3，…，P12，使用两两比较法可以得到权重判断矩阵，A=（aij）n×n其中aij的取值可以参考表1。

表1 权重因素

各个等级之间也可以用2，4，6，8 或者它们的倒数将其量化，判断矩阵需满足：aij=1，aij=1/aij（i，j=1，2，…，n），最终得出矩阵A。

d）计算权重向量：因素权重W 可以通过矩阵A的特征方程AW=λmaxW，优先解出λmax，其次根据λmax解出特征向量W=a1，a2，a3，…，a12。

e）计算调整判断矩阵：由于客观事物的复杂性，人们的评价和认识总是带有比较强的主观性甚至是片面的，这就需要做一致性检查。本文将一致性指标用CI表示，其中CI=（λmax-n）/（n-1），当CI越大时，矩阵不一致越严重，为了保证庞大矩阵的一致性，通过计算CR=CI/RI，需要CR≤0.1，否则需要重新调整矩阵。

本文依据python实现d）、e）步骤计算，最终得出各指标计算权重（见图3）。

图3 云服务权重计算结果

2.3 质量评价

根据工信部颁布的《云计算综合标准化体系建设指南》，要求云服务商提出云服务标准用于规范云服务质量及服务能力。在确定好各指标权重后，给各云服务打分。针对每个云服务的每个指标进行评价，最终得出加权合计分值。本环节有图4所示的4个步骤。

图4 云服务质量评价步骤

a）数据采集：数据采集需明确数据的来源，评价的数据来源主要来自服务规范、服务实施结果和用户调研三方面。服务规范是云服务质量保证的前提，包括云服务商对自身提供云服务能力说明和实施要求等；服务实施结果包括云服务商的日常服务报告、自查报告、内审报告等；用户调研主要是用户的服务评价报告等。对于功能性指标进行评价可采用日常服务报告等进行数据采集，对于非功能性指标数据采集可采用问卷调查、人员访谈等多种形式并借助工具进行自动数据收集。

b）指标评分依据：针对云服务的各指标进行评分，评分依据如表2所示。指标评分确认，采取的主要方式是将服务实施结果与服务规范及协议进行对比，当服务协议及服务规范与服务实施结果存在差异时，需对服务实施结果的数据真实性、正确性进行确认，并以确认后的服务实施结果作为服务质量评价基准。

c）计算总分：根据2.2 节得出的各项指标权重ai，评价指标的得分与相应指标的权重进行加权计算，得出合计得分，即每个云服务的合计得分，评价指标计算公式为：

式中：

S——该云服务在期限内测试总得分

Si——指标项i的测试得分

ai——指标项i的权重

n——指标个数

d）横纵排名：该合计分值可用于对不同云服务的服务质量进行横向比较，即最终云服务的质量排名；也可对同一个云服务不同时期的服务质量进行纵向比较。云服务质量评价根据各指标数据采集的时段，可按月、年分别得出质量报告，进行横向纵向质量比较。

3 结论

首先，根据最新发布的云服务质量国家评价标准并结合企业现状确定了符合企业本身的云服务质量QoE指标体系，充分考虑了云服务用户的主观感受；其次，运用统计学中层次分析法（AHP）对指标进行从定性到定量分析，采用python工具对指标进行权重试算，科学地分配了指标权重；最后，对云服务中各类指标打分给出判断依据，在企业制定云服务规范的基础上，对每项云服务进行打分，该得分可以对公司同一时间内各云服务质量进行排名，也可对同一云服务不同时期的服务质量进行比较。使用该评价体系与试算权重方法，可以科学有效公平地督促云服务商努力对云服务提质增效，提高用户感知体验。

表2 指标来源及打分依据