云服务评价指标体系与评价方法

熊剑芳，李连英，周莉莉

（1.江西农业大学 经济管理学院，南昌330045；2.贵州大学 管理学院，贵阳 550025）

0 引言

云服务是传统web服务（即传统的互联网软件服务，或称为软件即服务，Software as a Sevice，SaaS）的延伸和扩展，传统的web服务主要为企业或个人用户提供一些计算服务、网络服务等，但在云计算技术架构下，一切信息技术软件、硬件、网络和平台等资源都可以虚拟化封装为web服务，即业界通常所讲的云服务三大类模式[1]：软件即服务（Soft as a Sevice，SaaS）、平台即服务（Platform as a Service，PaaS）、基础设施即服务（Infrastructure as a Service，IaaS），即在云计算环境下的泛在服务（Everything as a Service）。企业和个人，或者说各类组织和个人生产者、消费者，几乎各行业的产业链上下组织，所需信息技术资源/服务都可以从云端获得。

然而，用户实际应用的云服务由于多方面的原因，其质量水平会有很大的差异，如来自硬件和网络方面的原因、来自云系统架构方面原因、来自供需双方合同与管理方面原因等等。因此，用户必须同时关注多方面的影响因素，才能对云服务质量水平有更全面客观的评价。

1 评价指标体系构建与方法选择

本文从一个第三方视角展开研究，这一第三方可能是未来会出现的云服务经纪商或政府相关部门[2，3]，着力构建一个综合全面的云服务质量评价指标体系。指标体系结构如下页图1所示。

图1 云服务质量评价指标体系

本文在指标体系构建和计算式的定义中，有很多指标是通过多数据来源综合计算测定的，具有一定的动态综合性，而云服务系统可以自动收集很多原始数据快速完成各指标的计算。并且单次的模糊综合评价计算也能够快速完成，并且可解释性强，而构建复杂的多时间序列动态模糊综合评价模型，则使每次的计算开销都非常大，实施成本也将大幅提高，并且可解释性差。因此本文采用传统的动态模糊逻辑结构[4]。并根据QoS指标结构设计一个云服务质量水平动态模糊综合评价模型。实际上通过一定时间槽的云服务离散模糊综合评价也具有动态实时性，更具有可操作性[5]。本文所构建模型将以加权平均隶属度和动态模糊变换原理为基础确定云服务QoS的动态模糊隶属度。

2 云服务质量水平动态模糊综合评价求解步骤

2.1 确定评价对象论域

本文的评价对象为原子云服务的总体质量水平。根据上文构建的指标体系，从第三方视角，采用动态模糊综合评价算法模型分析来自不同云服务商的原子云服务质量水平。

评价云服务质量水平的四个因素是Q={S，C，P，F}，其中S为安全保障，C为成本，P服务性能，F为客户反馈（S∩C∩P∩F=Φ）。这四个一级评价因素下面都有若干个二级测量QoS指标。其中安全保障S包含{s1，s2，s3}三个二级指标，其中s1为第三方审计，s2为服务治理能力，s3互操作性；成本C包含四个二级指标{c1，c2，c3，c4}，其中c1为虚拟机成本，c2为存储成本，c3为维护成本，c4为管理成本；服务性能P包含三个二级指标{p1，p2，p3}，其中p1为响应时间、p2为可用性、p3为易用性；客户反馈F包含三个二级指标{f1，f2，f3}，其中f1为信誉度，f2为描述一致性，f3为费用合理度。本文的二级指标结构如图2所示。

2.2 确定指标权重与评语等级论域

图2 云服务评价二级指标体系结构

本文选择人工参与少、主观影响少的频率分布决策法，详细实现过程可参考文献[6]。该方法主要通过自动收集各影响指标的变化幅度和频率信息确定相关指标权重，变化越频繁、变化幅度越大、越不稳定的指标，或一级因素，相应的权重就越大，而云服务系统可以很好地自动监控和分析测量指标的变动状况（包括客户反馈因素），另外，Tang和Liu（2015）[7]的研究指出，安全保障因素也包括很多管理要素，虽然不会太频繁变更，但这一因素的权重不能太低，因为安全保障因素与其他三个因素表现水平直接正相关，其他三个因素也会对安全保障水平有一定的反馈影响。因此安全保障因素的权重需要经过专家评估或行业评估确定。

为清晰地论述云服务质量水平动态模糊综合评价的其他计算过程，先假设采用频率分布决策法确定了一级因素的模糊权重向量为WQ=[ws，wc，wp，wf]。相应的二级指标权重向量分别为：wf3]，前述每个权重向量各分量之和均为1。

2.3 单因素评判——确定动态模糊关系矩阵

在本文所构建的指标体系中，安全保障因素的三个测量指标都为正向指标，另外，服务性能的“可用性”和“易用性”、客户反馈的三个测量指标都是正向指标；成本因素的四个测量指标和“响应时间”为负向指标。本文采用式（1）和式（2）分别对正向、负向指标进行标准化。再根据杜栋和庞庆华（2005）[8]提出的计算式（3）和式（4）分别计算每个QoS指标属于每个评语子集的隶属度水平。

式（3）和式（4）中q都为标准化后的正向或负向QoS指标值。分别根据上述两式计算标准化后的正向和负向QoS指标的隶属度，这些隶属度构成二级指标单因素评判向量，从而确定四个一级因素的二级测量QoS指标动态模糊关系矩阵Rs，Rc，Rp，Rf。例如Rs为：

其他三个二级指标动态模糊关系矩阵具有类似的形式。上述四个矩阵中每一行分别表示各个因素下面的不同二级测量QoS指标处于不同云服务质量水平的动态隶属度，是每个因素测量指标集R与评语集V之间的一种动态模糊关系，即测量QoS指标与评价对象之间的“合理关系”。

2.4 云服务质量水平的动态模糊综合评价

本文拟采用普通乘法与有界和算子M（·，⊕）将各个因素的测量指标权重向量WS、WC、WP、WF与各自的模糊关系矩阵Rs，Rc，Rp，Rf递归综合得到各因素的动态模糊综合评价结果向量Vs，Vc，Vp，Vf，因为这一算子能最大程度保留所有QoS信息，并且能避免一些不正常超越评分边界的隶属度。以Vs为例，相应的动态模糊综合评价模型为：

Vs中每个分量表示一级因素“S——安全保障”处于每个评语子集的动态模糊隶属度，通过同样的方法，可以分别求出Vc，Vp，Vf。

Vs，Vc，Vp，Vf构成一级因素模糊关系矩阵RQ=，将一级因素权重向量WQ与RQ通过模糊算子M（·，⊕）综合得到各被评价对象的动态模糊综合评价结果向量M。

2.5 动态模糊综合评价结果分析

动态模糊综合评价结果是被评价云服务总体质量水平处于不同评语子集的动态模糊隶属度。它是一个动态向量，而不是一个点值，因而它能提供的信息比其他方法更丰富。对多个评价对象比较并排序，就需要进一步处理，即进一步根据每个云服务评语子集的模糊隶属度计算综合分值，按大小排序，按序择优。将综合评价结果M转换为综合分值，于是可依其大小进行排序，从而挑选出最优者。

2.6 原子云服务选择原则

云服务评估机构根据云服务质量水平的动态模糊综合评价结果，可以对来自多方云服务商开发的原子云服务有一个比较全面的认识和理解，然而其也可以单独分析不同维度因素的动态模糊评价水平和发展趋势。云服务经纪商最后还可根据客户常用服务组合需求、SLA保障需求、云服务多样化需求、成本和收益平衡分析等综合分析选择各类原子云服务。

3 云服务评价算例分析

3.1 算例描述

某第三方云服务评估机构（Third Party Cloud service Evaluation，TPCE）需要评价一个想要在自身经纪平台注册的云物流服务，因此，TPCE通过参考分析该云服务商与该云物流服务的大量相关信息（主要从本文中划分的安全保障、成本、服务性能、客户反馈四个方面挖掘分析相关直接和间接数据）和技术评测信息等，通过数据标准化计算与每一二级指标的动态隶属度计算，得出如表1所示的各维度二级测量指标的动态模糊综合评价隶属度值。表中数据从上到下分别构成四个单因素评判矩阵Rs，Rc，Rp，Rf（表中为了直观简洁，没有在每个数据上加方向箭，而是统一放在了表头上）。CSB通过相关主客观判别条件和算法，对该物流云服务的一级因素层权重设定为WQ=[0.32，0.16，0.29，0.23]，四个因素相应的判别层二级指标权重分别设定为WS=[0.39，0.28，0.33]，WC=[0.31，0.29，0.27，0.13]，WP=[0.36，0.33，0.31]，WF=[0.41，0.35，0.24]。

3.2 动态模糊综合评价计算

采用普通乘法与有界和算子M（·，⊕）计算安全保障因素的动态模糊综合评价向量：

采用同样的计算模式可分别获得：

云物流服务总体质量水平动态模糊综合评价向量为：

3.3 评价结果分析

TPCE采用上文理论分析中同样的评语论域分值P={95，85，75，65，55}计算综合得分这一评价结果表明该云物流服务的总体质量水平处于较好的水平，并且有向质量水平更高发展的趋势。云服务经纪商可以考虑加入该云服务。另外，TPCE也可以根据上述对该云物流服务开发商的各单因素动态评价信息，了解该服务各维度上的质量水平，并发现一些表现不佳的特定因素，甚至是特定指标。如从本实例分析的单因素评价动态向量值可以发现，安全保障水平整体处于较低水平，在“差”这一分论域上的数值最高，而在“很好”这一分论域上的数值反而最低；该云服务商的成本控制能力一般，性能表现算好，客户反馈整体水平处于“好”的水平也较显著，但有变差的趋势。前述所有评价信息都对TPCE进一步的根据客户需求和偏好更好地配置云服务组合提供了大量信息。

表1 评价因素集及二级指标动态隶属度向量