效能评估方法综述

安娜 张明 左延智

针对复杂网络和多样化业务对网络效能和健康度提出的高要求，总结了几种典型的效能评估方法，包括层次分析法、模糊综合评判法、模块分析法和熵值法，对比分析了各种效能评估方法的优缺点：层次分析法适合指标体系分层，模糊综合分析法适合大系统的综合评估，模块分析法适合软件模块，熵值法适合评判准则客观性较强的评估。在具体应用过程中，根据实际需要选择合适的评估算法或者将评估算法组合运用。

通信网的效能评估研究始于60年代，70年代才开始受到重视。由于通信网的效能评估研究是一個复杂而且范围广泛的课题，迄今为止尚未形成公认的标准。从已有的大量文献资料来看，目前通信网效能评估的研究大都是将通信网抽象为一个由节点和链路组成的图形，利用数学模型，从不同角度出发，建立或选择不同的评估指标体系开展效能评估研究，并已取得了大量的成果。

下面对比分析几种常见的典型效能评估方法，针对每种方法的优缺点进行对比。

层次分析法

系统效能评估和分析方法包括很多种，层次分析法是其中之一，层次分析法是一种集人的主观认知和客观实际数据相结合的评估方法。一般针对复杂巨系统进行分析评估：首先将复杂问题分解分层，划分为第一阶层，如果第一阶层的因素仍然复杂，可以继续分解，分解为第二阶层第三阶层，直到各层因素单一不可分。因此确定每个评估元素的重要性权值是层次分析法的核心点和关键点，矩阵中每一个元素的重要性代表了人们对评估元素相对重要性（和优劣、强度等）的排序，一般采用自然数1～9及其倒数的标度方法。

通过层次分析法确定各评估元素的相对重要程度，即比较2个元素和，确定2个值，，引入1～9比率标度，

，的确定依据如下原则：（假定ωj的相对值为1）①当2个元素和同等重要时，==1；

②当元素比另一个元素略微重要时，=3；③当元素比另一个元素重要时，=5；

④当元素比另一个元素很重要时，=7；⑤当元素比另一个元素j绝对重要时，=9；

=2，4，6，8是介于上述情况的中间取值。

第一步将系统分解为不可再分的因素；第二步，确定每一层因素的权重，可以通过两两比较判断的方式确定，权重系数小于1，权重系数之和等于1。

模糊综合评判法

通常系统效能评估一般划分为宏观的几大能力，其中每个大的评估能力又可以细分为具体的能力指标，同时具体的能力指标根据需要还可以进一步细化为更多层指标，通常单个评估指标只代表整个系统效能的一个维度，因此通过单一指标进行系统效能评估缺乏全面性和整体性。

模糊综合评判法有2个要素；一是模糊，二是综合。模糊强调的是评估环境是模糊的，综合一是指待评估系统受到多种因素影响和制约，二是做出一个总体综合评价，是一种十分有效的模糊多因素综合评估决策方法，模糊综合评判通常包括6个基本评估步骤：

①由各评判因素组成评估指标体系；

②通过分级评语形成评判等级论域；

③进行单因素评价，由单因素评价结果组成模糊综合评判矩阵；

④通过被评估对象中相对重要程度，形成权重向量集；

⑤由权重向量集与综合评判矩阵合成为模糊算子；

⑦通过评判结果向量生成综合评判向量。

熵值法

熵值法是一种客观赋权方法，借鉴了信息熵思想，通过计算指标的信息熵，根据指标的相对变化程度对系统整体的影响来决定指标的权重，即根据各个指标标志值的差异程度来进行赋权，从而得出各个指标相应的权重，相对变化程度大的指标具有较大的权重熵越大说明系统越混乱，携带的信息越少，权重越小；熵越小说明系统越有序，携带的信息越多，权重越大熵值法优点更突出：

①无量纲化方法得当，由于熵权法采用的是归一法，这种方法具有鲁棒性强、单调性好、数据信息恒定和缩放无关性等优点；

②熵权法根据客观真实的数据，运用差异驱动原理尝试求得最佳权重，力求全面真实地反映指标数据所包含的信息；

③赋权过程具有很高的信度和效度。

模块分析法

模块分析法的步骤如下：

①将软件分解为模块；

②建立每个模块的可靠性增长模型；

③确定每个模块的模型参数；

④进行可靠性叠加；

⑤在系统测试中验证与修正可靠性增长模型参数。

在设计阶段，软件通常被按照功能或体系架构分解为多个模块，如果想求出整个软件系统的可靠性，可以通过求解每个软件模块的可靠性，进而获得整个软件的可靠性。对于管理类软件可以将一个软件系统分解为数据采集模块、数据处理模块以及前台呈现模块等多个功能模块。对于分布式软件系统，由于软件部署运行在多个计算机上，因此将软件分解为运行在不同计算机上的独立模块。网络管理软件一般分为四大模块：人机接口模块、前台界面呈现模块、数据库模块和后台通信服务模块。后台通信服务模块是网络管理功能实现的主体部分，又可以分为拓扑管理、态势管理、性能管理、故障管理和安全管理软件模快。

软件模块分析法聚焦的是部分，所以与具有整体特性的层次分析法和模糊综合评判法相比较，软件模块分析方法具有以下优点：

①传统的分析方法需要基于系统测试收集的可靠性数据进行软件可靠性分析，而模块分析法可以先于软件系统测试开始；

②传统分析方法不能利用软件的测试信息，而模块分析法可以充分利用软件的历史信息，每一个软件的生命周期必须进行单元测试、合格性测试和系统测试，每个测试阶段收集的数据都可以用于计算软件模块的可靠度；

③软件模块分析法中的计算大都依赖于软件生命周期中的可靠性数据，简单灵活；

④软件模块分析法主要数据来源于软件生命周期中的测试数据，比较客观，而层次分析法法和模糊综合评判法人主观参与的成分较多，客观性弱。

除此之外，软件模块分析方法在使用中考虑了软件测试用例的运行顺序，不同的运行顺序是基于不同的软件测试策略和运行剖面进行的，对软件可靠性有很大影响。合理的测试策略能够发现软件几乎运行不到的错误分支，而常规软件测试是很难发现的。

通过上述介绍几种典型评估方法，下面通过表格进行各种评估方法的优缺点以及适用场景对比，如表1所示。

效能评估是关系系统或网络整体性能和可用性的重要工作，是网络健康度评估的重要因素，是系统或网络整体运行态势的晴雨表，而效能评估最重要的2个步骤：一是评估指标体系的确定，二是评估方法和算法的选择。文章针对典型评估方法进行了对比分析，尤其针对每种方法的优点和缺点进行了论述。随着大数据人工智能新技术的产生和迅猛发展，指标体系的选择建立也会日臻精准和完善，同时智能评估算法也会逐渐出现和完善，对于提升效能评估的完备性和精准性有重大支撑作用。