专家信度优化的装备效能评估方法*

2020-08-22李发明党李成左钦文

火力与指挥控制 2020年7期

李发明，党李成，左钦文*，李昂，梅刚

（1.军事科学院防化研究院，北京 102205；2.河南省疾病预防控制中心，郑州 450000）

0 引言

层次分析法与模糊量化模型相结合构成的综合评估方法，具备数据易于获取、定性问题定量化能力等优点，已经在装备论证评估领域得到广泛应用和发展。应用该方法实施装备效能评估主要包含指标体系构建和装备效能模糊求解两个步骤。其中，指标体系构建首先通过专家集中研讨构建指标层次结构，并对指标重要性作出评判，然后利用层次分析法计算评判信息的指标权重；装备效能模糊求解再次邀请专家评判具体装备型号在每个指标上的优劣程度，利用模糊量化模型评估计算该装备的效能。由于各评判专家在知识结构、评估水平、方案熟悉程度等方面的不同，依据其评判信息求解的指标权重和模糊量化评估结果存在质量差异。

针对该问题，本文提出一种专家信度优化的装备效能评估方法，根据专家评判信息质量确定其信度，并将专家信度转化为专家权重，以此用于指标权重合成计算和模糊量化评估计算。该专家信度不需要采集专家名望、地位、相互评价、主观权重等额外信息和数据，既保持了方法的简洁性，又减少了专家主观因素影响，提高了装备效能评估的可信性。

1 指标体系构建

指标体系构建的主要任务是构建指标层次结构、赋予指标权重。以装备效能作为评估目标，采用集中研讨方式，通过评估目标逐步细分，构建可测量的指标层次结构。该层次结构由叶子节点、非叶子节点构成，全部节点都赋予描述其重要程度的权重。

1.1 指标权重概念及求解思路

指标层次结构中，顶层节点的权重默认为1，其他节点的权重为相对于其父节点的重要程度，即任何节点的孩子节点权重之和为1。以图1 所示的某装备效能评估指标层次结构为例，节点A 为顶层节点，其权重为1，其5 个孩子节点B1、B2、B3、B4、B5相对于父节点A 的权重之和为1；节点C1、C2、……C24 为叶子节点，其中，C1、C2、……C6 相对于父节点B1 的权重之和为1，C7、C8、……C12 相对于父节点B2 的权重之和为1，C13、C14、……C16 相对于父节点B3 的权重之和为1，C17、C18、……C20 相对于父节点B4 的权重之和为1，C21、C22、……C24 相对于父节点B5 的权重之和为1。

专家信度优化的指标权重求解方法包含4 个主要步骤：1）专家对指标重要性进行评判；2）以每位专家评判信息为输入，采用传统层次分析法，分别计算所有指标权重评价值；3）以指标权重评价值为输入，按照传统层次分析法给定信度初始值，迭代计算每位专家的信度，每次迭代需根据指标权重评价值和当前专家信度值，重新计算指标权重，计算结果称为指标权重计算值，再根据评价值与计算值之间的差距计算偏离程度，综合偏离程度调整专家信度值；4）将专家信度转化为专家权重，并融合指标权重评价值和专家权重，计算出所求指标权重真值。

1.2 专家信度分析

图1 某装备效能评估指标层次结构

专家的评价质量通常由评价误差δij来判定，评价误差大，说明评价质量差，反之则说明评价质量好。根据概率统计中阐述的3σ 法则，当评价误差超过3 倍标准差3σ 时，相应评判信息为可疑异常数据。同时，评价误差越小，评价质量越高，因而采用如下方式度量专家j 对节点i 的指标权重评价质量：

其中，σi为专家对节点i 的指标权重评价值均方差，即

专家信度是一个相对量而非绝对量，其取值范围为［1，0］。当取值为1 时，认为专家评价完全符合实际；当取值为0 时，认为专家评价完全不可信；当专家的信度在0 到1 之间时，则认为专家评价部分可信。同时，根据评价中常用的“去掉最高项和最低项”原则，将评价质量最低的专家信度设置为0，评价质量最高的专家信度设置为1，则产生了如下专家信度系数计算公式

1.3 指标权重数值计算

指标权重数值计算过程如图2 所示，主要包括指标权重评价值计算、专家信度数值计算、指标权重融合计算。

图2 指标权重数值计算过程

邀请m 位专家，分别对装备效能评估指标进行重要性比较评判，再以专家评判数据为输入，采用传统层次分析法计算每位专家赋予每个指标的权重评价值。

利用各专家权重及其对指标权重的评价值，再利用式（1）加权求和，计算出专家信度优化的指标权重w1、w2、…、wn。

2 装备效能模糊求解

装备效能模糊求解的主要任务是利用获得的指标体系和装备效能评判数据量化装备效能，具体内容包括：评估因素层次结构建立、装备效能评判数据采集、评判专家信度及权重计算、模糊关系构造、装备效能综合计算。

评估因素层次结构建立是利用获得的指标层次结构（如图1 所示），建立以装备效能评估为目标的准则集合A={B1，B2，B3，B4，B5}及准则所含指标集B1= {C1，C2，C3，C4}、B2= {C5，C6，C7}、B3= {C8，C9，C10}、B4= {C11，C12，C13}、B5= {C14，C15}；利用获得的指标权重，建立准则及所含指标的权重分配集wA={wB1，wB2，…wB5}、wB1={wC1，wC2，wC3，wC4}、wB2={wC5，wC6，wC7}、wB3= {wC8，wC9，wC10}、wB4= {wC11，wC12，wC13}、wB5={wC14，wC15}。

装备效能评判数据采集是邀请m 位专家评判每型装备在位于叶子节点的指标（C1～C15）优劣程度。该优劣程度的值域为{优、良、中、差、劣}，对应数值为V={10，8，6，4，2}，评判结果记为vij=（vij1，vij2，…，vij5），其中，i 为叶子节点指标序号，1 ≤i ≤n，n=15 为位于叶子节点的指标数量，j 为专家序号，1 ≤j ≤m，m 为专家人数。每位专家赋予每个叶子节点指标一个评判结果，即向量vij中有且仅有1 个元素值为1，其他元素值均为0。

表1 某类指挥装备效能评估获得的指标权重

3 实例分析

以某指挥装备遂行作战任务为背景，阐述本文方法的有效性。该类型装备主要用于实时采集、可视化显示、自动处理某危害及救援态势信息，监控重要救援区域作业状态，完成各作业单元行动的指挥控制，其效能评估对于现役装备性能改进、新型指挥装备研制具有重要作用，其效能评估指标层次结构如图1 所示。

3.1 指标权重求解

本实例中共邀请了20 位专家评判这些指标的重要性。首先，采用层次分析法，根据专家的评判数据，分别计算所有指标权重的评价值；然后，分别采用传统的取平均值求解指标权重和本文提出专家信度优化的加权求和获取指标权重，结果如表1 所示。

专家信度及专家权重求解中，根据传统指标权重融合计算方法，20 人取平均值，则每位专家的权重初始化为0.05。按照1.3 节描述的迭代算法，迭代求解指标权重真值、专家评价质量、专家信度、专家权重。经过9 次迭代后收敛，收敛时20 位专家的评价质量、信度系数、权重系数如表2 所示。评价质量最差的专家是11 号，评价质量最好的专家是1 号、12 号、13 号、15 号、16 号。

表2 指标重要性评判专家的评价质量、信度、权重

3.2 装备效能模糊计算

再次邀请16 位专家对16 型某类指挥装备效能进行评判，某指挥装备效能评判结果如下页表3所示。

装备效能评判专家信度及权重计算中，根据传统指标权重融合计算方法，16 人取平均值，则每位专家的权重初始值为0.06。按照第2 章和1.3 节描述的迭代算法，经过15 次迭代后收敛，收敛时16位专家的评价质量、信度系数、权重系数如表4 所示。其中，评价质量最差的是11 号专家，最好的是2号专家和12 号专家。

模糊关系构造和装备效能综合计算过程涉及数据量大，中间数据将不在本文中展开叙述，仅以表3 所示专家评判信息为输入，利用表1 所示专家信度优化的指标权重，按照第2 章描述的算法计算装备效能，获得的装备综合效能等分为6.64，5 个准则的效能得分分别为6.11、7.41、5.42、7.57、7.18，24个指标的效能如表5 所示。

为验证专家信度的有效性，在没有专家信度优化条件下计算了16 型装备效能，即以专家总人数的倒数1/m=1/16=0.06 作为专家权重。两种条件下计算获得的装备效能如下页表6 所示。

两种条件下获得的装备效能得分差异不大，但各装备得分的排序位次变化比较明显。与传统方法相比，专家信度优化的装备效能评估方法获得的结果的位序变化为：4 号装备与10 号装备互换位序，5号装备、7 号装备、11 号装备与13 号装备互换位次，14 号装备与15 号装备互换位次。将两种条件下获得的排序结果反馈给16 位评判专家，所有专家都认可装备效能的位序变化，即认为本文提出的专家信度降低了专家主观因素对评估结果的影响。实验结果说明，利用专家信度优化的装备效能评估方法，各装备评估得分排序与无专家信度优化条件下的得分排序总体趋势是一致的，专家信度是对现有层次分析法的补充和完善。