基于主客观权重集成的训练评估方法

乔中涛+张延生+高凤岐+杨叶舟

摘 要： 针对装备维修仿真训练中指标主观赋权法成绩评估的局限性，在评估中指标综合权重集成了主观权重和客观权重。分别采用层次分析法计算指标主观权重，熵值法计算客观权值，按最优化模型将主观权值和客观权值集成为综合权值。这种方法考虑了每个评估指标成绩差异性所携带的训练水平信息，从而改进了传统指标主观赋权评估方法。通过实践证明，基于该方法训练评估结果有更高的可信度。

关键词： 训练评估； 熵值法； 客观权值； 主观权值

中图分类号： TN911.1?34； TP391.9 文献标识码： A 文章编号： 1004?373X（2017）15?0090?04

Abstract： Since the index subjective weighting method has limitation to evaluate the result in simulation training of equipment maintenance， the subjective weight and objective weight in evaluation are integrated into the index comprehensive weight. The analytic hierarchy process is used to calculate the subjective weight of the index， and the entropy method is used to calculate the objective weight of the index. According to the optimization model， the subjective weight and objective weight are integrated into a comprehensive weight respectively. The training level information carried by score difference of every single evaluation index is considered in the method to improve the traditional index subjective weighting evaluation method. The practice result verifies that the training evaluation result of the method has high credibility.

Keywords： training evaluation； entropy method； objective weight； subjective weight

0 引 言

提高重要武器裝备的战术操作或者维修训练水平的一个重要途径是采用训练仿真系统，基于模拟仿真系统进行训练可以在保证训练强度的前提下降低消耗及训练成本。

目前基于仿真训练系统的训练效果评估方法在各评价因素综合时均采用主观赋权方法，运用层次分析法或改进方法由专家主观估计决定各个评分因素的重要性，即各指标权重[1?9]。在实践中，通过对受训人员大量考核样本数据分析，各单项考核指标成绩的标准差并不均匀，有时区别较大。这与受训者对一些考核项目更重视的实际情况相吻合，说明基于主观权值的综合评估不能客观反映单项科目训练水平的不均衡性，而且主观赋权评估方法获得的评估结果有时与客观情况有明显出入。比如在成绩相近的两个训练样本中，其中个别单项评价指标成绩差异性显著，而单项成绩明显占优的样本总分却处于劣势，这种情况使评价可信度降低，而且受训者无法获得帮助性信息。客观上各单项指标成绩的差异性包含了丰富的训练效果信息，但主观赋权方法依据的是评价指标之间的相对重要程度，而训练单项指标成绩差异性所包含的训练信息不能被有效用于评估中。

针对主观赋权评估方法中存在的不足，采用客观熵值法对训练水平差异性信息进行量化，从而获得评估指标的客观权值，然后按照最优准则对客观权值与主观权值进行集成获得各项合理权重，使综合评估更加客观地反映受训者的训练水平。

1 主观赋权方法训练评估

基于仿真训练系统的训练评估过程如下[1?9]：

（1） 采用德尔菲评估指标体系，该方法通过征询专家组的意见建立与训练科目密切相关的评价项——指标体系

（2） 基于层次分析法（AHP）确定各评价项的指标权重

（3） 在训练过程中对受训者每个评价项运用相应的方法完成各单指标评分，获得原始成绩数据

（4） 根据指标权重和各指标评分进行加权求和获得综合评估成绩其流程如图1所示。

以某型装备维修训练系统为例说明主观方法赋权评估结果呈现的矛盾性。某训练项目考核的指标定义为采用Satty提出的层次分析法（AHP）[10]以1～9标度法将定性问题进行定量化的分析，按各评价指标对衡量训练水平的相对重要程度两两比较，构造6指标的判断矩阵

按层次分析法定义的计算方式[10]，根据下面3个公式求解判断矩阵的权重和一致性检验，其中为主观权值，CR为一致性检验系数，CI为一致性指标，RI为平均一致性系数。

经计算一致性检验系数CR=0.024 1，CR<0.1表明判断矩阵的判断思维具有一致性。主观权值向量[0.302 2，0.186 7，0.105 9，0.061 9，0.302 2，0.041 2]T。

矩阵是某次9人一组的维修训练考核的成绩数据，其中为6个评价指标的原始成绩。

基于主观权值对本次考核进行成绩评估的结果为：

成绩排序：在本组训练考核结果中，各指标成绩的标准差分别为[1.900 3，2.934 5，3.929 9，0.189 4，4.236 1，9.300 5]，标准差数据相差比较大，其中考核项标准差和明显高于其他项。观察的数据，从分指标成绩看，优于且优势较明显， 但综合成绩却劣于这使评估可信度受到质疑。分析整组训练评估数据，有些指标成绩数据比如离散度较弱，各操作人员之间水平差异性较小，对训练水平评价信息贡献小。而一些指标数据值离散度强，比如和操作成绩差异大，它更能反映操作水平的差异。从成绩综合评估考虑，数据差异性大的指标在综合评估时应该在权重上有所反映。主观赋权法在训练评估之前根据指标的重要程度确定权重，无法衡量在具體训练中指标数据表现出来的对训练水平的评价能力。

2 基于信息熵的客观赋权方法

客观赋权评估法是根据历史数据分析各指标的相关关系或指标与结果的关系进行综合评估。在客观赋权法中，熵值法确定的权重能够反映指标值的离散程度[10]。信息论借用热力学熵的概念来表达平均信息量，在评估中用信息熵评价系统信息的有序程度和信息的效用值，在多属性决策问题中熵值法利用指标数据信息熵来计算各评价指标的权值。其基本思想是：对于多指标评估问题，在多组评估数据中，哪个指标为评估决策提供的确定信息量大，这个指标对评估的贡献就大，其权值就越高。

设为成绩数据矩阵，数据为组分指标成绩，包含个评价指标，熵值法客观赋值采用如下步骤计算指标权重[10]。

（1） 线性变换法对成绩矩阵进行规范化处理获得评估矩阵

计算第个指标在第个成绩的特征比重

计算第个指标的熵值

计算指标的差异性系数：

对于评估的第个指标，数据的差异性越小其熵值就越大，如果此指标的所有数据都相等，当系数取时，熵值取极限值1，则差异系数为0，表明此指标对训练水平的评估无价值。相反，如果指标数据差异性越大，其熵值就越小，此指标包含的训练水平比较信息就越多，所以值越大指标重要性越高。

（2） 计算指标的客观权值。

下面采用熵值法根据维修训练考核成绩数据求6个指标的客观权值。首先采用线性变换法对成绩矩阵进行规范化处理，得到矩阵规范化选择线性变换法是因为线性变换不会扭曲考核指标数据的差异性。

熵值法客观权值大小与各指标数据包含的信息量相对应，且对指标数据的差异性敏感。可以看出，根据本组指标成绩数据计算出的指标和客观权重与其他指标相比较大，突出反映了指标和从数据视角对训练水平评估的重要性。所以熵值法权重可以用来修正考核指标主观权重，使权值包含客观成分，科学的方法是将主观权值与客观权值按最优准则进行集成，从而融合主客观因素对训练评估的贡献。

3 基于主客观权重综合的训练评估

获得熵值法客观权值后，在训练成绩评估中结合主观赋权和客观赋权的优点，既考虑各指标的相对重要程度，又参考指标考核成绩差异性对训练水平评估所贡献的信息量，综合主客观权重得到权值

完整评估流程与基于主观赋权评估相比较，在获得分指标成绩后多了熵值法计算客观权值及主客观权值集成的步骤，如图2所示。

在权值综合中采用文献[10]中的基于数据加权和最优模型确定综合系数和。其最优模型为：

此模型最优解为：

将归一化处理即可得值。根据本组训练成绩数据得：=0.516 7，=0.483 3。根据系数对和进行综合得权值：[0.163 3，0.114 1，0.090 9，0.229 2，0.195 0，0.207 4]T。根据综合权值可以对原始成绩综合评估，结果为：

借助图3观察采用主观赋权综合评估和主客观综合赋权评估结果的对比，后者的成绩差异度比前者明显。对于和成绩可信度问题，在采用主客观综合权值评估后训练水平评价为而且优势明显，可信度获得改善。

在某型装备维修训练系统中，基于主客观综合权值不仅用于最后阶段的总成绩评估，分指标项评估中同样采用了此算法。由于分指标评价中下一级子指标量纲往往不一致，所以先对训练数据线性规范化，使数据之间可相互比较。根据主客观综合权值完成综合评估，再对评估数据进行线性变换获得百分制成绩。

4 结 语

针对仿真训练评估训前无法预测分指标成绩分布特性导致评估结果可信度差的情况，采用熵值法计算分指标成绩对综合训练水平所贡献的评估信息量，从而得到客观评价权值，在总评价阶段对客观权值与主观权值进行综合，实现同期学员指标评价权重的动态调整，获得较为理想的新权值，完成训练水平综合评估，改进了传统评估方法，提高了训练评估结果的可信度，同时可根据分考核指标成绩情况给予训练建议。

参考文献

[1] 高文琦，张复春，王立波，等.飞行训练成绩评估模型的建立与实现[J].电子设计工程，2011（24）：50?52.

[2] 熊正祥，孙永侃，王立强.舰艇模拟训练中指挥员的成绩评估研究[J].计算机仿真，2011，28（4）：30?33.

[3] 邹文萌，徐敬.水面舰艇模拟训练成绩评估方法研究[J].现代电子技术，2012，35（22）：101?103.

[4] 矫永康，李小民，毛琼.改进模糊层次分析法在虚拟维修训练评估中的应用[J].计算机工程，2014（10）：314?317.

[5] 漆政昆，王海滨，高峰.近程反导舰炮武器系统日常训练射击效果评估[J].舰船电子工程，2015，35（3）：28?31.

[6] 王钦钊，郭傲兵，李小龙，等.基于AHP的装甲分队模拟训练成绩评估方法[J].计算机仿真，2015，32（10）：458?462.

[7] 谷宗辉，闫肃.基于层次分析法的飞行模拟训练评价体系设计[J].中国民航飞行学院学报，2015，26（1）：56?59.

[8] 侯玉，夏立，张朝亮.船舶电力系统模拟训练评估算法[J].海军工程大学学报，2015，27（1）：103?107.

[9] 武兆斌，陈黎，赵春霞.基于灰色聚类和层次分析的模拟训练成绩评定[J].系统仿真学报，2016，28（2）：416?423.

[10] 张全.复杂多属性决策研究[M].沈阳：东北大学出版社，2008.