一种改进的军事训练效果定性评估指标量化方法*

王 睿，姜 宁

(海军大连舰艇学院,辽宁 大连 116018)

深入开展军事训练工作,是提高部队实战能力的重要举措。军事训练效果评估,作为组训工作重要环节,其成效直接影响训练效益,评估结论将对各级决策产生重大影响。效果评估涉及衡量指标、权重和聚合方法等一系列要素的确定,其中,评估指标值量化更是评估工作的基础。整体上,评估指标包括定量指标和定性指标两类。定量指标是可以准确数量定义、精确衡量并能设定绩效目标的考核指标。定性指标是指无法直接通过数据计算分析评价内容,需对评价对象进行客观描述和分析来反映评价结果的指标。

军事训练效果评估主要是对训练对象能力和水平的评价,其大部分底层评价点的描述存在极大的不确定性和模糊性,属于定性评估指标,实际工作中难以直接采集得到具体指标值,通常需由评估专家参照相关数据素材,并结合具体对照标准,间接转化为可用于效果评估工作的量化值。传统方法优点在于操作简单、便于理解,仅需要将评估专家组给定分值进行加权平均即可得到结果;其缺点也十分明显,由于过度依赖评估专家个人综合能力,受人为因素影响较大,简单的加权平均处理容易掩盖指标量值的真实属性,进而降低评估结论的可靠性。因此,本文以确保研究成果实用性为出发点,对定性指标量化影响因子详尽分解,将主客观技术有机融合处理,提出一种改进的军事训练效能定性评估指标量化方法,为军事训练效果评估工作顺利实施提供理论支撑。

1 效能评价描述标度

军事训练效果评估工作的基础是对选用的评估指标进行工程量化,即确定评估指标的描述标度,指标描述方法直接决定评估结论的描述方式。由于军事训练效果评估指标类型多、数量大,在进行工程计算时需量体裁衣、选用适合的方法理论进行处理,在这一过程中,不可避免地需要人工参与(即专家评判处理),而专家主观性差异必然会产生一定程度的不确定性。根据军事训练效果评估指标特点,涉及精确值、区间值和语言值三类描述标度[1-3]。

1)精确值描述标度

精确值描述标度即通过精确的数值实现对某一评估指标或评估结论的判定,通过特有模型计算得到结果。其强烈依赖于采集数据,专家主观影响较小,具有描述结果直观、量化清晰、便于横向对比等优点,缺点是需要具体的工程计算模型,对某些模糊属性的评估指标难以实现量化。

为方便实用,通常取x∈[0,100],语义上取值呈正向增长,取值上限100为最理想结果,取值0为最差结果。

2)区间值描述标度

区间值从概念上是描述一定量数值的集合体,可以理解为具有模糊属性的量,主要通过评估专家依托评判标准人为给出。其优点是赋予评估专家一定灵活度、有效规避了人为因素引起的误差,但区间宽度的界定是区间值描述法的关键点。

Q∈[a1,a2],0≤a1≤a2≤100,a1,a2∈R。

3)语言值描述标度

军事训练效果评估中定性指标评定,需要评估专家结合数据主观评定,结论往往是定性的语言描述,如“优、良、合格、较差、差”等,其中,每类语言描述标度对应相应的指标评价标准。语言值描述标度的使用有利于多种评估方法的选择,如模糊法、灰度法、粗糙熵法等。

4)描述标度统一转化

分析军事训练效果评估指标体系,涉及指标的度量均涵盖精确值、区间值和语言值等,评估指标值类型决定了评估结论值的类型。由于语言型标度无法直接进行数学运算,为便于评估模型方法选用,需要将评估描述标度进行规范化处理。本文提出“语言型标度同区间型标度转换”实施方法,具体形式如表1。

表1 语言值与区间值描述标度对应关系

注:精确值标度x表示为:[x,x]。

其中,为增加描述的精确性、减少语言模糊度,将评估技术中广泛认可的五类语言标度描述进一步细化(每一类划分为三个子类),形成最多十五类语言标度描述。同时,为便于运算,设定具体区间值。

2 专家可信度量化方法

评估专家对指标进行量化时,把握程度是极为重要的信息,对最终的结果会产生较大影响,本文“可信度”即为专家给出判断值的可信度。合理运用专家可信度能够最大限度降低训练效果评估工作中的主观误差,其量化方法包括主观判定和客观判定两类[4-8]。

1)主观判定法

评估工作中专家可信度的主观判定,主要是对各评估专家自身能力指标进行量化分解,并通过综合计算得到具体值,这种方法实际上也可以理解为将专家作为度量体的评估。一般情况下,专家可信度应针对评估任务聚焦于专业能力、知识储备、任职经历、评估经验等四个大方向。专业能力(ZY):主要涵盖该专家在作战指挥、装备运用等领域具有的专业地位、获得的技术成果等综合能力。知识储备(ZS):主要指该专家在军事训练具体领域的知识储备水平。任职经历(RZ):主要指该专家在不同单位工作经历。评估经验(JY):主要指该专家在以往类似军事训练中的评估经验,包括参与评估的次数、时长、担任的角色等。

专家可信度主观判定原始模型为

ΩZ=γ1·FZY+γ2·FZS+γ3·FRZ+γ4·FJY

(1)

进行标准化处理后,得到第i个专家的可信度为

(2)

式中，m为专家数量。

采用主观判定法计算专家可信度,可在一定程度上使结果更加科学、实用,但如何设定专家能力指标以及指标权重又成为一个难点,本文认为:为便于军事训练实际应用,选取过程中需重点把握整体性、清晰性、指向性等原则。

2)客观判定法

评估工作中专家可信度的客观判定,核心是通过评估专家组对单一目标的整体数据来计算可信度。当多位专家给出分值数据可靠性较高时,通过计算待测专家结论与专家组结论平均值的接近度得到目标值。专家i可信度基本计算模型如下:

(3)

式中:j为第j个评价指标,n为评价指标数。

进行标准化处理后,得到第i个专家的可信度为:

(4)

采用客观判定法计算专家可信度,无需主观评判专家能力,消除了二次评估造成的影响误差。但对专家数量、专家数据的聚合趋势有一定要求。

3)可信度综合判定

无论主观判定法,还是客观判定法都存在自身优势和不足,专家可信度概念的引入目的是降低干扰误差,因此,本文认为对两种方法适当融合、综合运用为妥。

专家i可信度的综合判定如下式:

μi=aηi+bβi

(5)

式中:a+b=1。

3 军事通信训练效能定性评价指标量化技术

3.1 定性指标经典量化方法

定性评估指标值虽无法直接使用数学模型进行工程化计算,为增强描述结果的客观性,可利用一定的数学理论方法进行处理,这就涉及定型指标量化计算方法[6-12]。

直接赋值法:评估专家组根据自身专业知识及观测情况,对待测对象直接赋值,这里的赋值为具体数字。该方法虽然理解容易、操作简单,但对专家来讲,由于军事训练任务的动态性和目标值的模糊性,难以保证给出结论值的可靠程度。

标度对照法:根据心理学家米勒(G.A.Miller)的试验结论,人类对事物进行辨别时,能够清晰、有效地区分其等级最优在5-9级之间(最多不超过15级)。因此,定性评估指标可量化为9个语言标度等级,同时将每个语言标度等级同固定的数值建立映射关系,这样就实现了评价语言与定性量化值互换,如表2所示。

表2 定性指标典型量化标尺

注:本表采用9标度等级,0和1较为极端一般不采用。

上文给出了评估工作中常用的两类定性指标量化方法,一般性评估中还有三角模糊数、梯形模糊数、定性排序量化等多种方法,这些方法运算背景和量化过程不同,均有各自的优缺点[5-6]。

3.2 基于专家可信度与区间值集结的定性指标量化方法

评估工作中,不同评估对象具有自身特点,可有针对性地选择适合的定性指标量化方法。军事训练效果评估,所选用的定性评估指标具有明确的军事属性,特点十分鲜明,其采用的量化方法有别于通用的方案优选、模糊排序评判任务。结合军事训练效果评估工作特点,为兼顾定性指标量化的可靠和汇算的便捷,本文将专家可信度模型与专家评价值集结模型方法相结合对定性指标进行量化计算,具体步骤如下:

Step1:针对军事训练评估目标、评价体系指标属性以及指标理想化标准,详细划分定性指标语言描述等级并合理区分对应量化值区间,从而建立量化分级评价表。其中,该表应涵盖目标的详细考核要点和评价内容,划分类别数量适当为好,既不宜过简造成评判模糊,也不宜超过行为人的可接受思维程度;

Step2:评估专家组成员,参照量化分级评价表给出的语言标度及量化数值,分别对不同评价指标对象分级打分区间,得到定性指标初始评价矩阵如下:

(6)

式中，m为参与打分的评估专家数量;

n为同一类别(隶属于同一上级评价指标)定性指标数量;

Step3:进行基于专家评可信度与区间值集结的量化值融合:首先计算某一评估专家的可信度并对其进行归一化计算,然后进行评估专家组评价值(区间)集结[4-15],最终得到各定性评价指标的综合值。

(7)

4 应用实例

本文以某部队某次大规模军事训练为例,拟对该部队参训兵力训练评估定性指标进行量化,具体评价指标包括:内容设置能力、制订计划能力、训练控制能力、综合保障能力和训练总结能力。

参照定性指标量化分级标准,评估专家组(拟定人数5名),根据现场观测和对采集数据的分析,以评价区间形式对5类评估指标进行具体打分,如表3所示。

表3 特殊情况处置能力评估指标打分表

备注:为同一标准,便于理解和计算,这里假设评估专家打分区间均以单位5为跨度,实际工作中区间跨度可灵活调整。

根据上表,得到专家组对5项指标的评价矩阵为

其中,将专家打分区间跨度格式统一为“[]”形式,以便于运算,不影响具体结论。

假设评估组共5位专家,各专家专业能力(ZY)、知识储备(ZS)、任职经历(RZ)、评估经验(JY)四项指标打分如表4。

表4 各专家能力量化打分表

假设各专家子指标主观评价权重系数γ=0.25。计算得到5位专家专家可信度主观判定值分别约为87、91、88、85、88,归一化后结果为0.198、0.207、0.201、0.193、0.201;参照评估指标打分表所列数值,计算得到5位专家专家可信度客观判定值分别约为0.98,0.97,0.97,0.95,0.94,归一化后结果为0.204,0.202、0.202、0.197、0.195;设主客观权系数a=b=0.5,则得到各评估专家的可信度综合值:0.201、0.204、0.202、0.195、0.198，如表5。

表5 专家可信度分值统计表

备注:为便于对比,将计算结果取值到小数点后三位。

将5位评估专家可信度与具体评估值进行集结,得到各定性指标具体量化值如下:

Xi=[x1,x2,x3,x4,x5]=(86.545,79.465,74.425,72.450,87.510)

对照表3,将定性指标最终量化值与初始量化区间比对可以发现,最终值同初始量化区间值的均值(具体指标各专家、各区间的算术平均根)比较接近,见表6。

表6 综合计算量化值与初始区间均值比对表

通过分析得到结论如下:1)提出的定性指标量化方法可靠性较高，表6中两类算法结果差异较小原因,一方面为实例中各项权重参数都取均值,另一方面专家评价值区间跨度相同(皆为5),当上述二者之一量值变化明显时定性指标综合计算值能够呈现一定差异;2)该方法能够对初始结论进行适当修正,使得结果更加客观精确。当量化值区间、权重系数规范化要求时,运用本方法能够对评价结果进行局域合理化处理,未出现偏离训练效果评估工作整体方向,可对评估最终结论起到良好支撑。

5 结束语

定性评价指标制约因素多,不易量化判定,传统量化取值方法普遍存在客观性不强、随机性大、精确度低等特点,严重制约了军事训练效果评估结论的可靠性。本文以军事训练效果评估具体任务为牵引,从专家主观能动性的科学量化角度出发,对专家可信度主客观评价技术充分融合,提出一种基于专家可信度与区间值集结的定性指标量化方法,并通过具体实例进行验证,可为军事训练效果评估工作提供可靠的基础支撑。此外,本文提出的方法不仅适用于军事领域,还可推广应用于民用领域的评估工作中,从而实现理论成果的应用效益最大化。