舰艇辅助决策软件作战试验评估方法研究∗

韩春亮 荀 杨

（91404部队 秦皇岛 066000）

1 引言

舰艇辅助决策软件是综合运用计算机软件技术、信息技术、决策技术等现代科学技术解决作战中关键问题的必然选择，是信息化条件下提高舰艇部队作战指挥人员作战筹划与作战指挥控制效能的重要软装备［1］。为了提高辅助决策软件的作战效能和作战适用性，辅助决策软件试验除针对技术指标进行考核外，还应针对真实性的蓝军作战部队、真实的环境设定和真实威胁对抗的条件下进行［2］，也就是必须用作战试验的思路对辅助决策软件进行考核。

2 舰艇辅助决策软件作战试验设计

1）明确作战试验评估。主要是建立考核指标体系，确定评价方法与指标合格判定准则。从辅助决策软件组成和作战使用的关键问题，逐层细化分解考核指标；逐一确定各级、各类指标的评估方法模型以及引用标准，明确评估所需数据的名称、类型、来源、标准；逐一明确指标合格性判定准则，并提出数据测量需求［3］。

2）设计作战试验科目。以作战流程为主线设计试验科目，将试验数据测量统筹安排到各种环境条件下各类作战任务和作战流程中，建立数据测量与作战行动对应关系矩阵。

3）编写作战试验想定。以舰艇使命任务为依据，对作战双方的兵力编成、作战企图、作战行动过程，以及辅助决策软件功能、使用原则、使用流程进行设想和假定，编写作战试验想定，用于指导兵力行动和软件使用。根据作战试验想定确定试验参试兵力和试验环境条件要求。

3 舰艇辅助决策软件作战试验考核指标

试验考核的指标体系，主要包括辅助决策软件功能指标、性能指标以及作战适用性考核的评价性指标。功能指标和性能指标以辅助决策软件研制任务书为依据建立，主要考核软件产品在特定条件下使用时，满足明确或隐含要求的程度，侧重于测量软件产品本身。作战能力评价即作战试验考核指标主要是指作战使用人员针对软件质量的用户观点，它可以用在环境中使用软件的结果来测量，而不是根据软件本身的性质来测量［4］。

本文在作战试验考核指标选取上主要采用分析法［5］，即将评价对象和评价目标划分成若干个不同组成部分或不同侧面，并逐步细分，直到每一个部分和侧面都可以用具体的指标来描述和实现。这个分析过程主要针对被试系统的系统效能、作战效能、应用效能3个层次重复进行，主要过程如下：

第一步：对评价对象的内含做出合理解释，明确评价的总目标与子目标。

辅助决策软件的作用主要是为指挥员在指挥作战中提供辅助决策支持，提高决策效率和准确性，其评价目标是立足于系统效能指标，侧重反映辅助决策软件应用和作战效能发挥。

第二步：对每一个目标或概念侧面进行分解，确定指标类型。

从舰艇辅助决策软件组成上一般包括态势判断与处理软件、对空作战软件、对海作战软件、反潜作战软件和综合作战软件。从舰艇辅助决策软件应用上主要体现在决策有效性、决策效率和决策的满意度。

第三步：设计每个层次的指标，直到每个侧面或子目标都可以直接用一个或几个明确的指标来反映，最后得到具有层次结构的指标体系。

本文建立的辅助决策软件作战试验指标体系如图1所示。

图1 舰艇辅助决策软件作战试验评估指标体系

4 考核指标含义及测量方法

4.1 有效性

1）任务完成率

在方面（综合）作战中辅助决策能够完成的任务比例。在不同作战任务背景下，将作战流程中辅助决策软件能够完成的辅助决策任务进行分解，将试验中能够顺利完成的任务与能够完成的任务总数进行比较，得出辅助决策软件任务完成率。

测量公式：X=A B，A为已完成的任务数，B试图完成的总任务数。

注：正确完成每个任务的参与者的百分比，评估可以通过测量一个或一组用户得出。如果任务可以部分地完成，那么就可以使用任务有效性度量了。

2）任务有效性

在方面（综合）作战中辅助决策任务能够正确有效完成的比例。具体指正确完成每个任务的程度的均值，以百分比计分。

注：根据每项潜在遗漏的或不完全的任务输出部件给作战任务带来的损失程度，分别定出相应的权值Ai。计分机制是通过将其应用于一系列的任务输出，并调整权值直至评估具有可重复性、可再现性且有意义后经迭代确定出来的。

3）出错频率

在方面（综合）作战中辅助决策任务的出错频率。

测量公式：X=A T，A为用户导致的错误次数，T为任务时间或任务数。

4.2 效率

1）任务完成时间

在方面（综合）作战中决定使用辅助决策到得到结论的平均时间（试验中记录，试验后求平均值）。

测量公式：X=Te，Te=任务时间。

2）任务效率

测量公式：X=M1T，M1为辅助决策任务执行有效时间，T为任务总时间。

注：任务效率测量每个单位时间内所完成目标的比率。

4.3 满意度

1）辅助决策满意度

作战使用人员对具体的辅助决策软件特征的满意程度。测量的软件特征一般包括满意度、有用性、有效性、易使用性和可靠性［6］。

2）辅助决策选用度

试验中典型作战任务和态势下软件模块的使用频率，即辅助决策选用度。

测量公式：X=A B，A为使用特定软件功能的次数，B为打算/可以使用它们的次数。

5 舰艇辅助决策软件作战试验评估

5.1 指标权重确定

本文建立的辅助决策软件考核指标体系是一个三层指标的体系结构，由指标层次分析计算出各指标的权重值［7］，本文指标层次分析判断矩阵的确立依靠用户应用需求，其结果如表1所示。该表中的数据是经过一致性检验后的有效数据。

表1 舰艇辅助决策软件作战试验评估指标权重表

5.2 评估指标标准化

本文所提出的各类指标、各类参数的物理含义和取值区间各不相同，需要对指标数据进行去量纲化、规范化，其实质是把意义或者量纲各异的指标值通过一定的数学变换，转化为可以综合处理的“量化值”，进而比较这些指标和它所对应的真实世界对象的接近程度。为了解决上述问题，本文从定性和定量两个方面出发，提出了指标的标准化方法，为下一步对指标标准化数值进行聚合，计算最终的评估结果提供了基础。表2给出了本文建立的考核指标对应的具体类型［8］。

表2 考核指标具体分类

1）效益型指标标准化

在软件试验评估中，所谓效益型指标是指相对于真实值或理想值指标取值越大越好的指标。本文采用直线递增型函数作为效益型指标的标准化函数：

2）成本型指标标准化

与效益型指标相反，成本型指标是指指标值越越好的指标。本文采用直线递减型函数作为成本型指标的标准化函数：

3）定性指标标准化

与定量指标不同，对定性指标的评价描述常用模糊语言变量，如辅助决策满意度，无法或很难定量计算这个指标，常用干扰能力“高”或“低”等语言来评价软件的满意度。因此，对于定性指标通常是通过一一映射或定性等级量化来进行标准化。文献［9］对定性指标的模糊语言评价提出了一种基于Bipolar（双极）标度量化的方法，虽然该方法操作简单，容易实现，但其模糊性和主观性太强，不利于体现指标的客观性，本文采用基于隶属度函数的标准化方法。

一般地，在评价软件辅助决策满意度时，分析者对定性指标的“满意度”评价可用模糊语言变量来表示［10］，不防假定可分为“很好”、“好”、“较好”、“不太好”、“很不好”5个等级，将这5个等级依次对应为5，4，3，2，1。为了降低评价的主观性和模糊性，对这些评分值进行连续量化，具体做法是首先取偏大型柯西分布和正态分布作为隶属函数，为

式中，α，β，a，σ2为待定系数；x为评价者对定性指标的评分值。通过专家界定，当评分值x=5时，隶属度为1，即 f(5)=1，表示要素指标“很好”；当评分值评分值 x=3.5时，隶属度为0.8，即 f(3.5)=0.8，表示要素指标“好”；当评分值 x=1时，隶属度为0.01，即 f(1)=0.01，表示要素指标“很不好”。

代入式（3）计算得：a=5，σ2=10.0832，α=1.7528，β=3.6273，将参数代入式（3）得到隶属度函数式（4），并将其作为定性指标的标准化函数：

5.3 评估指标聚合

本文采用模糊综合评判的方法进行指标聚合［11］。首先，根据评估指标体系，建立指标集（因素集）和评语集，表示如下，指标集：；评语集：，是对评估对象可能做出的评判结果组成的集合，也是对被评估对象的变化区间进行划分，其中cn代表第n个评判结果；测量标度向量为，对应于评语集 C 。

然后，根据调查对象和指标集，确定指标集中各指标对应的权重向量Wi（表示评估指标体系每层第i个具有相同父节点的指标构成的指标向量），结果见表1。

接着，从低到高依次进行模糊评判。首先，分析试验数据，假定有N份有效数据，sij确定各评估指标的隶属，建立最低层的指标评估矩阵Ri（指标体系中属于同一父节点的子节点构成的评判矩阵），ri表示指标体系底层的第i个指标取第 j个评语集等级的隶属度，Ri、Wi、ri的父结点相同，符号“◦”表示广义的合成运算，具体关系如下：

将本层得到的Ri作为上一层模糊评判的模糊关系矩阵ri，从下往上组建新的R′i（指标体系中上一层属于同一父节点的子节点构成的评判矩阵）：

重复上述过程，逐层进行模糊评判，直至完成整个指标体系层次结构的评判，得到一个最终的PER，该PER表示模糊综合评判的最终结果：

最后，根据最大隶属度原则，确定辅助决策软件试验的评估结果。

6 结语

本文对舰艇辅助决策软件作战试验构建了评估指标体系，明确了各考核指标的含义及测量方法，并提出了评估指标的标准化处理方法和指标聚合方法，在辅助决策软件作战试验实施中具有很强的科学性和可操作性，为贴近实战条件下考核辅助决策软件的作战适用性提供了理论支撑。

［1］赵晓哲.舰艇作战软件系统工程管理［M］.北京：国防工业出版社，2009：1-3.ZHAO Xiaozhe.Warship Combat Software Systems Engi⁃neering Management［M］.Beijing：National Denfence In⁃dustry Press，2009：1-3.

［2］王凯，赵定海，闫耀东，等.武器装备作战试验［M］.北京：国防工业出版社，2011：8-10.WANG Kai，ZHAO Dinghai，YAN Yaodong，et al.Military Hardware Operational Test［M］.Beijing：National Den⁃fence Industry Press，2011：8-10.

［3］郭奇胜，罗小明，潘高田.武器装备试验理论与检验方法［M］.北京：国防工业出版社，2013：65-68.GUO Qisheng，LUO Xiaoming，PAN Gaotian.Weapon Equipment Test Theory And Evaluation Method［M］.Bei⁃jing：National Denfence Industry Press，2013：65-68.

［4］朱三元，宗宇伟，陈淼芬，等.软件工程产品质量第1部分：质量模型［G］.GB/T 16260.1-2006/ISO/IEC 9126-1：2001：10-12.ZHU Sanyuan，ZONG Yuwei，CHEN Miaofen，et al.Soft⁃ware Engineering-Product Q-uality-Part 1：Quality Mod⁃el［G］.GB/T 16260.1-2006/ISO/IEC 9126-1：2001：10-12.

［5］李志猛，徐培德，冉承新，等.武器系统效能评估理论及应用［M］.北京：国防工业出版社，2013：127-130.LI Zhimeng，XU Peide，RAN Chengxin，et al.Weapon Sys⁃tem Effectiveness Assessment Theory And Application［M］.Beijing：National Denfence Industry Press，2013：127-130.

［6］杨根兴，葛孝梦，韩良秀，等.软件工程产品质量第4部分：使用质量的度量［G］.GB/T 16260.4-2006/ISO/IEC TR 9126-4：2004：27-30.YANG Genxing，GE Xiaomeng，HAN Liangxiu，et al.Soft⁃ware Engineering-Product Quality-Part4：Quality In Use Metrics［G］.GB/T 16260.4-2006/ISO/IEC TR 9126-4：2004：27-30.

［7］杜金环，金璐璐.软件质量度量过程及模型研究［J］.计算机技术与发展，2014，24（4）：38-40.DU Jinhuan，JIN Lulu.Research On Process And Model Of Software Quality Metrics［J］.Computer Technology And Development，2014，24（4）：38-40.

［8］苏志同，李京锴.基于模糊物元法的软件质量评价模型研 究［J］.计 算 机 与 数 字 工 程 ，2015，43（11）：1909-1913.SU Zhitong，LI Jingkai.Evaluation Model On Quality Of Software Based On Fuzzy Matter Element［J］.Comput⁃er&Digital Engineering，2015，43（11）：1909-1913.

［9］杨宝安，张科静.多目标决策分析理论、方法与应用研究［M］.上海：东华大学出版社，2008：112-116.YANGm Baoan，ZHANG Kejing.Multi-Objective Deci⁃sion Analysis Of Theory And Applications［M］.Shanghai：Donghua University Press，2008：112-116.

［10］李明.舰船指控系统基础软件质量评估方法研究［J］.计算机与数字工程，2014，42（12）：2316-2320.LI Ming.Quality Evaluation Of Basic Software In War⁃ship Command And Control System ［J］.Computer&Digital Engineering，2014，42（12）：2316-2320.

［11］Mahmod Othman，Ku Ruhana Ku-mahamud，Azuraliza Abu Bakar.Fuzzy Evaluation Method Using Fuzzy Rule Approach In Multicriteria Analysis［J］.Yugoslav Journal Of Operations Research，2008，18（1）：95-107.