训练装备体系使用效果评估方法研究

摘要：在信息化技术和作战模式不断发展变革的形势下，为满足作战部队提高操作使用能力和快速形成战斗力的需要，采用理论学习和操作训练相结合、模拟训练和实装操作相结合、单兵训练和体系训练相结合的训练装备体系正在成为部队进行装备训练的重要方式。为对训练装备体系的使用效果进行评估，本文研究建立了一套训练装备使用效果评估方法，评估作战部队使用训练装备体系进行训练的效果，为工业部门设计和改进训练装备提供理论支撑，为部队采购和使用训练装备提供理论依据。

Abstract： Under the situation of continuous development and change of information technology and operation mode， in order to meet the needs of improving operational capability and rapidly forming combat effectiveness of the combat forces， the training equipment system which combines theoretical learning and operational training， simulation training and practical operation， individual training and system training is becoming an important way of equipment training. In order to evaluate the use effect of training equipment system， this paper studies and establishes a set of evaluation method to evaluate the use effect of training equipment system by combat forces， to provide theoretical support for industrial departments to design and improve training equipment， and to provide theoretical basis for departments to purchase and use training equipment.

關键词：训练装备体系;使用效果;评估;信息化

Key words： training equipment system;use effect;evaluation;informatization

中图分类号：TP29                                         文献标识码：A                                  文章编号：1006-4311（2020）19-0211-03

0  引言

在信息化技术和作战模式不断发展变革的形势下，科技进步促进高技术装备大量列装部队，但实战化要求带来的高训练强度将对装备带来大量损耗，进而提高装备的维修保障费用和不可用时间。为提高部队的训练水平，实现战斗力的快速形成和提升，理论学习和操作训练相结合、模拟训练和实装操作、单兵训练和体系训练相结合的训练装备体系正逐渐成为装备训练的重要手段。

开展训练装备体系使用效果的评估，是装备训练不可缺少的环节，有利于建立完善训练装备体系的使用效果评估机制，有利于实现训练装备体系的有效管理，有利于推动训练内容、训练方式和训练产品的改进和革新。当前针对训练装备的研究集中于训练装备的体系架构[1]、产品[2]和训练方式[3]，针对训练装备使用效果的评估仅关注操作人员的部分操作能力，如文献[4]和文献[5]选取了指挥能力、维修能力、情报能力等几个方面对装备使用人员进行虚拟仿真训练的效果进行了评估，维度较为单一，没有站在用户角度对训练装备体系的使用效果进行系统性的评估，未形成一套完善的考评体系。国外学者对培训效果评估的模型已进行了大量研究，其中最为广泛和经典的是Kirkpatrick提出的四级评价模型，从评估的深度和难度将培训效果分为四个递进的层次：反应、知识、行为、效果[6]。这一模型简称柯式模型，模型形式虽简单，但全面、系统、操作性强。综上，本文将基于柯式四级评估模型建立训练装备体系使用效果的评估框架，对评估的指标体系和评估方法进行论述。

1  训练装备体系使用效果评估指标体系

1.1 构建原则

构建训练装备体系使用效果评估指标体系的目的在于准确全面地对训练装备体系的使用效果、训练效果进行评估，能够检验部队使用训练装备提升理论水平、实操能力的效果，查找训练装备体系设计中的不足，为教员制定培训训练计划提供指导，为训练装备的设计改进提供依据。因此，为满足上述要求，训练装备体系使用效果评估指标体系应满足以下原则。

1.1.1 全面性

全面性原则是指评估指标的选取应该能够覆盖训练装备体系使用的各个方面，全面考虑训练装备体系的使用者、使用方式和使用目标。训练装备体系使用过程中，涉及多种角色，采用理论培训、实操训练等多种方式，对各类岗位、流程和任务进行训练，构建训练装备体系使用效果评估指标体系时，应能够保证构建的指标体系能够全面完整系统地体系出训练装备体系使用过程中各环节存在的问题，对训练过程中的任务流程和岗位角色配合进行跟踪、评判。

1.1.2 针对性

针对性原则是指评估指标的选取能够有针对性地对训练装备体系使用过程中的各种元素进行度量和评估，在全面性的基础上体现差异性，依据不同元素的重要性赋予相应的权重。学员通过训练装备体系对专业基础理论、单兵单项操作、流程协同操作、故障处置操作等多种技能进行训练，不同训练内容下不同操作产生的最终影响不同，应针对各项训练内容的特点建立有针对性的细化指标。

1.1.3 导向性

导向性是指训练装备体系使用效果评估的指标体系应该能够反映训练装备体系的易用性、有效性，引导训练装备的设计单位进行设计和改进，以使训练装备的使用更加方便，更加高效地提升学员的专业技能。

1.1.4 可操作性

指标体系的建立最终是为了对训练装备体系的使用效果评估进行有效的应用，因此，指标的选取和计算应具有较强的可操作性。可操作性强主要包括三个方面：1）指标数目应合理，力求用精炼的指标体现全面性、针对性和导向性的特征;2）指标计算所需数据应可测可获取;3）指标计算方法应逻辑清晰、简洁易行。

1.2 指标体系的构建

本文将柯式评估模型与训练装备的架构、功能和使用流程相结合，构建训练装备体系使用效果评估的指标体系。

训练装备体系分为基础理论培训层、模拟操作训练层和实装操作训练层三个层次。基础理论培训层通过教员教学和学员自学的方式使学员掌握装备相关专业的基础理论。模拟操作训练层通过模拟仿真或半实物仿真等形式模拟真实的操作流程，对学员的实际操作进行递进式训练，操作训练内容从是否故障注入的角度可分为正常流程操作和故障处置操作，从角色参与范围的角度可分为单兵操作、分队操作和全系统全流程合成操作。实装操作训练层是指学员通过操作真实装备进行训练，是训练的最高层次。训练装备体系的使用者分为管理员、教员和学员三种角色，其中管理员是对训练装备进行系统管理、安全管理的人员，教员是进行教学计划安排和教学实施的人员，学员是各个岗位、专业需要进行学习的人员。

构建训练装备体系使用效果评估指标体系如图1所示。

根据柯式评估模型，将指标体系分为四个维度：反应维、知识维、行为维和效果维。反应维体现的是训练装备的使用者在使用整个训练装备过程中最直接的感受，包括管理员、教员和学员的使用过程中对训练装备的评价。知识维是指学员在经过训练装备体系的训练后对理论知识的掌握情况，通过基础理论培训层的理论考试对学员的知识维水平进行考核。行为维是指学员通过训练装备体系的训练后实际操作的水平，可通过模拟操作训练层和实装操作训练层对学员操作的数据进行考核评分。效果维是指学员通过训练后对整个部队的能力提升的影响，可通过全流程训练、演习和实战任务中的操作情况进行评估。

四个维度的一级指标分别为综合满意度、理论培训成绩、操作行为成绩和综合表现成绩。

反应维对应的“综合满意度”下一级设置“管理员满意度”、“教员满意度”和“学员满意度”3个二级指标，分别对管理员、教员和学员使用的满意度进行评价，覆盖了所有使用训练装备的角色种类。管理员满意度表征管理员日常对系统正常和故障状态下进行运维和管理操作的满意度，设置性能管理满意度和故障管理满意度;教员满意度表征教员在制定教学计划、实施教学、使用理论培训教材和批阅试卷等操作的满意度;学员满意度表征学员在进行学习和考试过程中的满意度。

知识维对应的“理论培训成绩”下一级设置“基础理论成绩”、“操作理论成绩”和“故障处置理论成绩”3个二级指标，基础理论成绩表征学员对武器系统的功能组成、基本原理等知识的掌握情况，操作理论成绩表征学员对负责岗位的正常流程操作知识的掌握情况，故障处置理论成绩表征学员对异常情况的分析和相关处置措施理论的掌握情况。

行为维对应的“操作行为成绩”下一级设置“正常流程操作成绩”和“故障处置操作成绩”2个二级指标，表征各学员进行正常流程下的操作和故障流程下的故障定位、处置操作。正常流程操作成绩由口令正确性、操作正确性和操作及时性决定，故障处置操作成绩由故障定位正确性、故障处理及时性和故障处置正确性决定。

效果维对应一级指标为“综合表现成绩”，表征整个部队在使用训练装备进行培训训练后在实战演练中的综合表现。

2  训练装备体系使用效果评估指标计算方法

评估指标计算采用自下而上的评估流程，每个维度的指标从低层次逐级向上进行综合评估，以一级指标作为各维度评估结果。各维度各级指标都采用归一化处理，以0-100的分值进行评估，保证评估的标准化。

2.1 反应维

反应维指标通過问卷调查和算术平均方法进行计算，计算流程如图2所示。

具体步骤为：①向所有管理员、教员和学员分别发放调查问卷，其中，向每位管理员分别发放性能管理满意度问卷和故障管理满意度问卷，向每位教员分别发放计划满意度问卷、教学满意度问卷、教材满意度问卷和批阅满意度问卷，向每位学员发放学习满意度问卷和考试满意度问卷，每份问卷的评分为0-100分，问卷评分即各项满意度的评估结果;②分别对每位管理员、教员和学员所做的问卷评分结果进行算术平均，得到单人“管理员满意度”、单人“教员满意度”和单人“学员满意度”;③将单人“管理员满意度”、单人“教员满意度”和单人“学员满意度”分别进行算术平均，得到全体“管理员满意度”、全体“教员满意度”和全体“学员满意度”;④将得到的全体“管理员满意度”、全体“教员满意度”和全体“学员满意度”进行算术平均，得到综合满意度，即为反应维指标计算结果。

2.2 知识维

知识维指标通过理论考试和算术平均的方式进行量化评估，计算流程为知识维：首先对每一位学员的三项考试成绩进行算术平均，得到单人“理论培训成绩”，然后对所有学员的单人“理论培训成绩”进行加权平均，得到全体“理论培训成绩”，即为知识维指标计算结果。

2.3 行為维

行为维指标通过操作评分、算术平均和加权平均的方法进行量化评估。对每个学员的正常流程操作成绩和故障处置操作成绩进行算术平均，得到每个学员的单人“操作行为成绩”，然后对所有学员的单人“操作行为成绩”进行算术平均，得到全体“操作行为成绩”，即为行为维指标计算结果。

正常流程操作成绩和故障处置操作成绩的具体计算方法如下。

2.3.1 正常流程操作成绩

每个学员的最终正常流程操作成绩是由学员参与的所有正常流程评分进行加权平均得到的，每个项目的权重由专家根据流程的重要性和安全性影响评分得到。每个学员在每个项目中的正常流程操作成绩是通过对学员在负责岗位进行操作训练时的口令正确性、操作正确性和操作及时性进行综合评定获取的，计算公式如下式所示。

2.3.2 故障处置操作成绩

每个学员的最终故障处置操作成绩是由学员参与的所有故障处置操作项目评分进行加权平均得到的，每个项目的权重由专家根据项目的重要性评分得到。与正常流程操作成绩的计算方法类似，每个学员在每个项目中的故障处置操作成绩是通过对学员在负责岗位进行操作训练时的故障定位正确性、故障处置正确性和故障处理及时性进行综合评定获取的，计算公式如下式所示。

2.4 效果维

效果维指标“综合表现成绩”通过对整个部队的训练素质、任务执行情况等综合表现进行定性分级量化，并由专家打分评定，分值为[0，100]。

3  结语

本文提出的训练装备使用效果评估方法包括指标体系和指标计算方法，是基于训练装备的体系和作战部队的训练方式构建的，不仅能够用于评估作战部队的训练效果，也能够用于评估训练装备体系的设计水平，为工业部门设计和改进训练装备提供理论支撑，为部队采购和使用训练装备提供理论依据。

参考文献：

[1]郑超，周畅，张阳，刘宸宁，阳加远.信息化条件下的训练装备体系研究[J].信息技术与信息化，2020（01）：220-224.

[2]贾丽，杜浩，李梓，等.基于虚拟现实技术的装备维修训练系统设计[J].科技资讯，2019，017（008）：11-13.

[3]雷震，李庆全，何国良，等.信息化条件下美军武器装备训练的主要做法及启示[J].中国科技信息，2015（007）：67-68，75.

[4]罗博峰，谢常达，彭双震.虚拟仿真训练效果评估研究[J]. 舰船电子工程，2019（11）.

[5]时扬.装备虚拟训练评估问题研究[J].舰船电子工程，2019，39（06）：15-16，27.

[6]Craig R L. The ASTD training and development handbook： A guide to human resource development[M]// The ASTD training and development handbook ： a guide to human resource development. 1996.