基于模糊层次法的飞行员CRM培训效果评估

李立民 LI Li-min

（中国民用航空飞行学院，广汉 618307）

（Civil Aviation Flight University of China，Guanghan 618307，China）

0 引言

在我国，随着现代化大型飞机的大量引进，对外交流的不断加强，新的训练理念和手段的不断引入，机组资源管理的研究日渐盛行。尽管机组资源管理在国内民航界已经普遍被接受和重视，它也被认为是保证航空飞行安全的重要保障措施之一，但是国内机组资源管理研究水平和发展仍然落后于欧美发达国家。

但是由于目前的CRM培训工作缺乏合理的评价指标体系，从而导致培训效果的评估工作仍旧处于初级阶段。此外，由于不能够明确评估内容的重要度，因此，评估很难得到准确的结果。在飞行员培训中，飞行员培训效果评估作为一个重要的环节，只有构建一套科学合理的培训效果评估指标体系才能有效保证飞行员培训的质量和效益。

1 评估指标体系构建

1.1 评估指标体系构建原则

①评估指标应当与培训目标相关。培训能否达到并完成了预期的目标和任务作为培训效果评估的一个重要作用，因此，选取的培训指标因培训目标的不同而不同。

②评估指标应当具有可操作性。由于本研究的模型是针对民航飞行学院构建的，因此，要求模型具有较强的实用性和易操作性。为了避免学员难以回答或涉及隐私的指标，应当在选取指标的时候选择易理解和易实现数据收集的项目。

③为了确保评估指标体系具有系统性和全面性，本研究除了参考Kirkpatrick的四层次评估模型，从培训的反应层、学习层、行为层和结果层等各层次来合理选取指标外，还结合了培训的目的、民航飞行学院的实际情况等因素。

1.2 评估指标选取的程序

保证飞行员培训效果评估成功的前提就是要建立一套层次关系清晰合理以及内容丰富全面的评估指标体系。本文在选择指标的时候采用了专家咨询法，此方法包括经验预选和咨询专家后确定指标两个步骤。

①通过研究并参考国内外相关文献和有关培训效果评估的研究成果，在结合我国飞行员培训特点的基础上，预选出符合该指标体系构建目的及构建原则的一定数量有代表性的指标，将其构成预选指标集。

②采用专家匿名发表意见的方式获取专家意见，该方式要求专家只能与调查人员联系，专家之间不得互相讨论、不得发生横向联系。通过多轮次调查专家对预选指标集所提问题的看法，经过反复征询、归纳、修改，最后汇总成专家基本一致的看法，作为预测的结果，这种方法具有广泛的代表性，较为可靠。

1.3 评估指标体系的构成

根据飞行员培训的目的和特点，将飞行员培训效果评估指标分为反应层、学习层、行为层、结果层四个一级指标，并在一级指标下设立了12个二级指标（具体构成见表1）。

2 评估指标权重确定

培训效果评估指标体系中存在包括培训内容的系统性、受训者的纪律性等在内的难以准确量化的指标。在处理这些目标时就要引入模糊性的概念。模糊层次综合评价法具有同时考虑了事物内部关系的错综复杂性和价值系统的模糊性的优点，非常适合对模糊性指标的评价。其基本计算步骤如下：

①构建层次结构模型，即确定目标层、准则层和评价因素层；

②建立判断矩阵群，假设有n个评价指标，通过因素间两两对比方法构造判断矩阵其中 bij为第 i个元素相对于第j个元素的重要程度；

③计算判断矩阵的特征向量 W=[w1，w2，…，wn]T，其中wi的求取通常采用和法，计算如下：

④检验判断矩阵的一致性，首先计算一致性指标为CI=（λmax-n）/（n-1），然后可得一致性比率CR=CI/RI，并检验判断矩阵的一致性：当CR＜0.1时，认为判断矩阵具有一致性，可以接受；当CR≥0.1时，认为应该对判断矩阵做适当修正，返回步骤①直到通过一致性检验为止。

根据12位专家给定的判断矩阵，运用几何平均法将专家意见综合平均，即得到最终的指标评价判断矩阵。根据Matlab7.0计算结果，各指标权重保留两位小数，构建出完整的飞行员CRM培训效果评估模型，如表1所示。

表1 飞行员CRM培训效果评估指标权重及评价汇总

3 模糊综合评估

在结合层次分析法确定各指标的权重的基础上，进一步应用模糊综合评判法来评估飞行员培训的效果。其基本流程为：

①建立评估因素集。飞行员培训效果的主要素评估指标集 U：反应层 U1、学习层 U2、行为层 U3、结果层 U4。飞行员培训效果的子要素评估指标集，反应层指标要素U1：课程设置情况U11，课堂参与程度U12，教师授课情况U13，教学设施情况U14；学习层指标要素U2：相关知识的掌握情况U21；行为层指标要素U3：管理能力的提高U31，应急处理能力的提高U32，人际沟通能力的提高U33，计划协调能力的提高U34；结果层指标要素U4：团队合作精神的加强U41，组织文化安全的提高U42，人为差错的减少U43。

②建立评估因素权重集。确定评估主要素集和子要素集中各要素的权重值，根据表1可知，一级指标权重为：U={Ui}={0.28，0.22，0.20，0.30}，i=1，2，3，4

二级指标权重为：W11={0.24，0.25，0.32，0.19}，W22={1.00}，W33={0.32，0.24，0.20，0.24}，W44={0.30，0.26，0.44}

③建立评判集。由于评估指标的重要性都具有模糊性，因此，首先按照重要性由大到小给出某个指标重要性的区间集。根据实际情况，本文给出的培训效果评估集为：

某飞行学院在开展培训后通过收集、汇总、整理和分析各种指标的评价数据，同时结合层次分析的各个指标权重得到表1。

④进行各级指标因素的综合评价。通过对相关人员的询问调查得到了模糊综合评价矩阵R。对课程设置情况、课堂参与程度、教师授课情况以及教学设施情况的模糊综合评价矩阵为：

然后与二级指标的权重向量相乘得二级指标的综合评价结果：

同理可得其他三级指标的综合评价结果A2、A3、A4。将二级指标的综合评价结果作为一个模糊综合评价矩阵与一级指标的权重向量相乘得一级指标因素的综合评价结果：

⑤计算每个评价对象的综合分值。假定评语等级v1、v2、v3、v4的分数重心依次为 95、85、75、65，于是计算飞行员CRM培训效果评估的综合得分为90.978。

从反应层、行为层、学习层和结果层四个一级指标的评价结果来看，反应层隶属于“好”的程度较低，仅达到0.661，这说明培训的准备工作做得还不够充分，需要加强课程的设置、教学设施、以及提高授课教师的水平。

4 结语

本文为了能够层次分明的反映出培训评估的内容，在Kirkpatrick四层次培训效果评估模型理论的基础上结合飞行员CRM的热点构建了飞行员CRM培训效果评估指标体系，因此，该指标体系能够直观全面的对培训效果进行评估。此外，由于此体系中存在难以精确量化的指标，因此，为了正确评估飞行员学院的而培训效果并找出存在的问题，本文在计算指标的时候采用了模糊层次综合评价法。

[1]Kirkpatrick D.L.Techniques for evaluating training problems[J].Journal of ASTD，1959，13（11）：3-10.

[2]秦寿康.综合评价原理与应用[M].北京：电子工业出版社，2003.

[3]王莲芬，许树柏.层次分析法引论[M].北京：中国人民大学出版社，1990.