管理开发效果评估指标体系的构建和应用

● 崔霞 葛鹏

管理开发效果评估指标体系的构建和应用

● 崔霞 葛鹏

本文采用文献研究、AHP、模糊综合评价等方法，在分析现状的基础上构建了一套管理开发效果评估指标体系，并实际应用于评估山东省某商业银行的管理开发的效果。这一体系应用性、操作性较强，对管理开发的效果评估工作有指导意义。

管理开发 效果评估 模糊综合评估

管理开发是一个由开发需求分析、开发设计、开发实施和开发效果评估组成的系统，如果说前三个环节的开展越来越受到企业重视的话。管理开发效果评估却远远落后于开发的脚步。企业对管理人员进行开发后没有对效果进行评估，大大降低了管理开发的意义，进而影响了企业的发展。而企业不重视管理开发效果评估的一个重要原因是缺乏一套科学的管理开发效果评估指标体系，看不到管理开发带来的实际收益。

本文采用文献研究、专家访谈、AHP等方法，分阶段解决指标标准的确定和指标权重的确定两个问题，尝试构建一个应用性较强的管理开发效果评估指标体系，并结合模糊综合评估方法对该指标体系的实际应用进行介绍。

一、管理开发效果评估指标体系的构建程序

1.文献综述和专家访谈，初步选取和汇总评估指标和标准。首先，通过阅读大量的文献整理和总结相关研究成果，了解管理开发效果评估的主要指标和标准,提出初步的构想。其次，准备访谈提纲，通过专家访谈法，进一步深入和完善管理开发效果评估指标和标准的初步构想。最后，总结出企业关注和使用的管理开发效果评估指标问卷。

2.问卷调查和处理，进一步确定评估指标。根据总结、提炼的指标项，编制“管理开发效果评估指标问卷”，对有关管理人员进行问卷调查，并运用SPSS统计软件进行统计分析，了解其中真正为企业所关注的管理开发活动的效果评估指标。

3.指标体系的初步建立和检验。采用主成分分析、方差检验筛选出企业普遍认为重要的指标，并分析每一因素中的共同特征，对各因子进行命名，初步构建一个管理开发效果评估指标体系。

4.采用AHP方法，分配指标权重，形成完整的效果评估指标体系。

二、管理开发效果评估指标的选取和指标体系的初步建立

本文在国内外相关文献研究的基础上，整理总结了大量管理开发效果评估的研究成果，预选出符合指标体系构建目的和原则的29个有代表性的指标；在专家访谈的基础上，丰富完善为36个指标；对文献研究和专家访谈形成的管理开发效果评估指标，我们又通过问卷调查和因子分析，形成了初步的指标体系。

36项管理开发评估指标可以归为三大类八种，分别命名为：（1）准备类评估指标：需求与战略；（2）过程类评估指标：课程（内容）、手段和方法、师资的选择、开发的保障、开发对象的特点；（3）结果类评估指标：个人学习效果和组织绩效效果。

三、管理开发效果评估指标权重的确定

在确定管理开发效果评估指标基础上，本文以层次分析法（AHP）为基础建立数学模型确定各指标的权重。为确定指标的权重，我们设计了AHP问卷。将问卷发放给上述7位专家，并回收7份问卷；采用YAAHP0.5.2软件对7份专家问卷进行了处理。

（一）管理开发效果评估指标模型建立

根据初步构建的管理开发效果评估指标体系，画出层级结构模型，如图1。模型共计五层：总目标（A）、目标层（B）、准则层（C）、子准则层（D）、方案层（E）。

（二）构造判断矩阵

前面我们已经构建了递进层次体系，确定各个指标之间的隶属关系，以此为基础构建判断矩阵。判断矩阵用来表述每一层次的各要素相对于上层要素的重要程度，例如判断矩阵:

式中：aij表示针对上层元素而言，属于同一上层的要素i相对于要素j重要程度的数值，即重要性的标度。通常aij取1，2，3，…，9及他们的倒数，含义为：

aij=1表示因素i与因素j相比，具有同样重要性；aij=3表示因素i与因素j相比，稍微重要；aij=5表示因素i与因素j相比，明显重要；aij=7表示因素i与因素j相比，强烈重要；aij=9表示因素i与因素j相比，极端重要；2，4，6，8表示重要性是介于上述两相邻判断数值的中值。其中aij>0,aij=1/aij，aij=1。

我们根据评估模型一共构建了15个判断矩阵，分别由7个专家填写。我们以专家1为例，专家1的B2：C2-C6矩阵参阅表1。

表1中的3代表相对于B2指标，C2比C3稍微重要，1/2表示C3比C5低于稍微不重要（也就是C5比C3高于稍微重要）。

表1 专家1 B2：C2-C6权重矩阵

（三）专家个人层次单排序及其一致性检验

1.输入判断矩阵

将上述判断矩阵根据软件的提示输入相关数据。2.B2:C2-C6矩阵层次单排序

在判断矩阵输入完毕以后，计算判断矩阵里下层指标相对于上层指标的权重，例如，表1就可以计算C2、C3、C4、C5、C6对于B2的权重。该权重如图2所示。

在图2中，最后一列Wi就是C2-C6各自对B2的重要性的权重：分别是25.13%、26.84%、16.84%、21.41%、19.77%。

3.B2:C2-C6矩阵一致性检验

根据图2，软件计算出该判断矩阵能不能通过一致性检验。该专家的B2:C2-C6矩阵通过了一致性检验。以此类推，对该专家的所有判断矩阵完成上述操作，就进入下一步的层次总排序。

（四）专家个人层次总排序

点击软件左上方的“计算结果”，软件就会自动计算出方案层所有指标对于最高层目标的权重，如图3。

（五）层次权重汇总以及权重的确定

对所有的专家的判断矩阵按上述步骤进行处理，由于不同专家之间对于各指标的评估可能存在较大的差异，因此需要对各位专家的权重进行聚类分析剔除掉相对离散的专家的权重值。

根据公式(Pmax-Pi)/Pmax×100%进行专家意见的聚类分析。公式中P的计算方法如下：

根据经验，利用聚类分析淘汰专家的比例控制在20%-30%为好。

根据公式Di=(Pmax-Pi)/Pmax×100%。当Di>4%时，该专家的意见将被淘汰。

最后对剩余所有专家的权重值取平均值就得到了我们这个指标体系的各层次权重。

本文采用EXCEL软件进行了Di的计算，计算结果如表2。

表2 专家意见聚类分析表

最后一列就是我们需要的Di，去除最后两列后得到的矩阵即为R矩阵，根据最后一列可以看出所有专家的Di值都小于4%，专家的意见基本一致，不需要进行剔除。

三、管理开发效果评估的指标体系的确立

依据上述步骤和过程，计算出7位专家的权重处理结果，取平均值就可得到最终的权重结果，形成了可操作性强的“管理开发效果评估指标体系”,如图4所示。

图4 管理开发效果评估指标体系

四、基于模糊评估方法的管理开发效果评估指标体系的应用——以山东省某商业银行为例

我们运用模糊综合评价的方法，选择山东省某商业银行，对其管理开发效果进行评估，以说明如何在实践中应用构建出的评估指标体系。

模糊综合评价过程一般包括五个步骤：（1）建立评估因素集；（2）建立评估因素权重集；（3）建立评判集；（4）进行单因素评价；（5）进行综合评价。

前面我们使用AHP方法建立了完整的效果评估体系，即已完成了（1）、（2）两大步骤，在此基础上使用模糊综合评价的方法，可以对企业管理开发效果做出准确评价。

1.单因素评价

给出模糊值映射：

f(ui)=(ri1，ri2，…，rim)缀F(V),i=1,2,…，n。其中f(ui)是关于因素ui的评语模糊向量，rij示关于ui具有评语（标准）vj的程度。

在本问卷的分析过程中，V=（v1，v2，v3，v4，v5）其中v1表示“非常弱”，v2表示“比较弱”，v3表示“一般”，v4表示“比较强”，v5表示“非常强”。

2.由f导出U到V的模糊关系——综合评判矩阵R=Rf=(rij)n×m。

对于第一个指标“开发目标明确”，B银行的问卷分析显示：比较强的占33.3%，一般的占16.7%，比较弱占50%，因此得到：

v1=（0，0.5，0.167，0.333，0）

按照此方法依次计算，从而得到各个单因素评价合成的评价矩阵。

3.综合评价

对于因素集U上的模糊向量a(a1，a2，…，an)，n=36，通过R变换为评语集V上的模糊集b=a·R=(b1，b2…，bm)，m=5，其中

在本问卷的计算中，a=(a1，a2，…，an)，n=36，代表各个指标的权重(指标体系中底层指标的权重)。计算完成后得到b。

然后由于问卷评语中，非常强代表5分，比较强4分，一般3分，比较弱2分，非常弱1分，我们将其假设为δ矩阵：δ=(1，2，3，4，5)。

根据计算结果，发现B商业银行的管理开发效果得分3.745，处于5分制的一般水平和比较好之间（3-4分之间）。因此我们可以得出结论：该商业银行管理开发效果一般。这个结果与我们访谈的情况也基本一致，因该商业银行2007年刚刚成立，管理开发计划和实施正在进行和完善中。这一定量和定性相结合的管理开发效果评估指标体系的应用，让管理者看到了该银行两年多管理开发投入的成效，并且通过指标体系的应用能进一步总结经验和问题，提高管理开发的投入产出效益。

1.Richard A.Swanson,Elwood F.HoltonⅢ,Foundation of Human Resource Development EISBN:1-57675-075-2,Copyright 2001 By Berrett-Koehler Publishers,Inc.

2.[美]赖尔·约克斯著，胡英坤、孙宁译:《战略人力资源开发》，东北财经大学出版社,2007年版。

3.萧鸣政：《人力资源开发的理论与方法》，高等教育出版社,2004年版。

4.雷蒙德·A·诺伊：《雇员培训与开发》，中国人民大学出版社,2002版。

5.熊敏鹏、杨小东：《基于平衡计分卡的培训效果评估初探》，载《中国电力教育》,2007年第6期。

6.陶祁、王重鸣：《管理培训背景下适应性绩效的结构分析》，载《心理科学》,2006年第3期。

7.王鲁捷、钟磊、孙启霞：《企业培训绩效综合评价指标体系研究》，载《中国培训》,2002年第12期。

8.周勇、张燃：《企业人力资源开发培训评价模式研究》，载《煤炭经济研究》,2001年第8期。

9.晏秋阳,曹亚克：《企业员工培训效果评估模式的探讨》，载《江西行政学院学报》,2002年第z1期。

10.陈卫：《企业培训的绩效评估》，南京航天航空大学,2006年。

11.肖娟：《培训效果评估方法及其应用研究》，南京理工大学,2007年。

12.曹如玲：《中小企业管理培训效果评估模型研究》，中山大学,2008年。

（作者单位：华东师范大学，山东财政学院）

■责编 韩树杰 Tel:010-88383907 E-mail：hrdhsj@126.com