远程职业教育绩效评价指标体系的设计

2015-12-22张琳,詹青龙

烟台职业学院学报 2015年3期

关键词：评价指标绩效评价

远程职业教育绩效评价指标体系的设计

张琳1，詹青龙2

(1.山西机电职业技术学院，山西长治 046000；2.天津职业技术师范大学，天津 300222)

摘要：随着我国远程职业教育的蓬勃发展，学习者的学习绩效问题日益引起人们的关注与争议。为保证学习者高质量高绩效的学习，借鉴了一些绩效评价模型和网络学习评价理论，初步设计了一套远程职业教育的学习绩效评价指标体系。

关键词：远程职业教育；绩效评价；评价指标

收稿日期：2015-08-13

作者简介：张琳(1986-)，女，山西运城人，山西机电职业技术学院助教，硕士；詹青龙(1970-)，男，湖北襄樊人，天津职业技术学院师范大学副教授，博士后，硕士生导师.

中图分类号：G720

随着经济的蓬勃发展，备受重视的职业教育面临着一些师资缺乏、设备匮乏和操作危险的问题，于是远程职业教育这种新型的教育模式迅速发展起来。在远程职业教育领域还没有一套具体的、针对性强的绩效评价指标体系，使远程职业教育客观评价学习者的学习情况没有统一的标准。因此，设计出一套具体可行的绩效评价指标体系，使远程职业领域的学习者能够得到更好的评价，学习质量可以得到更好的保证。

绩效评价指标是绩效评价的根本和依据，无论是对学生基本知识的评价，还是对学生实践技能的评价，首先都需要考虑建立一套合理的、科学的、适合于远程职业教育的评价标准，从而确定具体从哪些

方面对远程职业学习者的学习质量进行评价。对于远程职业学习者，由于学习者学习环境的特殊、评价的角度和评价的方式不同，评价指标也将是繁多复杂的。在制定绩效评价指标体系时，指标项的选择、指标权重的设计是评价指标体系的关键环节。

1绩效评价指标项的确定

参考文献根据指标设计原则，对大量进行总结，结合对专家的问卷调查结果，结合远程职业教育的特征和学习目标，设计出各项指标。如表1所示。

表1　远程职业教育学习者绩效评价指标

续表1　远程职业教育学习者绩效评价指标

上表中所列指标主要从学习者的学习行为、学习态度、习得技能、学习成果和学生发展五方面来进行设计，并进一步细分评价指标项，它能较全面地反映远程学习者的学习效果和操作技能。但由于每个学习者的具体情况不同，在实际的操作过程中，可以根据不同需要不同类别选取不同指标项进行评价考核。如有的学习者还没有进入工作岗位，则从除学生发展外的四项指标来对学生进行评价。

2绩效评价指标权重的确定

权重或称权数是指根据一项评价指标在整个评价指标体系中作用和地位的不同而赋予一定量的数值。权重对评价指标体系起着非常重要的作用，它反映了各指标之间存在的客观差异性，并通过数量上的规定尽可能使每项指标的重要程度刻画准确。同时，评价指标的权重也具有很强的导向性，学习者在学习的过程中，应该通过学习目标、绩效指标和权重的导向机制来实现。

参考文献评价指标项设计好之后，对大量的进行研究总结，再加上一些专家的建议，根据远程职业教育中各评价因素所起的作用和所占地位轻重的程度，对远程职业教育评价学习者的一级评价指标权重结果进行汇总，利用AHP法确定评价指标的权重，得出判断矩阵B，如图1所示。

图1　判断矩阵B

矩阵B中的值是由行/列得出来的。如矩阵中第一行的1/5是由学习行为/学习技能得到的，即学习技能比学习行为明显重要。

层次分析法计算的关键是计算出判断矩阵的最大特征根及其对应的特征向量，一般采用的近似计算方法有和积法、方根法等。本研究采用了和积法，权重的计算步骤如下：

1．计算两两比较矩阵中每一列和的值

bn1= b11+ b21+ b31+ b41 +b51=1+4++5+3+1/2=17/2

同理可得：bn2 =1/4+1+2+1/3+1/5=227/60

bn3=1/5+1/2+1+1/2+1/5=12/5

bn4=1/3+3+2+1+1/4=79/12

bn5=2+5+5+4+1=17

2．将两两矩阵比较矩阵中的每一项都除以它所在列的总和，得出的矩阵即为标准两两矩阵B1

3．将标准两两比较矩阵中的每一行的算术平均数计算出来，这些平均数即为其权重。

一级指标学习行为的权重a1=(2/17+15/227+1/12+4/79+2/17)/5=0.087

同理可得：学习态度的权重a1=0.222

学习技能的权重a1=0.426

学习成果的权重a1=0.207

学习发展的权重a1=0.058

4．对判断矩阵进行一致性检验

层次分析法(AHP)提供了测量判断矩阵的一致性程度，如果一致性达不到要求，需要进行重新审核并修改。

λmax的计算过程如下：

最大特征根λmax=(0.413/0.087+1.694/0.222+2.009/0.426+1.70/0.207+0.283/0.058)/5=6.037

5．由于对判断矩阵的一致性检验不符合条件，所以需要返回去重新设计判断矩阵。

然后根据层次分析法(AHP)的执行步骤按上述过程重新计算一级和二级指标的权重。如表所示。

表2　一级指标权重

表3　学习行为的二级指标权重

表4　学习态度的二级指标权重

表5　学习技能的二级指标权重

表6　学习成果的二级指标权重

表7　学习发展的二级指标权重

3绩效评价主体权重的确定

为了使远程职业教育中学习者的绩效评价结果全面客观，本文选取了多元评价主体。评价主体分别有教师、同伴、计算机、社会环境、学习者自身。对大量参考文献进行研究总结，再加上一些专家的建议，对远程职业教育评价学习者的学习主体所占的重要程度进行汇总，利用AHP法得出判断矩阵，如图2所示。

教师同伴计算机社会环境自我

图2　判断矩阵

然后根据上述步骤计算出各评价主体的权重，如表8所示。

表8　评价主体的权重

4绩效评价指标体系的确定

完整的绩效评价指标体系是由指标项和指标权重组成的。在指标项和指标权重都设置完成后，遵循指标体系的设计原则，一个完整的评价指标体系就确定了，如表9所示。

表9　远程职业教育绩效评价指标体系

5绩效评价指标体系的应用

绩效评价指标体系基本确立后，就可以根据权重对远程职业教育学习者进行评分考核。

①首先确定各项指标集

评价指标集：{学习行为，学习态度，习得技能，学习成果，学习发展}

指标权重集：{0.097，0.211，0.408，0.203，0.081}

评价信息量化集：{优秀，良好，一般，较差，很差}量化为{100，85，65，50，30}

评价主体及权重集：{教师，同伴，计算机，社会环境，自我}，{0.318，0.149，0.159，0.297，0.077}

②展开评价

按照评价指标体系进行评分，以评价信息量化集的形式表示。下面以评价指标体系中的“学习行为”为例展开评价，其他指标项的评价与此类似。

例如选取5名教师对张三进行评价，他们的评定结果为表10所示。

表10　对一级指标“学习行为”的评价汇总

张三在学习行为上的加权结果为：

为了能更直观地表示张三的评价结果，将加权结果转化为评价集的量化分数：

这只是计算出教师对学习者在学习行为方面的量化分数，还要根据各评价主体的权重，用同样的方法计算出在其它评价指标上的量化分数，最后对学习者做出一个客观的判断。

需要说明的是，绩效评价是一个评价主体多元化、评价要素多维度的方法，还有许多元素不是通过简单的计算就可以得出的，还需要在实际应用过程中采用适当的方法灵活应用绩效评价指标体系。远程职业教育绩效评价指标体系已基本建立，具体的实施还要根据实际情况配合其他的环节，如评价信息的收集、评价信息的处理等。只有当这些环节全部都做好准备，绩效评价指标体系才算完整的建立起来，才能切实地应用到远程职业教育中。

(责任编辑侯中岩)