高校教师远程教学胜任力评估体系构建

[摘 要] 灰色系统分析是对“部分信息已知，部分信息未知”的不确定对象进行量化，通过少数据建模实现对系统运行规律的正确描述。利用灰色系统分析方法，能够很好地解决教师胜任力评估面临的“小样本”、“贫信息”的难题。基于高校教师远程教学胜任力模型，通过灰色关联聚类提取远程教学胜任力评估指标的层级，利用层次分析法确定评估指标的单一权重和组合权重，构建了远程教学胜任力评估指标体系。在此基础上，通过评估案例，说明了模拟行为测试、公文筐测试和案例分析3种情境化测评工具的设计方法，展示了利用灰色关联分析和灰色综合评价方法分析群体胜任力排序与等级评定的基本过程，阐释了胜任力评估报告的构成及其含义。

[关键词] 远程教学； 胜任力评估； 灰色系统分析

[中图分类号] G434 [文献标志码] A

[作者简介] 周榕（1976—），女，陕西西安人。讲师，博士，主要从事远程教育、教师能力发展研究。E-mail： rzhouet@163.com。

一、胜任力模型与胜任力评估

现代人才测评理论指出，能力评估体系应满足以下要求：（1）能明确指出要达成的行为标准；（2）能以数量化的证据衡量目标是否达成；（3）指标在现实条件和付出努力的情况下能够被执行；（4）能以多角度和多种方法完成。[1]达到这一要求的首要前提是能力评估内容必须包含显性观测成分、具备多场景适应性以及具有量化分析的可能。胜任力是能将某一工作表现优异者与平平者区分开来的个人潜在的、深层次特征，它可以是动机、特质、态度、知识、认知或技能等任何可以被可靠测量或计数的个体特征。[2]这些特征共同构成胜任力模型，使其具有显著的行为关联、可测评、可量化和综合化特性，为胜任力评估体系建立提供了最重要的參考。

首先，胜任力模型反映了影响个体获得成功绩效的所有要素，而胜任力评估正是“评判个体是否具备在特定角色上获得优异绩效的要素及其水平”。[3]显然，将胜任力模型中界定的胜任力直接选取为胜任力评估指标，具有逻辑上的合理性与继承性；其次，胜任力模型中每个胜任力都包含1个核心定义和3～5个行为等级，分别描述了从基础水平到理想化水平的各种典型行为表现。这些行为等级能够为判别被测者的行为水平提供更具体、更详尽的观测依据和评判标准，从而提高评估的准确度；第三，胜任力是基于工作情景、在已经获得了优质绩效的典型行为中抽取并通过严格的量化统计方法产生的，最大限度地避免了假想的成分，使胜任力评估体系具有更高的现实意义和应用价值。

目前，国内已有学者在构建胜任力模型的基础上开展胜任力评估研究，但仍鲜有针对远程教育教师胜任力评价的系统化论述。笔者曾结合国内外对于远程教育教师角色定位与能力描述的相关研究成果，采用实证研究方法，对远程教学高绩效教师与普通绩效教师的胜任表现进行差异检验，并通过大样本的问卷测试进行交叉验证，最终构建了高校教师远程教学胜任力模型。[4]本研究则基于该胜任力模型，利用灰色系统分析方法，尝试构建高校教师远程教学胜任力评估体系。

二、评估体系研究的方法框架

高校教师远程教学胜任力评估体系的建立必须解决好四个核心问题：（1）评估指标结构设计，即厘清一级指标、二级指标含义及其对应关系；（2）各指标项的权重分配，即各指标项在胜任力整体评估中的相对重要程度；（3）评估方式的设计，即胜任力评估的工具与方法；（4）评估结果的量化处理，即胜任力评估结果的诊断与结论形成。而无论哪种设计或处理，科学性都是必须满足的首要条件。否则，评估体系非但不能在胜任力评估中达到促进绩效的作用，还可能会伤害教师开展远程教学的热情。

然而，胜任力评估（乃至能力评估）研究普遍存在两大关键难题。首先，评价研究往往采用特尔斐法或小范围的重点调查，以便获得具有代表性的意见。然而，这种小样本数据非常容易因为个体差异而大幅降低结论的信度。更重要的是，个体能力表现既包含各种外显行为，更涉及态度、意识等内隐心理活动。即使胜任力已经尽可能全面地阐释与高绩效相关的心理特征，仍有相当一部分经验性、情境化的心理信息难以获知，无法保证结论的结构效度和内容效度。

灰色系统理论正是以“部分信息已知，部分信息未知”的“小样本”、“贫信息”的不确定系统（即灰色系统）为研究对象，通过对部分已知信息的“少数据建模”，实现对系统运行规律的正确描述。[5]这无疑为解决胜任力评估难题提供了最佳途径。灰色系统分析包含以分析、评估、建模、预测、决策、控制、优化为主体的技术体系，本研究中主要运用以灰色关联空间为基础的三种方法（如图1所示）。

1. 灰色关联聚类

灰色关联聚类能够根据灰关联矩阵将观测指标聚集成若干个类别，利用同类因素的综合平均指标或者代表性指标来定义某一类别而不会遗失重要信息。经典的聚类分析方法如层次聚类、密度聚类、栅格聚类和模型聚类等在运算时必须首先设定参数，这对于无经验的应用者而言是较为困难的。灰色关联聚类的应用则无须先验性知识，对样本的数据量以及统计分布规律没有特殊的要求，借助Excel或Matlab软件亦可以简化运算过程。利用灰色关联聚类，可以归并胜任力评估指标的同类因素，提取评价指标层级。

2. 灰色关联分析

排序是胜任力评估结果处理的主要形式之一。传统的排序方式是根据评估指标权重对被测者的原始得分进行加权运算，并依据计算结果进行数值比较，是一种绝对排序方法。然而，判定某项胜任力达到何种程度从而给出分值的过程具有相当的复杂性和主观性，简单的加权运算无法有效地抵消因评判者的主观偏爱、认知能力等造成的偏差。灰色关联分析依据评估指标的样本数据，通过各指标之间、各级指标与总指标之间的灰色加权关联度大小，判断指标评判结果的相对次序，客观性强而运算量小。

3. 灰色综合评估

等级评定是胜任力评估结果的又一主要处理方式。由于评估指标权重具有非对称性，易造成权重较大指标对最终评判结果的“单因素控制”现象，影响评判效果。灰色综合评估建立灰色评价权矩阵来最大限度地综合各指标对结论的影响，通过将已知信息“白化”来降低人为误差，可以取得比模糊综合评价更准确的等级评定结果。

三、 远程教学胜任力评估体系构建

尽管高校教师远程教学胜任力模型界定了远程教育主讲教师的11种通用胜任力和3种岗位胜任力，描述了每一项胜任力的含义、相关特征集以及1～5级行为等级，却并未揭示胜任力之间的比较关系。因此，胜任力评估体系的构建着力于确定评估指标的层级结构及各层指标的权重。

（一） 评估指标及其层级提取

1. 评估指标及其含义

根据胜任力模型与胜任力评估体系的逻辑继承关系，胜任力评估指标直接从远程教学胜任力模型中选取（胜任力筛选过程在构建胜任力模型时已有详尽阐释，此处不再赘述）。14项远程教育主讲教师胜任力经过修订后，可初步划分为3个模块。第1模块包含对高校教师的基本胜任力要求，如责任感（X1）、学科素养（X2）、课程设计（X3）、讲授技能（X4）和学习评价（X5）能力，并特别强调其在远程教学情境中的典型意义。例如，“责任感”关注教师在面临师生异地、网络异常、技术障碍等各种困难时持续投入教学的意识和努力程度；“学科素养”则特别增加了对学科远程教学经验以及学习资源占有的要求。“课程设计”侧重考查能否制定有效的远程教学整体实施方案；“学习评价”则强调对采用个体或协作方式完成的远程学习过程与结果进行评价和预测的能力。特别指出的是，尽管远程教学中讲授活动已相对弱化，然而无论是在网络课程、MOOCs抑或是微课程中，教师授课视频都仍旧是重要的资源形式。因此，远程教育教师应当具备在远程环境中（特别是在无法对学生反应进行即时观察的录播室环境中），通过对节奏、时间、语言等的合理控制，有效阐释教学内容的“讲授技能”。

评估指标第2模块涵盖远程教学模式、机制和技术环境对教师能力的新要求。教师需要具备在网络环境中获取、加工和发布教学信息的“信息素养”（X6），以及加工、制作多媒体教学资料，并使其符合远程教学规律、视听规律、技术标准和富有感染力的“媒体表达”（X7）能力。此外，教师还应能够完成对远程教学模式的性质、特点、规律、现状与发展进行分析、预测和评价等“模式认知”（X8）行为，拥有利用技术手段建立和维持各类教学交互，帮助学生建立协作团队和社交网络的“交互能力”（X9）。同时，远程教学更容易产生诸如学习沉淀、交互冷漠、技术阻塞等各种不良教学问题，需要教师诊断、分析与决策的“问题解决”（X10）能力，而问题解决往往需要教师与网络技术人员、教学支持服务人员的 “团队协作”（X11）来完成。

评估指标第3模块关注教师的个人发展能力。优秀的高校远程教育教师能够在远程教学中发挥自身优势，从而获得由观念、方法改进带来的“自我效能”（X12），能够通过对远程教学知识管理和能力管理形成“自我提升”（X13）的长期策略，并且具备研究远程教学问题，建立远程教学的独特方式并进行创新性探索和应用的“创造性思维”（X14）。

值得注意的是，在实施教学的过程中，一种胜任力可能会与多个胜任力存在不同程度的相关性。例如，“责任感”可能体现为在“课程设计”时基于对学习困难的预测而主动完成多种教学方案的设计，可以体现为在“学习评价”时坚持关注学习滞后者，也可以表现为在“问题解决”时持续的教学努力和技术尝试。因此，应当通过对评估指标相关性的量化分析，重新确定指标归类及其层级。

2. 评估指标层级提取—灰色关联聚类

（二）评估指标权重的确定

层次分析法（AHP）将经验认知与理性分析相互结合，利用思维过程的数量化大大降低主观因素对结论的影响，因而在权重运算中获得广泛的应用。由于AHP同样适合于评价结构复杂、难以量化的对象，亦有大量将灰色系统分析方法与AHP方法结合应用的研究案例。

1. 构造模糊判断矩阵

模糊判断矩阵表示针对某一特定评估指标，其下层各指标之间相对重要性的比较，其重要程度用萨蒂9级标度法来描述（标度1表示两者同等重要，标度9表示前者较后者极端重要。若后者较前者重要，则分别用1/3、1/5、1/7、1/9表示，标度2、4、6、8或1/2、1/4、1/6、1/8表示相邻两标度的中间值）。通过电子邮件方式，请8位远程教育专家分别对高校教师远程教学胜任力的一级指标和二级指标进行重要性评判，可获得32个二级指标判断矩阵和8个一级指标判断矩阵。

2. 层次单排序一致性检验

3. 层次单排序与指标单一权重

4. 指标组合权重与总排序一致性检验

针对末端指标，单一权重仅显示该指标相对其上一层某因素的分离权重，若要获得该指标相对总目标的权重，则需计算其组合权重。令A层对总目标U的权重向量为WU→A，B层各指标对A层的权重向量为WA→B，则B层各指标对总目标的组合权重为WU→B=WU→AWA→B。通过向量计算，可得到各二级指标的组合权重（见表2）。

四、高校教师远程教学胜任力评估案例

（一）情境化测评工具设计

胜任力的情境化与综合性特点要求必须采用多维能力测评技术。评价中心（Assessment Center）运用多种方法来观测被评价者的综合表现，从而有效评价岗位才能和发展潜力。[6]它具有情景模拟、多元测评和标准化程序的突出特点，与胜任力的优势高度契合，因此成为最主要和最恰当的胜任力评估方法。评价中心使用的测评工具均是情境演练工具，即通过对实际工作任务的再现或者高度仿真来获得被测者的行为反应。笔者结合高校远程教学实践，选定模拟行为测试、公文筐测试及案例分析等3种测评工具，对其测评内容与评分标准进行了设计。

1. 模拟行为测试

模拟行为测试是利用高度情境化的测试题目，由被评者预测自己在某个特定情况下最有可能完成的行为，从而判断其知识、技能和态度水平，适合于较大规模的群体评估或者为胜任力培训需求分析而进行的前测。在构建胜任力模型时主要采用的行为事件访谈法（Behavioral Event Interviews，BEI），即是要求高绩效教师回顾自身曾经面临的挑战性的远程教学事件，分析当时的情境、任务、行为表现以及反思，从中抽取能力特征，并且将不同程度的行为反应分别定义为该胜任特征的1～5级行为等级。如果采用逆向思维，将行为事件访谈时收集的典型事件作为情境性问题、将行为等级水平作为各种可能的行为选择，就能够得到符合远程教学实际并且有代表性的行为测试题目。例如，针对“问题解决”胜任力的测试题设计为：“如果在远程教学过程中，由于突发的问题导致教学无法顺利进行，此时你将会？”5个备选项分别为：A.暂停教学，分析原因，通知并静待相关人员解决问题；B.完成可能的教学活动，其余部分静待相关人员处理；C.完成可能的教學活动，并主动配合相关人员处理问题；D.完成可能的教学活动，并向相关人员提出解决问题的建设性意见；E.完成可能的教学活动，并在相关人员到来前积极尝试其他的教学方案。若被评者选择A，则认为其该项胜任力行为等级为1级（基本的问题分析），得分为1；若选择E，则行为等级为5（主动的尝试与问题解决），得分为5。借助网络测试问卷，笔者完成对5位教师14项胜任力的模拟行为测评，获得各项胜任力的综合得分矩阵C。

2. 公文筐测评

公文筐是向被测者提供特定岗位需要处理的典型文件，要求其在规定时间内给出处理意见，并解释处理的理由和标准。[7]对于远程教育教师而言，最典型的公文筐是针对某个知识主题提出的教学设计方案或者教学素材的样本。

3. 案例分析

案例分析是为被测者创建典型的问题情境，要求对情境中的关键问题提出解决方案，从而考察其在综合事件处理中体现的胜任力结构，一个案例分析可以侧重于3～6项胜任力的测评。评估时，笔者向5位被测者提问“某某同学在远程学习过程中经常出現长时间不登陆学习平台、不积极参与小组讨论以及延误提交作业等情况，并抱怨说网上学习很枯燥、无法及时与老师交流，请为该同学提出详尽的个性化教学方案”。

（二） 评估结果处理

依据个体胜任力综合得分，能够对被测者各项胜任力的等级作出基本判断，并且获知个体的胜任力等级分布情况。然而对评估组织者而言，往往还需要了解群体的胜任力水平，如群体内胜任力总排序、针对某个特定胜任力的群体内排序以及群体胜任力等级。

1. 群体胜任力序列评估——灰色关联分析

（三）生成胜任力评估报告

1. 胜任力评估参照系确定

胜任力评估可采用效标参照系或标准参照系，分别以同类被测者的平均水平或评估组织单位设定的胜任力水平作为标准来诊断被测者及其群体是否达标。由于每个胜任力均包含5个行为等级，因此评估组织单位可以对胜任力的门槛等级水平进行动态调整，以便适应能力需求的变化。笔者选用标准参照系，个体胜任力达标水平设定如表6“标准分值”所示，群体胜任力评估达标等级设定为2。

2. 胜任力评估报告解析

胜任力评估报告由被测者个体胜任力测评结果、群体胜任力测评结果以及综合评价3个模块构成。表6为被测教师X的胜任力评估报告。分析可知，被测者X具有较好的信息素养和计算机水平，能够加工和制作符合标准多媒体教学素材，并且善于利用网络工具与学生建立积极的互动关系。同时，该教师有着强烈的责任感，能够积极通过团队协作来解决教学异常问题，并借此获得较强的教学成就感与专业发展动力。但是该教师对远程教学的特点和基本规律认识尚待完善，在学习过程控制和远程教学经验等方面有所欠缺，因而远程讲授以及远程学习评价能力相对较弱。与其他教师相比，该教师胜任力总体处于中等水平，信息处理与交互能力较强，教学能力中等偏下，需要进一步提升。

评估组织者能够通过胜任力评估报告得知教师群体是否胜任远程教学岗位；哪些个体需要特别关注（根据胜任力序列评估结果，排名靠后者A教师应引起注意）；哪些胜任力需要通过专门培训来大力加强（当某项胜任力的平均分值低于标准分值时，说明多名教师的该项胜任力未能达标，此胜任力应为后续培训的重点）。这些信息将为教师远程教学培训体系规划以及评价体系的动态调整提供重要依据。

五、未来研究

未来高校教师胜任力评估体系仍需要不断地优化和完善。首先，灰色系统建模和计算方法的部分细节不尽完美。例如，计算灰色关联度时分辨系数？孜的取值不同（通常选择经验值0.5），会出现不同的关联序列，分析结果不具有唯一性。又如，灰类的白化权函数通常确定为一次函数，这使得白化函数值具有常值增长率，但在现实中事物可能会在达到阀值后就不再增长。目前，一些学者从不同的角度对改进灰色分析方法提出建议，[8][9]这显然应当成为未来优化远程教学胜任力测评技术的重要内容。

其次，笔者希望能够在两个维度上不断拓展远程教学胜任力评估体系的应用场域。横向维度上选择有代表性的高校教师，建立足够规模的样本，利用评估体系和情境化测试工具，测定全部样本的个体胜任力等级以及群体胜任力的等级与排序，并且对评估结果进行导出规则的界定，从而获得高校教师远程教学胜任力的常模雏形。纵向维度上，建立基于诊断的胜任力培训体系。依据胜任力测评报告，分析被测者的个性化培训需求，并为其推送相应的培训内容。其中，胜任力诊断结果与培训资源的匹配关系是研究的核心。

第三，利用远程教学胜任力测试平台来优化测评过程。测试平台应具有以下基本功能：（1）支持教师自主完成模拟行为测试；（2）提供公文筐测试和案例分析的测试内容样本；（3）支持公文筐测试及案例分析结果的专家评估与同伴评估；（4）完成测评结果的灰色关联分析与灰色综合评价；（5）生成胜任力评估报告；（6）收集胜任力评估体系改进意见。

[参考文献]

[1] Rakesh S.， Jyotsna B.. Talent Management-Competency Development：Key to Global Leadership[J]. Industrial and Commercial Training， 2009，41（3）：118～132.

[2] Dee H..The Core Competency Model Project[J].Corrections Today，2001，63（7）：154～160.

[3] Rebecca R.L..Development of A New O & M Clinical Competency Evaluation Tool and Examinationof Validity and Reliability Evidence [EB/OL].[2013-12-26].http：//d-scholarship.pitt.edu/7167/1/RenshawETDDissertationApril162010.pdf.

[4] 周榕.高校教师远程教学胜任力模型构建的实证研究[J].电化教育研究，2012，33（11）：86～92 .

[5] 刘思峰，谢乃明.灰色系统理论及其应用（第6版）[M].北京：科学出版社，2013.

[6] [7] 殷雷.评价中心的基本特点与发展趋势[J].心理科学，2007，30（5）：1276～1279.

[8] 东亚斌，段志善.灰色关联度分辨系数的一种新的确定方法[J].西安建筑科技大学学报（自然科学版），2008，40（4）：589～592.

[9] 王永刚，胡开元.一种基于改进灰色聚类分析的综合评价方法[J].中国民航大学学报，2010，28（1）：48～51.