澳大利亚“基于能力本位的评估”模式及对我国高职教育质量评估的启示

匡红云

(上海第二工业大学 高等职业教育国际学院,上海201209)

0 引言

澳大利亚职业教育一直保持较高的质量和声誉,取得了世界公认的成功经验,这与澳大利亚“统一的国家资格框架、科学的能力标准体系、规范的教师培养体系、严格的‘基于能力本位的评估’(competence-based assessment,CBA)”这四大体系要素的成功建构密不可分。本文将对澳大利亚CBA模式进行引进和介绍,以期对我国的高等职业教育质量评估起到启示和借鉴作用。

1 澳大利亚“CBA”的内涵及特征

澳洲国家培训司在1999 年指出, 教育的结构和课程应该被看作是手段而不是目的。澳大利亚著名的“基于能力本位的培训” (competence-based training,CBT)把重点放在一个人在培训后“学会了什么”(结果)而非“怎么学”(过程);关注焦点从培训过程(输入)转向培训结果(输出)。关注培训结果导致高度重视培训结果评估的科学和有效性。CBT 与其他教育体系的不同之处在于,它的结果评价是建立在国家统一资格标准之上的,并通过制定评估计划及运用能力矩阵保障评估结果的科学性; 同时评估工具(如作业、测试、观察、情景模拟、第三方报告等)的多样性也对评估效度起到保证作用。

1.1 CBA 的内涵

评估是一个回顾和审查的过程并基于此形成对某人知识/技能的判断。评估有多种形式,包括学校系统的作业和考试、大学评估系统体育背景下的评估(如竞赛)、工作场所的评估(如求职面试、绩效评估、知识技能评估、资质评估)[1]。而CBA 是一个回顾和审查的过程并基于此形成对某人能力的判断——按照工作场所的要求持续一致地完成各种活动的能力。这种评估聚焦于一个人能做什么(“学” 的结果或能力), 而他们“如何学” 却并不重要; 评估的结果只有两种: 合格或不合格。澳大利亚“Standards for Registered Training Organization(RTOs)2015”对“能力合格”的定义是: 按照工作场所业绩要求持续一致地展示知识技能以完成一个任务,它包括“技能、知识、态度”3 个部分, 以及4 个维度:任务技能(完成单个任务)、任务管理技能(管理多个不同任务)、意外管理技能、工作环境技能及角色管理(团队合作/完成个人责任)[2]。

判断一个人的操作/表现是否“符合能力要求” 可以对照澳洲职业教育培训(vocational education training, VET) 系统的能力单元进行评估[3]。只有代表某个注册培训机构(registered training organization,RTO)具有资质的评估人员才可以开展CBA 活动。合格的评估者必须能理解和运用VET系统的资格框架(Australian qualifications framework,AQF) 和培训包。AQF 指出了3 大教育部门(中小学、职业教育、高等教育)在全国范围内被认可的的10 个资格层级。而培训包则包涵了构成不同单元、技能组、AQF 资格层级的能力标准。

高质量的能力评估意味着在评估的计划组织、评估工具发展和评估过程中都必须遵从4 个原则:有效性、可靠性、公平、灵活。有效性意味着,评估要覆盖到能力单元的所有要求和所有结果、系列知识/技能/基本技巧、知识技能的评估与实际运用结合的有效程度;有效证据必须来自多种场合、背景并且采用了的不同评估方式。

1.2 CBA 的特征

以学生/客户为中心是CBA 最显著的特征。在计划、组织、发展评估工具和实施评估行动时, 都要考虑客户的需求。评估者和被评估者是合作关系,后者可以就评估方法与前者进行协商,而前者应该在整个评估过程中指导和支持后者,因此双方必须具备有效的沟通技巧。

此外,评估要在真实或模拟的工作环境下基于证据进行, 并且证据要具有一定质量。高质量的证据必须符合以下要求①有效: 与所评估的能力标准相关;②充分: 证据要覆盖到能力单元的所有要求;③最新并且真实: 可被证实是被评估者自己的工作;④有信度:在一段时间内显示持续一致的表现。

2 澳大利亚“CBA”运作程序

2.1 对评估活动的计划

在开始评估之前必须先制定评估计划、回答“4W1H”的问题,即“何时(When)、何地(Where)、如何评估(How)、评估谁的(Who)、什么材料(What)”,以便向各评估参与方解释评估过程和评估逻辑,保障评估过程的一致性。一份评估计划要明确: 所需的能力单元和评估要求;所需要的证据;所需的评估活动和相应的时间安排;基于以上制作“能力-证据矩阵图”(能力矩阵图);开发评估工具。若所评估单元已有评估工具, 则需对其进行评估、作出必要的调整和完善。在选择所需搜集的证据时需以被评估者为中心,考虑其熟悉何种评估方式,最佳评估方式是在工作中同时进行还是在培训过程中进行。

2.2 设计/发展评估工具

评估工具是指完整地评估一个或多个能力单元所需的所有材料,它包括: ①记录以下内容的封皮:被评估者信息,评估单元名称,评估活动种类;②对评估双方的指导信息;评估材料包括证据及评分指导、评分表等评估要求;③评估结果及反馈意见的记录单;④能力矩阵图。常用的评估方式及材料包括: 观察(观察清单)、问问题(书面/口头测验)、情景模拟/实践任务(完成模拟/实践)、文件组合(文件清单)、第三方调查问卷、工作记录册、其他活动等。

发展评估工具首先要确定选择哪些评估材料制作能力矩阵图; 其次是制作记录各种信息的封皮和记录评估结果的清单; 最后是制作保证信度和公平的评分指导。“评分指导” 这份文件的主要内容有:提示评估者如何以定量手段判读被评估者的表现和他所提供的证据,以及如何管理评估活动,比如“告知被评估者他们应该如何完成测试问题、要获得通过必须满足多少条观察标准”;告知评估者“在情景模拟中如何引导参与者、为参与者提供何种资源”。如果没有这个评分指导,则可能出现不同的评估者对测试题给出不同的“通过”标准,或在实践工作中接受不同的行为绩效标准。

新制定的评估工具需要进行检查和测试以及进一步完善,以便和评估计划中的能力矩阵图中的相应信息互相契合。并根据组织的文件储存、复检、版本控制系统保存好最新版本,并定期对这些评估工具进行常规系统地检查、评估和进一步完善。这在评估程序第4 步中有详细描述。而在保证整个评估工具科学有效性的过程中,能力矩阵图发挥了最核心最关键的作用。表1 所示为《冲突管理》课程的能力矩阵图。

在整个能力评估开始之前、之中和之后, 评估者都要始终牢记对被评估对象予以支持。比如确保被评估者理解评估过程、根据评估对象的情况进行一些调整并给予其足够的时间为评估做准备、提供一个能保证被评估者身体和心理安全且无干扰的环境、回答被试关于正在进行的测试的疑问(但不是告诉他如何操作)。此外,评估者还要注意与评估对象沟通的技巧, 尤其是提问的方式。应当注意在不同情况下选择采用开放式、封闭式或探索性问题进行询问。评估的过程包括以下几步:

(1)准备工作与计划。在评估开始前,必须与被试就评估过程的以下几个方面进行讨论和确认。一是评估目的;二是评估的能力标准、评估活动,被评估者必须知道他们需完成哪些任务、要提供哪些证据、要达到哪些要求; 三是企业或机构的政策中关于评估的特别要求, 如结果对他人是保密或公开、被评估者可以受评估的次数; 四是评估程序与日期安排。

(2) 收集高质量证据信息。高质量证据信息包括对知识、技能、态度的评价证据。其中, 对知识的评估证据有书面测试成绩和实践中的知识运用情况, 而知识运用情况包括工作总体业绩、工作样板、操作理论检验。基于结果的评估非常重要。实际操作技能测试可用来测量个体在某些规范中的能力。虽然这种形式的评价比传统的书面测试难度更大,但这种评价形式有趣并且现实。态度对职业的影响与知识和技能一样重要。除态度的一般组成部分外, 态度还包括对客服务、客户交流及对安全的重视,这些可通过客户情感联结、敬业或个体价值观来表现。

(3)做出评估结论并反馈给被评估者记录结果、回顾评估过程。与“合格证据清单”作比对、做出评估结论。如果对被评估者的评价是NYC (不合格),评估者可以与被评估者讨论并制定后续行动计划,帮助其在下次评估时达到合格。被试不必重复所有的评估过程,只需对被判断为与能力标准存在差距之处进行补救,且评估方式可以与第一次不同。行动计划可以包括但不限于: 提交更多证据、修正或重新完成评估活动的一部分、继续学习和培训、转交至专家寻求支持、为存在差距之处安排新任务;或者调整方向以另一个能力层级标准进行评估; 同时还要将重新评估的时间地点和方式告知被试。

2.3 对“评估的有效性”进行评估

“对‘评估客户能力的过程’ 的评估” 指的是:RTO 对客户能力评估过程质量进行系统性、常规性检查和验证,包括查验评估工具是否提供了有效充分可信真实和最新的证据,通过对具有统计意义数量的评估样本的检查对评估工具提出建议。查验证可以发生在对客评估之前、之中和之后。评估开始之前,评估员可以参与到以下这些检查工作:RTO 的评估系统、客户能力评估计划、新开发或新修订的评估工具(最普遍的评估工作);在评估进行过程中发现有效性存在质疑点时则可以作出“评估调整”,如重新制作能力矩阵图、运用能力标准如证据清单帮助做出评估决定。

“对‘评估客户能力的过程’ 的评估” 可以发生在对客户能力评估开始之前、之中和之后。进行这样一种有效性的评估将有助于减少评估申诉和其他问题、赢得更多评估业务,满足《RTO 标准(2015)》对“完全刚性评估结果”的要求[2],还有助于帮助评估者获得职业化发展。因此RTO 必须将评估记录予以保存,包括评估的时间、目的、参与人员、评估方法、评估活动和相应的评估标准、评估结果、支持性文件如能力矩阵图等。

表1 《冲突管理》课程能力矩阵图[4]Tab.1 Matrix of competencies for the course of conflict management[4]

进行“对‘评估客户能力的过程’的评估”的途径有3 种: (1)就评估过程、工具、评估结果进行讨论;(2)对评估工具进行测试;(3)采取集体评估方式,并比较不同评估者给出的评估决定。整个过程开始于评估员获取并熟悉相关材料, 包括能力标准、评估计划、评估工具、相关培训包的应用信息、本次评估的标准(如“什么是好的评估工具”)。在积极参与评估活动和过程、对材料进行审阅并与标准进行比较和衡量后,做出同意/不同意其他评估人评估结果或提出改进建议的决定。如果与他人意见不一致,保持开放的心态通过讨论、合作来达成共识或第3种方案。以下是对一个评估工具有效性进行评估的范例,如表2 所示。

表2 “评估工具有效性”评估表[4]Tab.2 Evaluation of the effectiveness of assessment tool[4]

3 CBA 对我国高等职业教育教学质量评估的启示

目前我国所提的教学评估主要是对课程教学质量的评估,它主要是对“教师教学准备质量、教学过程质量和学生学习质量”三者进行综合评价[5]。由于缺乏正确的理念引领,我国的课程教学评估普遍以学科和教师为中心, 而非以学生为中心。评价指标关注“所评估知识的学科系统性” 和“教师教什么、教的怎么样”的评价(教学过程),而对学生“学得怎么样”(学习结果)这一“教育根本宗旨”是否被“有效和充分地实现”的评价却关注得不够。评估工具也显得较为有限、随意,普遍存在“理论知识考核采用卷面测试、实践技能考核则由任课教师自行参考制定考核标准”的现象。各高校各专业各门课程的教学质量评价指标和评估工具都是各自开发,无论从横向还是纵向对比, 互相之间都缺乏可比性。从全国来看则缺乏权威、统一的评价指标体系,容易造成教学质量评估工作中的人、财、物等社会资源的严重浪费。

反观CBA 的最大优点和突出特征: CBA 基于AQF 的能力单元来开发评估工具、制定能力矩阵,让评估材料的所有要求的任务与能力单元的所有能力一一对应,这就保证了评估材料能覆盖到能力单元的每一项;综合采用直接和间接证据及多种评估方式,有效保障了评估的科学性,以及评估结论在全国范围内的权威性、统一性、可比性。这也便利了被评估者在全国范围内的就业流动和职业发展。

这种系统化、科学性、规范性、权威性正是我国目前职业教育质量评估的短板所在。虽然CBA是澳大利亚各种RTO 为“主动申请资格评估者(客户)”所提供的一项收费服务,以对职业资格能力(包括知识技能和态度三方面)的评估为主,但仍然可以为我国高等职业教育的教学质量评估提供一定的参考意义。尤其在建立全国统一的课程能力单元、制作能力矩阵图、开发评估工具和进行评估工具的常规化系统持续改进方面值得我国借鉴。