APP下载

授权评价在高职课程评价中的应用与反思*

2021-01-06孙芳芳

关键词:参与者指标评价

孙芳芳,杜 鹰,吴 楠

(河北科技师范学院 职业教育研究院/河北省职业教育研究基地,河北 秦皇岛 066004)

质量评价不仅仅是经验的总结和反思,更需要在科学的理论指导下,运用相关技术和方法予以保障。传统的职业教育质量评价基于科学范式,强调统一和量化,难以满足多元化的教育需求。当前,关于高职学院课程评价的研究,大多集中在理论探讨层面,基于先进理论开发评价工具并付诸实践的研究非常匮乏,在一定程度上制约了高质量的专业建设与课程改革。本研究采用北京师范大学开发的“授权评价”作为自我评价工具[1],对高职学院“后期影视制作”这一课程(同时也是“学习任务”)进行自我评价。“学习任务自我评价”(Sebstevaluation für Lern-und Arbeitsaufga-ben, SEV-ALAG)是由德国不来梅大学开发的针对任务引领课程的授权评价工具,它是一个内部质量诊断手段,也是课程监控与评价体系的重要组成部分。在现代职业教育中,学习任务的质量是课程质量的重要体现。研究基于授权评价理念,由利益相关者共同寻找问题和解决问题,以期帮助职业学院教师掌握自我评价法对课程进行自我诊断,进而不断改善课程质量。

一、评价范式的转变

按照著名管理学家古贝和林肯的理论,(对公共事业的)评价在经历了“测量”“描述”和“判断”三个时代后,正在向“建构”时代发展,即所谓的“第四代评估”。前三个时代的评价强调价值统一、科学调查和行政管理,属于外部评价范畴,“传统评价”范式[2]1-14。第四代评估,即建构时代(或建构主义)评价的基本理念由于更加关注现代社会的多元价值需求,被认为是解决前三代评价无法解决的难题的有效途径。

在高职院校扩招的大背景下,高职受教育群体更加多样化,现行的科学主义范式与不同学习者呈现的需求之间的矛盾是必然的。职业学院具有很强的非营利性组织特点,其办学者、管理者、教师、学生和家长、企业和行业、媒体以及社会公众等不同群体对教育质量有不同期许,复杂的需求主体决定了很难以用单一的线性管理模式对教育组织进行评价。第四代评估秉承系统化和持续改进的质量观,在多元社会中更具合理性,被认为颠覆了传统评价理念和模式。然而,我国教育教学者习惯于接受自上而下的管理式评价,即外部评价,对于如何开展以需求为导向的内部评价仍然处于茫然状态。研究以“授权评价”作为自我评价的抓手,旨在为高职学院提供可行的操作性方案和技术支持,帮助学校能够及时准确地掌握项目运行状况。笔者通过对某高职学校课程“后期影视制作”这一学习任务进行评价,以说明其应用过程和效果。

二、自我评价的重要实现手段:授权评价

(一)授权评价内涵

“授权评价”(Empowerment Evaluation,简称EE)的概念由美国斯坦福大学评价专家费特曼于1993年在美国评价协会年会上首先提出,其基本内涵是:“通过系统化的思维方式,改变被评价者依赖和受他人控制的角色地位,帮助参与者提高自我决策的能力。”[3]后来,其团队成员万德斯曼等将其内涵进一步拓展为综合运用质性和量化研究的系统化评价程序,他指出评价就是在“期望实现的结果和实际达成结果”寻找差距,从而弥补差距,形成持续改进的循环过程[4]。

授权评价应用在职业教育领域,以“质量改进”为核心,根据先进评价理论、方法和技术,通过项目利益相关者代表共同参与评价活动,在相应的技术支持下,系统地获得职业教育质量的信息,在此基础上对潜在的问题进行深度解释、协商、讨论,评价结果力求达成共识或基本共识,满足多方利益主体的需求,进而改善教育质量。

(二)授权评价的理论基础

授权评价的重要理论基础是第四代评价理论。“第四代评价” 作为西方主流的评价理论, 自诞生之日起就震惊了整个评价领域。第四代评价的核心思想和方法是“建构”,属于自然主义或解释性范式,在建构主义范式下,评价者和被评价者是平等的关系,二者的共同目标是寻找教育实践中的“早已存在的问题”,这一寻找的过程需要参与者充分发挥主体性和互动性基本思想,其特点表现在:第一,心理建构。评价不是描述“客观”状态,而是利益主体与其他“人”与“物”交互形成的一种“心理活动过程”,从而对自己的原有理解形成新的认知。第二,价值协商。有效的评价是缩小分歧、取得共识的过程,这只能通过宽松、民主的环境来实现,而不是上级的“强制命令”。第三,应答模式。对利益相关者的主张采取应答模式,每个人都有机会表达意见,其他参与者对此做出应答,从而增进交流效果,消除官僚倾向并满足多元需求。第四,关注资源和过程。信息技术的发展使有形和无形资源变得更加重要,针对不同学习过程的特点进行评价需要基于资源的支持保障。第五,结果认同。评价不是对某一事实得出的鉴定结果,而是评价参与者对评价对象状况交换的意见和认同的结果。评价可能达成共识,也可能产生更多的问题,这些问题是下次建构的逻辑起点[2]132-140,质量改进就是在这样循环往复的过程中实现的。

关于评价与评估的内涵,目前并无统一表述。一般认为,评估的对象是较为宏观的项目,而评价对象则相对较为微观,但二者内涵相近,经常混淆使用。基于此,本研究使用评价这一用法,对于文中出现的“第四代评估”的概念,是直接采用了秦霖、蒋燕珍对专著FourthGenerationEvaluation的中文译法[2]3。

(三)授权评价的应用案例

1.评价准备

在正式评价开始前,研究者制定适合被评院校的评价方案,与所在院校负责人就评价内容、时间、人员、指标等进行充分协商。根据被评院校要求及特点,制定“授权评价会议手册”,明确评价思想、评价人员、评价指标、流程等准备工作。在评价开始之前,参与者可随时与研究者就相关问题进行协商。

2.主要环节

授权评价是通过组织评价会,由所有利益相关者组成的评价小组对被评对象目标的明确性、指标的可行性、课程与教学安排的合理性、实施的可操作性等内容展开对话,从而完善该项目的总体质量。评价工具是基于Excel的数据统计和计算工具,该工具可以根据评价小组成员给出的权重值和分值自动计算其最高值、最低值、标准差、平均值等数据,并自动生成数据对应的雷达图或柱形图,小组成员根据图形结果可明确被评价项目的各指标发展情况。

评价的主要过程是为期一天的参与式评价研讨会,由15~20人左右的利益主体(学校管理者、教师、企业人员和学生等)组成。评价过程分为准备指标体系、自我评价阶段、分析评价结果、反馈四个阶段。首先,由职业院校的利益相关者经过协商、讨论、自下而上生成评价指标,这个过程是开放性的。其次,由评价组成员根据自己所理解的每一项指标的重要性,对一级指标权重进行赋值,对二级指标进行评分。再次,评分结果录入(EE-TOOL),以雷达图和柱形图的形式呈现评价结果,评价小组成员对个人打分情况阐述理由,在讨论中反思和达成共识。最后,评价反馈。呈现问题和措施,集体讨论、总结下一阶段工作,形成评价报告。

3.评价对象

学习任务的全称是“学习与工作任务”,是职业院校学习领域课程的基本教学单元,有时候一个学习任务也可以是一门课程,学习任务设计的质量是职业教育课程质量的真正体现。“后期影视制作”是高职学院的一门课程,同时也是工作过程结构完整的综合性任务,一个好的学习任务能够促进学习者职业能力的发展,同时完成该任务的方式方法是多样性的。

课程评价(或学习任务评价)对设计者有较高的要求,需要设计者具备相应的课程理论基础和专业知识,因此,课程授权评价会更适合在掌握课程理论的参与者层面进行。研究选取某高职学校一专任教师的“后期影视制作”这一课程,利用授权评价并对其进行诊断,评价参与者均为本校教师、教学管理者和学生。

4.确定评价指标体系

根据授权评价思想,指标是开放的且可随时修改。让评价的人员讨论指标体系是一个非常重要的过程,体现了尊重主体的意愿,为达成共识奠定基础。经过一轮充分讨论后,评价组成员从充分进行课程评价的角度考虑出发,对一、二级指标的名称进行修改,将讨论意见进行汇总,综合大多数成员合理意见,最终形成了一个由5个一级指标和17个二级指标组成的课程质量评价指标体系,见表1。

表1 学习任务授权评价指标体系

5.确定一级指标权重

权重代表了指标的相对重要程度,由参与者讨论确定。从权重的讨论反映出:由于指标3与4内涵有交叉,或对指标的理解不一致,导致参与者赋值结果差异较大。经过参与者打分后,形成了5个一级指标的平均分,但由于各参与者在发表观点过程中表达了不同的个人价值诉求,难以用平均值作为统一认同的权重,需要协商讨论出一致认可的权重值。这是授权评价强调的意义协商。意义协商最早被称为“话语调整”,指为了克服在交流中遇到的障碍,会话双方对话语进行调整以改变人们作为行动基础的偏好[5]。社会建构主义者认为,意义协商是一个参与者通过对话及交谈相互协商的过程,其本质就是社会性对话的过程。因此,意义协商是知识生成的本质追求,只有真正触及价值观改变的协商才能形成反思和“行动策略”。

对指标权重值的协商主要体现在两位教师之间,以指标4“设计的特点”讨论为例:

教师1(25%):学习任务的实施是否合理,应该体现在教学设计上,但指标里都没有体现,可增加这方面指标,所以分打高了。

教师2(20%):指标3.2“涉及工具、手段和工作组织”,已经表达了一个完整的要素,其实是有体现的……

教师1:……但是教师带领学生如何做、如何实施,这方面没有体现……

主持人:两位理解的角度不同,都有道理。教师2理解的是教学过程,教师1从任务本身角度理解,所以这个不矛盾,的确是个很好的建议……现在这个指标看来是不太好,没有考虑到教学过程……

(两位教师重新反思并发表了个人观点)

主持人:如果是这样的话,按照平均分19.3%,大部分参与者的权重都是20%,那增加到20%是否可以?教师2有没有意见……

经过讨论,参与者对一级指标“综合职业能力的学习潜力”“对工作与技术的设计潜力”“学习任务的描述”“学习任务的设计特点”“学习评价”形成了统一的讨论值,分别为24%,24%,17%,20%,15%。

6.对二级指标独立评分

主持人向评价组成员下发二级指标评分表,参评人员根据自己所了解到的“后期影视制作”这一学习任务设计情况,进行指标判断并独立打分。然后由统计人员汇总分数并录入EE-TOOL表格,评分标准从低到高分为1~5分5个等级。

7.评价结果生成

录入完成后,EE-TOOL工具将自动生成5个一级指标和17个二级指标的评分结果,见表1。

8.描述指标差异

根据评分结果,组织大家分析说明指标的评分情况。评价成员根据自己对评价指标的理解,结合专业团队汇报的专业建设情况,做必要的打分说明,特别是打最高分、最低分的成员需要做出必要的理由说明。本部分仅选取“2.3解决方案的多样性”指标进行讨论,以发现分数背后存在的问题。

参与者对指标“解决方案的多样性”进行了深度交流和解释,其代表性观点为:

教师A评分(5分):这个任务本身就是开放性的,设计比较合理,但提出一个问题,学习任务的知识点是固定的和基础性的,如果这些内容没有掌握的话,会影响到以后的实践应用。

主持人:就行动主义导向而言,将“知识”作为应用的基础是有问题的。目前一个很大的误区是:理论是实践的前提,即普遍认为现在的学习是为了以后更好的应用,这种观点直接影响学习任务设计的理念和质量。

学生A和学生B(2分):这个学习任务的设计有两个方案,但是后续的过程并没有体现出多样性;比如对于学习任务的学习过程、学习方法等的设计也比较单一僵化,所以打分较低。

教学管理A和教学管理B(4分):该学习任务的设计的步骤比较具体,这样的设计有优势也有不足:对于基础较弱的学生而言比较适合其自主学习,但是对于基础较好的学生,就不能满足他们更高的学习需求了。需要进一步思考如何把握明确的学习步骤与学生自主性之间的“度”。

主持人:对于如何设计学习任务,在理念和实际工作基本没有问题。问题在于基于学习任务开展教学的时候,将其拆解成一个个子任务,如此一来,每一个子任务又变成了一个个封闭性任务,而封闭性任务则进一步导致了教学过程的单一性,这是不符合行动导向教学理念的,这也是教学设计中很大的一个问题。

以上讨论反映出了在学习任务在选择和教学要求方面的问题,主要体现在:

第一,学习任务选题很好,具有开放性特点,但在教学设计部分,步骤规划太过具体,反而限制了学生思维,降低了学习任务开放性的特点。

第二,传统认知认为理论知识是实践应用的前提,这种认识对教学产生了很大影响,往往认为先学知识,后学操作,但是情境学习理论表明,知识是在一定的情境下获得的,去情景化的知识难以迁移到其他情境中去。

第三,学习任务应该开放到什么程度应依据教学要求、学生特点和任务特点而确定。

(四)授权评价反馈

所有指标在经过深度讨论后,需要总结学习任务设计存在的问题,然后制定改进措施,最终形成一份全部参与人员都认可的改进质量报告。学校内部需要将这一改进机制制度化,每隔半年或一年再次开展一次授权评价活动,以此保证教育教学质量持续改进。通过授权评价进行质量评价的目标不是确定一个分值,而是通过一个民主化的学习过程,每个人对被评项目都有新的认识和理解,即形成“知识增进”。

以上的授权评价实践中,评价者和参与者的角色突破了传统的“你评我”和“我被评”的二元对立的关系,其评价过程突出“自我学习”和“相互学习”的“社会化”过程,即通过从自我经验和别人经验中来学习,进而提高整个组织学习能力[6],具体表现在:第一,通过持续地分享个人及团体智慧,建立了一种小组或内部学习文化,在逐步深入的对话中,深化个人理解和意义建构。第二,不同于传统量化式评价方法,授权评价以质性为主和量化为辅相结合的方法开展评价,这里量化的分数变得不再重要,而更强调在数据分析的基础上进行意义解释,这也正是质性研究的意义。第三,通过民主开放的环境、评价参与者的代表性以及资料的真实性等保证了评价过程的真实和有效。授权评价的工作机制是参与者之间知识建构的过程,通过“知识工作”(knowledge work)而创造的价值越来越大[7]。每一位参与者将个体经验和知识共享到群体中,评价者关注的焦点不是客观的事实,而是注重关注差异、价值协商、应答模式、心理建构和结果共识一系列过程,从而保证评价结果趋于事物的本来面貌。

三、总结

授权评价的关注点是项目实施过程中“发生了什么”,评价结果关注利益相关者的参与度和满意度,授权、参与、协作、利益相关者是授权评价过程必不可少的元素。研究表 明:在参与深度和实践操作方面,授权评价在教育领域有很大的推广价值[8]。目前职业院校正在建立教学诊断与改进工作机制,但是实践中出现了诸多困惑和问题,究其原因,沿袭传统评估范式的“诊断与改进”无法真正发现学校存在的问题。授权评价基于内部评价理念,秉持建构主义和第四代评价理念,在分析、发现和解决学校问题方面提供了理论基础和技术支持。

授权评价的优势是理论具有简洁性,普适性,可操作性强,可以适用于不同类型的项目评价,如组织评价、机构评价、校企合作评价、专业建设评价等。授权评价的动力源自组织内部的自发行为,与行政命令目标式的评价实施条件不同,其民主性可以帮助小组成员对某一问题进行反思,实现从自身的经验中学习和从别人的经验中学习,通过自我反思和控制过程发展能力,为培养团队精神和发展组织学习奠定了重要基础。组织学习是“组织成员通过错误检测与校正,使组织适应环境变迁,并增进效能”[9],在这个过程中,特别强调发现错误和进行相应的修正能力,这对职业教育评价范式的转变具有重要意义。组织学习理论与实践提高了组织解决内部问题和应对环境变化的能力,授权评价是对组织学习理论的具体实践。

猜你喜欢

参与者指标评价
一类带临界指标的非自治Kirchhoff型方程非平凡解的存在性
休闲跑步参与者心理和行为相关性的研究进展
门限秘密分享中高效添加新参与者方案
SBR改性沥青的稳定性评价
中药治疗室性早搏系统评价再评价
主要宏观经济指标及债券指标统计表
最新引用指标
莫让指标改变初衷
基于代理的多方公平交换签名方案
海外侨领愿做“金丝带”“参与者”和“连心桥”