基于OBE的课程考核与评价体系的设计与实践
2022-07-15俞佳君袁尚会黄知荣钟绍军
俞佳君,袁尚会,黄知荣,钟绍军
(1.湖北科技学院 教育学院/农村教育与文化发展研究中心,湖北 咸宁 437100; 2.湖北科技学院 数学与统计学院,湖北 咸宁 437100)
产出导向的教育(Outcomes-Based Education,简称OBE)理念在高等教育流行起来,主要源于高等教育外部问责与认证。早在20世纪80年代,美国高等教育认证机构的标准便逐步由“最低要求的量化标准”到“基于目标的评价标准”,再到“产出导向的评价标准”。20世纪90年代末,博洛尼亚进程推动各国纷纷依据欧洲高等教育总体框架要求,建立各自的教育质量保障机制,以保证高校、专业符合相应的标准,毕业生的学分实现互换和相互承认。而各国高等教育质量保障的核心理念便是“产出导向”。在这一背景下,世界各国大学不得不重视围绕学习产出来设计教育,重视对自己培养学生的学习产出的评价。产出导向的教育俨然成为高等教育教学发展的国际趋势。
为了与国际接轨,我国高等教育认证也秉承“产出导向”“学生中心”“持续改进”等理念。2006年,我国高等教育专业认证率先在工程教育领域开始。2016年6月,我国正式成为《华盛顿协议》成员国,标志着我国工程教育质量认证体系得到国际认可。2008年和2017年,教育部先后启动了医学专业认证和师范类专业认证,其认证理念与工程教育专业认证一脉相承。在问责与认证的推动下,产出导向教育理念逐渐深入到高等教育各领域,成为高等教育界的高频与热点词汇。在探索落实产出导向教育的过程中,仍然还有许多微观层面的问题亟待解决。如在近几年的工程教育和师范类专业认证过程中,课程评价仍然是专业人才培养中最为薄弱的环节。不少高校学者也进行了实践探索,如成都信息工程大学魏维等人聚集“产出、教学、评价”,进行课程OBE达成方案一体化设计,开展教学,并进行课程OBE质量评价。[1]黄冈师范学院向福等人基于认证的底线思维和核心理念,构建了多主体参与,教学、评价、改进有机整合的课程目标达成度评价及持续改进体系[2],这些实践探索对于推进我国课程教学与评价改革,都有一定的积极意义。但如何通过变革课程评价,并以此推进大学课程教学向产出导向模式变革,依然是我国高校面临的难题与挑战。
一、产出导向的教育与产出导向的课程评价
(一)产出导向教育
产出导向教育意味着“围绕学生学习结束后获得成功的关键,来明确地聚焦与组织一切教育活动”[3],其基本理念是“所有学生成功”。其中,“产出”一词,在英文中为outcomes,中文有的译作成果、效果或结果,“是对学生特定学习的期望,即学生在特定的学习、发展及表现等方面将会获得的各种结果。”[4]实际上outcomes的含义包括两个方面,一是学生学习之后的实际结果;另一个是对学生将会获得结果的预期,也就是中文语境中的“学习目标”或“课程学习目标”。产出导向的教育代表了一种教育的新范式,它与传统教育的区别主要体现在产出导向教育系统建立在明确的学习产出之上,课程、教学与评价的设计和实施是为了促进关键性产出的实现[3]。教育教学的出发点不是教师想要教什么,而是学生达成最终学习产出需要什么。教学的功能在于促进学生成功,而非传递知识。教师更关注学生要掌握什么,达成什么;如何设计教学帮助学生达成;如何评价学生是否达成。本文是在专业认证背景下,关注微观层面落实“产出导向”理念,因此在术语方面与其保持一致。而预期的学习产出则仍旧使用符合中文用语学习目标或课程目标。
(二)产出导向的课程考核与评价
评价(Assessment),简单来说,就是收集和解释证据,进而进行教学决策或价值判断过程。美国著名评价专家尤厄尔(Ewell)根据Assessment一词使用的传统,总结了三种不同的评价定义:其一根源于精英学习传统,是通过可观察到的表现,来判断个人能力优异的过程。其二产生于大规模考试项目,是用基准测试学校和地区的表现,也被称作绩效问责。其三把评价定义为项目评价的特殊方式,目的在于收集证据以提高课程和教学法。[5]与评价相近的术语也有很多,如测量、考核、评分等。测量(measurement)是一个将观察到的信息转化为量化的或类别化形式的过程,其本身不对测量结果予以价值判断。[6]评价的本质属性则包含了价值判断,它用于对个别学生表现所作的评定,以及通过学生群体综合起来判断整个系统的情况。考核(examine),有考试、考查、核定之义。评分在英文里对应的词为grading,意为依据相关标准,收集数据对人、事、物定等级。
根据术语语义、用词传统与用词环境,我们使用课程考核与评价这一术语,是指围绕学生的学习产出,收集学生课程学习表现的证据,以判断学生个体学习情况与课程整体教学情况的过程。从评价对象来看,一是针对学生个体的评价,二是通过学生群体表现判断课程与教学情况。从评价内容来看,是收集有关学生学习表现的证据,而非学习内容,如针对考勤等课堂管理的评分则不在此列。从评价范畴来看,应该包含两个部分,一是课堂评价,这一部分通常是在课堂教学中教师通过提问、完成任务等方式检查学生学习情况,并不一定计入最终成绩。二是阶段性考核,这一部分对学生表现的评价是计入最终成绩的,本研究主要着眼于此。因此,为了精准表达和符合用语习惯,我们将整个体系称为“考核与评价”体系,而在具体内容上根据语境使用“评价”或“考核”。从评价方式方法来看,本研究主要讨论的是评价方式,主要是指规范的评价流程或体系。关于课程考核评价的具体方法再另行撰文论述。
二、传统课程考核与评价存在的问题
(一)评价内容:未能与学习产出紧密联系
传统课程考核与评价通常由期末考试(或考查)与平时考核两项组成。期末考试通常围绕教学内容而设计,典型的就是各高校通常在学期末印制期末考试试卷前所使用的考试双项细目表或命题蓝图。这类考试双项细目表通常横标目上是与教学大纲所对应的各章节内容,纵标目上是考试的题型与分值。有的纵标目上还包括考试对应的认知层次或水平。双项细目表的作用在于使评价的内容、权重与教学较为一致。但传统的大学教学通常是围绕教材或内容来组织教学,而非围绕学习产出来组织。考试的内容也自然围绕教材或教学内容来设计,而未能与学习产出紧密联系。这样一来,学生更注重在教材内容和知识点上下功夫,而忽视了如何达到学习目标。另一方面,即便使用了双项细目表,很多考试通常比较注重对识记、领会层次认知水平的考查,而忽视了对分析、综合、创新等高阶认知水平的考查。学生往往会很聪明地根据教师怎么考来怎么学。显然,围绕教材内容和低认知水平的考核,都是在鼓励表层学习,而非深层学习,学生通过背背记记就能取得好分数。而在教学过程中,学生的这种表层学习方式非常奏效,并且学业评价允许这种学习方式大行其道。[7]
另一项是平时考核,许多高校教师的平时考核都由考勤、课堂表现和平时作业(或实验)构成。有的老师以课堂举手回答问题的次数、参与活动的活跃程度来给学生课堂表现成绩加分,有的老师以考勤到课次数来给学生考勤成绩减分。例如,有老师坦言,“本学期一共16次考勤,总分100分,占期末总分的20%。迟到一次扣10分,旷课一次扣20分,扣完为止。”而这些,通通与学习产出并无关系,仅是课堂管理的手段。本应仅仅反映一门课程日常学习情况的平时成绩被赋予太多功能。[8]
(二)评价方式:规范性欠缺,连续性不够
传统的课程考核与评价方式欠规范主要体现在评价的设计上:一是没有具体的考核方案与要求。一般来说,教师会在教学大纲上说明考核的方式及其与平时成绩所占的比例,考核与课程学习目标的关系,考核的层次水平不甚明了。任课教师通常会在第一次上课的时候跟学生说明考核评价方式,至于考核的内容、标准、要求等并无详细说明。二是平时考核欠规范,连续性不够。平时成绩最为诟病的地方,就是评定随意性较大。它通常由教师在学期末根据学生的出勤情况、课堂表现、作业情况加以评定,没有明确的标准。许多教师的平时成绩是到最后统计分数时才给出。更有甚者,平时成绩都给得很高,成为学生最终成绩的“调节器”。在第二轮审核评估的过程中,就有专家指出,“课程考核平时成绩记录不规范,许多学生期末考试不及格,经过平时成绩一调节,踩线进入及格行列。”
另一方面,平时成绩一旦夹杂了诸多功能,其对学习的连续评价就弱化了很多。传统课程评价也就更多表现为终结性评价,主要以期末成绩为依据,注重评价的判断和鉴定功能。平时考核的连续性不够,学生在学期中通过评价了解自己学习表现,发现存在问题并加以改进的机会并不多。评价促进学习与改进学习的功能未能得到足够的重视与彰显。这样,一些“聪明”的学生便学会了钻空子,平时不努力,常常利用期末考试前一小段时间来 “临时抱佛脚”,加上平时成绩的“调节”,及格也不是难事!
(三)评价分析:不利于持续改进
传统课程考核结束后的分析模式不利于老师很好地反思与改进。传统课程考核与评价分析一般基于各高校开发的试卷分析系统,主要是基于考试试卷的质量指标,如难度、区分度和考试成绩表现,如优良率、及格率,来分析教学与考核需要改进的地方。甚至有的高校还错误地把考试成绩须成“正态分布”当作评价试卷质量的重要指标。这种用“常模参照评价”指标来衡量“标准参照评价”的方法,不仅无益,还有负面的导向。以致部分老师不得不额外思考平衡考试成绩的分布,以求达到“正态分布”。须知,课程考核是属于标准参照评价,只要达到课程既定目标和标准即可,根本不须与常模内学生群体比较。这种仅仅追求量化的考核分析,对于普通教师来说,不仅不好理解,而且容易误读数据。此外,传统考核评价分析不对平时考核与课程目标达成度进行分析,也不对考试以外的评价进行分析,信息量有限,不利于教师深入反思,以求改进教学与评价。
三、基于OBE的课程考核与评价体系设计思路
在当前专业认证背景下,面对传统课程考核与评价中存在的诸多问题,有必要设计一个基于OBE的课程考核与评价体系,以克服传统课程考核评价的弊端。与传统课程评价相比,基于OBE的课程考核与评价体系在评价内容、评价方式、评价分析、评价功能上均有较大的不同,体现了“产出导向”“学生中心”和“持续改进”的认证理念。(见表1)
表1 传统课程评价与基于OBE的课程评价比较
(一)体现“产出导向”,通过评价推进大学教学向产出导向模式变革
基于OBE的课程考核与评价体系,通过规范设计考核内容与方式,以推进产出导向的教学与评价改革。一是课程考核方案要明确课程学习目标,并与毕业要求相对应。实际上,这项工作应该是在教学大纲的制定过程中已经完成的。是“反向设计”课程体系与课程时,从培养目标到毕业要求,再到课程目标的层层递进。二是考核内容要与学习目标具体对应起来,而不是仅仅与教学内容相对应。即每一个课程目标,都要通过具体的考核项目和内容来体现。这样的话,可以促进教师进一步思考课程目标的可测量性和不同层次目标的考核。三是对课程目标达成度的计算与分析,既然每一个课程目标有具体的考核方式、内容和分值,那么计算这一课程目标的达成度并不是难事,课程目标的总体达成度的计算方法是:∑X/∑总分,即学生所有考核项目的平均分累加除以所有考核项目总分。课程具体目标达成度的计算方法是:∑X分目标/∑分目标总分,即具体目标下,学生所有考核项目的平均分累加除以该目标所有考核项目总分。通过计算机智能计算,教师即可了解每个学生的学习目标达成度、课程分目标达成度、课程总目标达成度和课程对毕业要求的支撑度。若要进一步分析各类考核项目的得分率,也可根据该计算方法进行统计和汇总。
(二)体现“学生中心”,通过评价促进学生不断投入学习
基于OBE的课程考核与评价体系体现“学生中心”,须与教学相结合,通过设计具体的评价,来促进学生不断投入学习。一是平时考核要安排多次、多种形式,且有具体的要求和时间限制。曾有学生跟我坦言:“由于老师平时都不怎么考查我们,我们也不知道自己学得怎么样,也没什么压力,到期末了才发现一学期根本没怎么学,只能靠最后突击一下,而这种方法往往还挺有效的。”通过连续的过程性评价,让学生在平时就投入到学习中来,改变“临时抱佛脚”的心理。二是通过改革考核内容,引导学生更多地向高阶能力发展,而不是死记硬背的能力。学生的学习方式在很大程度上受评价方式和内容的影响,评价考查的是什么样的能力,学生就往什么样的能力方向发展。当然,考核与评价体系的设计更多的是从规范方面体现“学生中心”。要进一步落实这个目标,则需在评价具体方法与内容上有更多的创新。
(三)体现“持续改进”,通过评价不断改进教与学
基于OBE的课程考核与评价体系体现“持续改进”,主要通过对平时考核的规范与定性定量分析,来促进教学内容、教学方法、考核方法与学习方法的改进。在对课程设计的过程中,老师始终应该记住,对学生进行课程层面的评价,不仅提供了各个学生的成绩数据以供等级评价,它同时也提供了有关教学整体效果的数据,以确定课程的有待改进之处和帮助学生评价自己的进展。[9]因此,改进主要应该体现在两个方面:一个是连续的过程性评价对教与学的改进。平时考核应当是评价学生在各种任务或作业中的表现方式,是贯穿于学期始终的形成性评价,同时可作为最终成绩的一部分计入终结性评价。通过学期间的连续性评价,教师与学生可以发现学习上存在的问题,进而及时地调整以改进教与学。另一个是课程结束后的定量与定性分析对教师教学的改进。为克服传统课程考核分析误用数据、误读数据等不足,产出导向的课程考核与评价体系通过智能分析(定量)与课程小结(定性)两个部分,来对课程考核进行分析。前者是通过录入的相关数据,自动生成平时成绩、期末成绩、总评成绩的平均分、优良率、及格率、标准差,以及课程分目标、总目标与毕业要求的达成度,并形成描述性智能报告;后者是在此基础上,教师结合教学与考核实际情况,对期末考试(或考查)、平时成绩、目标达成度、改进措施做出的定性描述。这种有针对性的定量与定性分析,紧紧围绕“课程学习目标”,对老师后续教学内容、方法与评价的反思与改进,都有一定的积极作用。
四、基于OBE的课程考核与评价体系实践
基于以上思路,课题团队设计开发了基于EXCEL的OBE课程考核与评价体系。下面即以本科三年级《教育测量与评价》这一门课程为例,说明基于OBE的课程考核与评价体系的具体实践与操作。
(一)课程考核方案的设计
课程考核方案是课程考核的蓝图,应当明确在课程大纲中明确列出,并在课程开课之前告知学生。这样的好处是,教师和学生能够明确本门课程要达成什么、教什么、学什么和评什么,教学评都有明确的导向。因此,课程考核方案首先要明确的就是本门课程的学习目标,以及课程目标与毕业要求的关系。其次,需要明确的是课程评价的方式及其占比。比如,《教育测量与评价》课程考核由6次平时考核和1次期末考试构成,分别占比为60%和40%。最后,需要明确的是各项课程学习目标的考核方式及其占比。比如,目标2“掌握测验编制和课堂观察的基本方法,能够科学设计和运用替代评价工具来进行学生评价。掌握课堂观察评价方法,促进学生专业成长。”需要通过3次平时考核和期末考试的若干题目来进行考核。(见表2)
表2 课程考核方案
基于这个课程考核方案,可以在EXCEL表中分解成三张表,课程基本信息(F1)、课程目标主要内容及与毕业要求的对应关系(F2)和考核方式与课程目标对应表(F3),具体规定了平时考核、实验、期中考试与课程各项目标的对应关系,以及期末考试各小题与课程目标对应关系(见表3)。这就使得教师在课程教学之初,就必须明确课程学习目标,确定相应的考核方式。此外,平时成绩的构成与对应的目标也一目了然,可以进一步的做法是,把平时考核的具体要求、评分标准和最后提交日期也提前告知学生,通过持续的过程性评价,促进学生投入学习。
表3 考核方式与课程目标对应表(F3)
(二)课程目标达成度的计算
计算课程目标达成度之前,需要录入考核成绩,一般分两个部分,一是平时成绩的录入(F4,包括实验成绩、期中考试、项目、作业等),一个是期末考核成绩的录入(F5)。平时成绩的录入应当根据学生完成考核的截止日期,及时录入表中。如果平时成绩是由考查不同课程目标的小题分组成,则需要把小题分分别录入。期末考核成绩需要录入每位学生期末试卷的类型(A卷或B卷)和各个小题分/部分(见表4)。
表4 期末考核成绩录入(F5)
课程目标达成度的计算方法如上所述,可以由EXCEL自动生成学生总目标和分目标达成度计算表(F6)和毕业要求与课程目标达成度报表(F7,见表5)。若要计算毕业要求整体达成度,可根据各门课程对毕业要求的支撑度,按照相应的权重进行汇总即可。
表5 毕业要求与课程目标达成度报告(F7)
(三)定量分析与定性分析
基于已有数据,该系统的考核分析分为两部分。一是自动分析系统,包括期末考试试卷分析报告(F8)和智能分析报告(F9),主要是用描述性语言,对期末考试、各考核环节与课程目标达成度的完成情况进行定量描述。(见表6)这可以使得对统计数据不甚清楚的教师,可以直接解读文字,以免错误理解数据与图表。
表6 智能分析报告(F9)
二是手动分析部分则更多是教师在统计数据与智能分析的基础上,结合自己在教学与考核过程中的观察与体验,进行反思的课程小结(F10)。教师可以详细描述过程性考核的情况,着重分析学生对知识点的掌握程度,以及分析、综合、解决复杂实际问题的能力表现如何,存在哪些问题,原因是什么;期末考核成绩中学生在不同层次能力考核表现如何,还存在哪些问题;课程目标达成度分析与毕业要求达成度分析基于定量的达成度指标,结合实际情况,做出一个描述性说明;在下一轮的教学中,教师可以对学习目标、教学内容、教学方法、评价与考核方法等方面进行的改进策略与措施(见表7)。基于这样一个框架,教师可以深入反思课程学习目标的适恰性,教学内容与方法的适恰性,考核评价方法的科学性与合理性,从而促进课程教学的持续改进。
表7 课程小结(F10)
基于OBE的课程考核与评价体系在我校2019年春开始推广使用,取得了良好的效果,主要体现在以下几个方面:一是突出产出导向,引导教师在教学过程中,注重教学内容、评价内容与学习产出(目标)的一致性,注重考核的实效性等问题,加强了教师对产出导向教育教学与评价的理解与应用。二是加强了持续的过程性评价,对平时成绩的记录和分析更加规范,促进学生不断投入学习。三是加强教学反思和改进,教师每一轮教学过程都要对平时考核与期末考试进行定量定性分析,反思课程教学需要改进的地方,形成了课程评价的闭环。
五、讨论
基于OBE的课程考核与评价体系,主要是通过规范课程目标设置、评价内容、评价方式、评价分析等方面的内容,来引导教师和学生往产出导向的教与学进发。它体现了当前国际高等教育认证的理念,是产出导向教育教学理念落实的重要工具。基于OBE的课程考核与评价体系的设计,主要是对评价方式和程序做了规范要求。在课程考核与评价领域,还有很多难题和困惑,需要教师、管理人员、研究人员不断地研究与实践,才能更好地发挥评价的多种功能。
一是课程学习目标的设置与评价,有些目标不易测量但又很重要,有些目标的测量有滞后性。不论是短期目标,还是长期目标的测量,仍然有许多是考核评价中的难点,其科学性困扰着评价的研究与实践。此外,还可能出现不在目标范围内的学习产出。可以尝试从比格斯一致性构建的视角[7]来解读,一方面,基于教师视角,关注预期学习成果,注重教、学、评的一致性;另一方面,基于学生视角,关注学生主动建构、思维养成与创新精神。这两者的协调一致也仍然不好把握。
二是具体评价方法,本文着重论述了产出导向的课程考核与评价体系或方式,没有涉及到课程评价的具体方法。实际上,在评价具体方法领域,仍然需要更多的研究者和实践者参与进来。欧美国家的很多课程教学设计与评价的实践者对此有不少经验性的总结,但总体来说,这个领域研究仍然不够。即便在评价运动发端的美国,对学生学习效果的评价仍然处于初级阶段。[10]中国高校的老师们可以先借鉴,再结合具体学科专业及实际情况创新与超越。
三是数据的收集、分析与反馈。目前,基于EXCEL设计开发的产出导向的课程考核与评价体系较好地解决了数据的统计分析功能。但是数据的录入还只能人工录入,无法自动收集;考核结果也无法基于系统直接反馈于学生。如果能够基于现代信息技术,如Blackboard等课程与学习管理系统进行二次开发,可能会更好地实现数据的收集和反馈功能。