美国本科学生学习成果评估:理念、行动与启示
——以美国“本科学生学习有效评估项目”为例
2019-07-25李晓虹
陈 陆,李晓虹
当前,对高等教育质量的诉求成为国际高等教育领域关注的中心问题,就高等教育质量保证进行对话已形成不断增长和激励性的国际氛围。20世纪90年代以来,“学生学习成果评估”(Stu⁃dent Learning Outcomes Assessment)成为美国本科教育质量评估的核心内容。它通过积极开发和运用各种测量方法及工具,持续搜集学生在校期间通过所修课程、高影响力实践活动等学习行为数据,获取学生知识、能力、情感、态度、价值观等各方面的增值信息,注重学习成果证据,综合分析各教育环节中的经验与问题,帮助学生改进学习,驱动教师改善教学,以实现提高学生学习成果、达到所取得学位相应水平的高等教育质量保证之目的[1]。进入21世纪,全美高等教育界诸多专业教育测评机构在喧嚣鼎沸的学生学习成果研讨中革故鼎新、竞相发展,进入了高等教育评估群雄奋起的时代[2]。各类学生学习成果评估的项目和计划层出不穷,呈现出评估内容不断聚焦、评估方法和工具不断迭代的发展景象。其中,美国本科教育有效评估项目(Valid Assessment of Learning in Undergraduate Education,以下简称VALUE)以促进学生学习改进、探寻学习直接证据为理念,成为近十年美国学生学习成果评估引领性项目的典型代表,折射出美国学生学习成果评估的新动向,可为我国本科教育评估提供重要借鉴。
一、理念革新:促进学生学习改进,探寻学习直接证据
1.促进学生学习改进的评估准则
美国学习成果评估研究中心(NILOA)资深专家尤厄尔(Ewell,P.T.)曾将学生学习成果划分为认知的与情感的、心理的与行为的、在校期间的与大学毕业后的成果。认知与情感的成果不同于知识、价值观的变化,心理与行为的成果不同于学生生理性的隐性变化与学生在校期间或毕业后能被直接观测到的显性变化[3]。在这样的研究背景下,VALUE 项目研究机构从学生发展的院校环境、个人成长环境、社会需要等多方面具体评估学生的学习过程,制定了学生学习成果评估准则,以促进学习改进。2008年,来自美国各地机构的教职人员和其他教育专业人员,以及一些两年制和四年制、私立和公立、研究型和文科型等不同类型的高等教育机构开始制定与所有学生在学习、工作、作为公民身份以及生活中取得成功所需要的相关准则(详见表1)。在这一过程中,每个团队的教师审查了现有高等教育机构制定的学习成果评估的主要规则,审查每种学习成果组成部分的报告和研究,并根据他们的经验和专业知识,将这16个准则进一步划分为多个维度,其中包括知识与实践能力、个人与社会责任、综合及应用学习。目前,这些评分标准在全美近150 所大学接受了测试,测试内容贯穿于学生的课程群、教师布置的作业以及学生提交的作业。
表1 VALUE 项目的十六种评估准则及其定义
续表
以最具代表性的批判性思维为例,VALUE 项目机构研究人员调查发现,批判性思维在16 种准则中适用范围最广,且信效度较高。研究表明,批判性思维较强的学生在日后的学习、生活中均能更好地处理多种多样的情况及问题。同时研究者还在学生的课程作业完成中发现,批判性思维可以通过学生的文本、数据及问题分析类作业中表现出来,这种能力作为一种跨学科思维方式可应用于不同学科、不同思维方式的研究[4]。在这样的研究背景下,16 种评估准则的设计与使用,提供了学生学习成果直接证据的获得标准和内容框架。
2.探寻学习直接证据的评估载体
VALUE 作为一种学生学习成果校本评估项目,其核心在于对学生学习质量的真实考量,探寻学习直接证据。项目开创性地将学生课程作业或作品作为评估学生学习成果的重要载体,但这种“课程作业”不同于本科课程中辅助教师教学的一般性学生作业。传统的课程作业多见于知识点检验、思维拓展性作业,教师很难在此基础上对学生学习成果进行量化,难以进行有效的学习成果评估。VALUE 项目的评估载体是一种专门为评估设计的课程作业,具有目标鲜明、形式多样、多任务操作、易于测量、不脱离课程的优点。根据学生所学专业、发展方向为学生设置有针对性、导向型的任务,贯穿在某门课程和整体课程群之中,具体形式包括学生论文、小组项目、演讲、艺术作品、展品等等。用于评估的课程作业由教师团队协作设计、同行评审,经过精心设计、初审讨论、样本使用、意见反馈、建议修改等多环节,形成成熟的课程作业,共享给合作院校的师生使用[5]。系列的过程性的课程作业在学生的课程地图中将学习成果评估贯穿于学习始终,直观地反映出学生的学习增值、能力提升及价值观的变化,为学习改进、学生发展提供动态的证据反馈。这种直接的可持续的学习成果评估工具打破了传统标准化测试的固有模式,为循证实践中的学习成果评估开辟了新路径。
3.指向学生学习增值的评估方法
VALUE 的评估过程不是简单的数据生成过程,而是一种兼具系统化与灵活性的评估方法,其评估过程由三个要素组成:要素一是课程作业,由教师团队精心设计的用于评估的作业;要素二是评分者,受过专业评分训练的课程教师,利用其专业知识对课程作业评分;要素三是获得的评分,根据评分标准和学生作业表现给出结果。在这一过程中,教师及教育专家的判断在学生学习成果评估中占有较大比重,凸显了方法论与课程教学严谨平衡、定性与定量相结合的评估过程,评估方法直接指向学生学习增值。VALUE 评估方法建立在以下几个假设基础上:一是以“学生课程作业是学生主动学习的体现”为前提,通过对课程作业的搜集和评估来反映学生学习的具体内容、学习收获、增值情况、自信度和主动性、问题障碍等;二是关注学生在学习成果的关键维度上做了什么、做得怎么样,基于数据发现在通识教育、专业教育等不同课程与实践中,在学习成果的众多维度中存在关键维度且应被重点关注;三是教师和教育专家的判断可以达成一致,对课程作业的评判是可以通过制定专业规则、科学管理规范、特殊集中培训达到较高信效度,形成一致评价结果的;四是评估结果是有用的并可以用来改善学习,使用有效方法和合理工具所获得的评估结果对学生认知自我学习、发挥个体优势、探寻学习痛点、改进学习策略具有高关联度和高价值性;五是增加而不是消除已有的多样性,即在校园里种族、社会经济地位和课程、学分水平和学科背景的多样性,美国高等教育越来越鼓励和强调教育多样性发展,可通过VALUE 方法评估、支持、提升个性化学习成果,提倡本科教育多样性发展[6]。这些假设直面学生学习的实际效果,也在VALUE 的实践过程中被证明是成立的。
4.可持续的形成性评估机制
20世纪初期,以标准化测试为重要手段的高等教育质量评估形成了经典评估范式。21世纪后,最具影响力的标准化测试分别为美国大学考试中心(ACT)的“大学学业水平评估考试”(Col⁃legiate Assessment of Academic Proficiency);美国教育考试服务处(ETS)的“能力测试”(Proficiency Profile);美国教育资助委员会(CAE)的“大学学习评估”(Collegiate Learning Assessment)。尽管标准化测试为高等教育质量证据的获取提供了便捷高效、可操作性强的模式,但是由于它脱离课程、以离散的结果性数据衡量学生学习增值而备受质疑。许多教育机构发现,这一学生学习成果评估范式所能带来的收益甚微,且在本质上并不能提供准确有效的学习成果评估结果,更难以获得学生学习改进过程及程度水平。直至2009年,VA⁃LIUE 项目以取代标准化测试的不脱离课程的学习成果评估建立了新的评估机制,通过有效课程作业的评估载体在学生参与的实际课程及课程群中获取可持续的形成性学习证据,以检验学生在学习过程中的学习体验、知识获取、能力提升、价值观改变,学习增值与学生成就被描述为系统的有层级、有属性的变化过程。
二、行动探索:阶段性推进与多州合作战略
1.阶段性推进的试点实践路径
VALUE 项目发展至今已经经历了从理论建构到实践行动的扎实性探索过程(详见表2)。全美两千所高校相继加入VALUE,项目发展进程中的三个重要阶段成为VALUE 十年发展的关键期,使得VALUE 成为最新学生学习成果评估研究的焦点。
表2 VALUE 项目发展历程
试点阶段(2014年—2015年)作为VALUE 项目的起步阶段,侧重于在各院校学习成果评估中VALUE 评估准则的试用与检验。许多院校向VALUE 评估机构提供了有效的学生课程作业样本,累计7 000 余份,以展示学生学习成果。教师团队经培训后基于评分方法产生了可靠的学习成果评估结果,并构建了一个易于使用的网络平台框架,用于上传学生的作业并促进其评估。VAL⁃UE 项目的推广速度和各院校的参与配合度都在这一阶段得到了发展,其可靠性得到进一步检验,这些都引发了全美高等教育的强烈关注,但VAL⁃UE 项目在一定程度上仍缺乏多元化和个性化实施过程。
示范阶段(2015年—2016年)扩展至全美11个州加入了VALUE 项目,共收集学生课程作业样本8 000 余份。项目开始考察VALUE 在校园、州创建有代表性的学生作业样本的能力,并进行适当程度的灵活化;VALUE 项目在该阶段提高了各院校所提供数据的有效性,同时组织各部门进行州际数据的汇总与比较。这一阶段项目的灵活性与普及性显著提高,数据分析能力提高,评估测试的信度和效度显著上升,各州以及项目本身所做出的努力充分显现出VALUE 项目的可行性和可持续性。
优化阶段(2016年—2017年)项目运行机制趋于成熟。项目侧重于提取学习成果评估数据分析中的关键变量;发现及对比不同年龄段、不同区域的学生学习成果评估情况,甚至发现特殊学生群体(如低收入学生)的学习趋势;每个总体学习成果的评估结果均跟根据关键变量进行审查。在学习成果评估过程中,学生的学习体验、过程性学习数据跟踪、学习增值计算是不可或缺的重要信息,缺少这些信息评估结果对于高等教育质量的提升作用将是微乎其微的[7]。优化阶段的首要目标在于确保VALUE 项目在各州及各院校的有效推进,始终强调学生学习过程,并将学生基础与发展过程量化描述,将结果纳入到最终的学习成果评估数据中。在这一阶段项目推行的覆盖面逐渐增加,提高了项目的推进力度与监督审查机制。
2.多州合作的战略性组织模式
自2014年以来,VALUE 项目已经超越了局部地区、个别院校的实施,项目推广促进了院校内部和院校之间(如两年制、四年制公立学校、四年制私立学校)以及州际学生学习评估框架适用性的测试。截至2017年,通过三个相关联盟共有13个州加入州际合作,包括10 个院校的明尼苏达协作组织,以及五大湖学院联合会的9 个四年制私立学院,累计92 个院校已经提交了21 189 份学生工作成果(代表3051 份独特的教师设计的课程作业)。 288 名教师进行了评估,使用16 个VALUE准则给学生作业打分,调查结果显示最受欢迎的VALUE 准则是批判性思维、量化素养和书面交流[8]。由此可见,VALUE 项目的各个参与主体形成了州际间的联合,共同商讨并使用VALUE 评估准则。以马萨诸塞州为例,该州建立了特别工作小组作为VALUE 项目在该州推行使用的领导性机构,以该工作小组为首对全州高等教育机构进行学生学习成果评估。同时,埃塞克斯北部社区学院为VALUE 项目在马萨诸塞州的推行提供持续的广泛监督。该州设立了Amcoa 小组和VAL⁃UE 机构指导小组,二者分别领导推进公共校园学生学习评价,强化校园评价能力以及硕士代表在VALUE 评估机构对多项目评估的开发(详见图1)。
图1 马萨诸塞州VALUE 项目组织结构
从目前VALUE 项目的发展现状来看,该项目在美国各州及各高校的推行情况既有共性特点又有个性特点,既加强项目整体性推进,又强调项目推行过程中的地区、宗教和种族差异性特点。正是由于有了这种区域性联合保障和地方性相对放权,才保证了VALUE 项目在美国高等教育界的推进始终持稳步上升趋势。美国各院校在VALUE项目的实施和发展过程中大多持肯定态度,并积极将VALUE 项目“本地化”,结合院校实际情况适度选取、运用和拓展16 种准则的评估标准,将VALUE 项目评估成果应用于院校的管理改进之中。
三、对我国本科教育质量提升的借鉴与启示
1.激发教师参与评估投入度
在学生学习成果评估过程中,教师的投入是第一步,同时也是最重要的一步。作为学生学习成果评估的重要参与者及落实者,各大学普遍认为教师的投入对教与学的促进,对保障大学教育的有效性非常必要[9]。但就目前的形式来看,美国学生学习成果评估活动更多的出现于高校管理层面之中,更多地被看作是高校的职责,而非教师的本职范围之内。这就直接导致了教师参与学生学习成果评估的积极性不高;教师不愿主动参与有关学生学习成果评估类的培训,教师的评估专业性不足;教师参与评估活动受不到高校奖励机制的保障[10]。我国长期以来将高校教师定位为评估的客体,教师无法完全掌握评估的主动权。正是基于这样的背景,我国可以尝试进一步转换教师角色,充分调动教师参与学生学习成果评估的主动性,合理规避美国教师参与度不高的负面条件,形成自身学生学习成果评估优势。
2.设计益于学习持续改进的评估准则
美国学生学习成果评估实践运行闭环的外部保障核心就在于建立起可供全美高校自主选择合理评估的评估准则,这一准则将学生具体能力精细化划分,以便高校以及学生自身及时判定发展侧重点。美国学生学习成果评估准则本身也处在不断收集数据反馈、不断扩充自身内涵(学生学习成果评估准则闭环自身不断丰富,外延不断产出)的动态过程中,即美国学生学习成果评估处于长期发展的良性循环中。我国目前已建立起基本的学生学习成果评估制度,从理念意识层面已经肯定了学生学习成果评估的本土化发展,但在某些实践层面仍存在落实不到位情况,因此及时构建本土化学生学习成果评估外部保障准则尤为重要。我们应进一步针对高校与学生特点着力于国家评估标准的制定,通过评估准则的本土化致力于提升我国本科学生学习质量[11]。
3.开发科学测量学习效能的评估工具
VALUE 项目的核心就在于它利用学生学习的直接证据——学生作业——作为评估学生学习成果的重要依据,并将这一研究成果进行量化,由此得出透明公开的可视化结果。其显著特征是学生作业的定义范围不仅仅局限于我们传统的书面作业(例如试题、标准化考试、书面报告、论文等等),而是将作业这一范围放大,结合各专业、学科的现实特征,将学生的作品、设计、甚至于日常沟通交流能力等等都包含在内,为学生的多方位能力发展提供可参考标准,使不同发展方向的学生均有理可依,有迹可循。在此基础上将学生的能力细化为三大维度、16 个准则,以此为理论性评估标准对学生进行学习成果的细致分析。且这16 个准则只是作为一个泛化的参考,不对各州、各高校做任何硬性的要求,这样就给予了下层评估机构极大的自主选择权,确保了学生学习成果评估的地域性、专业性特征。简言之,VALUE 项目最直接的、最具有参考价值的部分——学生作业,就是一种学生日常表现的量化体制。这一体制最直接、最迅速地反映出了学生的学习表现,极大程度地克服了传统学生学习成果评估报告中的套话模式,以数据为评估基石,以16 准则为评估参考标准,以学生作业为评估主体。这样既没有带给学生额外的负担,又保障了学生学习成果的真实性;既不影响学生的日常学习,又时刻关注学生的发展,促进学生的最高发展水平,帮助学生实现高学术目标[12]。