高校学生学习成果测评的历史、现状以及前瞻

刘欧

高校学生学习成果测评的历史、现状以及前瞻

刘欧

以学生学习成果为导向的高校评估在美国和其他国家已经使用了很长一段时间。评估的主要作用包括取得资格认证以及课程设置的提高。本文综述了学生学习成果评估的背景、发展过程以及在评估的实际操作中可能遇到的理论和实践上的挑战，比较了目前高校主要使用的测试工具以及它们的优缺点，指出测评者一定要清楚测量的目的以选择最合适的测量工具，要达到最佳测量效果需要从学校、教师和学生层面注意的问题。

高校评估；学生学习成果测评；HEIghten™

学生学习成果测评（Student Learning Outcomes Assessment）在美国高校的应用可以追溯到大约三、四十年前。高校主要用此类考试成绩在大学资格认证（Accreditation）的过程中作为学生学习效能的依据之一。过去十年里，高校学生学习成果的测量被广泛应用，其用途已不仅仅是资格认证，而是更多地关注到对于专业设置的检测和对学生学习成果的提高。本文对以学习成果为导向的评估做一个综述，然后介绍最近国际上的应用以及未来的发展方向。

1 学生学习成果测评在美国过去十年的发展

2005年，时任美国教育部部长的Margaret Spell⁃ings成立了一个探索美国高等教育未来的委员会，其主要目标是针对美国高教界最棘手的问题进行探索并且提出解决的方案。这个委员会在2006年的总结报告中指出，美国高教界亟需解决的一个问题就是缺乏明确的衡量高校效能的机制，各高校在教育学生的成果上缺乏透明度，而解决这个问题需要直观的、校际间能比较的数据[1]。这个报告在美国各界引起很大反响。在这个形势下，美国高校也面临着出具学生直接学习成果的压力。美国两个很大的高校联盟组织The American Association of State Colleges and Universities（AASCU）和The Asso⁃ciation of Public and Land-grant Universities（APLU）立即作出反应，成立了一个公立四年制大学的自愿问责系统（Voluntary System of Accountability，VSA），其核心目的就是让高校的信息和运作更加公开透明。这个问责系统的主要内容之一就是鼓励参与的高校展示学生在批判思维和写作能力方面的学习成果。

在具体的运作当中，这个问责系统首先面临的问题就是用什么样的手段来测量学生的学习成果。既然结果需要在校际间进行比较，那么肯定需要一个标准化的测量手段。VSA审阅了很多关于学生成果的测试，最后锁定了三个测试：美国教育考试服务中心（ETS）研发的ETS Proficiency Profile（EPP），Council for Aid to Education研发的Colle⁃giate Learning Assessment（CLA），美国ACT公司研发的The Collegiate Assessment of Academic Profi⁃ciency（CAAP）。VSA要求参加成员学校用这三个考试中的任意一个测量学习成果，并且需要测量学生学习成果的增值（value-added）。虽然这个问责系统是自愿参加的，但是由于Spellings的报告对于高校产生的巨大影响，在短短一年之内，就有300余所学校加入了VSA。

虽然有了广泛的参与度，VSA在具体实施当中还是遇到了很多理论和操作上的挑战。问题之一就是被选中的三个考试虽然都测量批判思维和写作能力，但是它们可能对于这些变量的定义不一样，另外它们的题型不同，测试时间长度不等，答题的方式也不一样。在这种情况下，这三个考试的可比性成了一个亟待解决的问题。2007年，在美国教育部的资助下，这三个考试机构成立了一个比较这三个考试的研究项目。结果证明这三个考试具有很大的可比性，测量同一变量的试题的相关度很高[2]。

VSA在执行过程中遇到的另外问题，包括用什么样的方法合理地计算学生学习成果的增值以及如何解决学生答题的动机。

计算增值最常见的数据收集方式就是在学生刚进入大学的时候测量一次，在他们即将毕业的时候再测量一次。成绩的变化就是成绩的增值。但是，看似简单的一个操作原理，在实践中却有很多的问题。问题之一是，美国高校的学生流失率很高，因此毕业时的学生群体也许已经不能代表刚入学时的学生群体，其分数差也不能作为刚入学时学生群体的增值。问题之二是，选择什么样的统计方法来计算增值。虽然增值研究在美国中小学的应用很广泛，但是在高等教育中用的还不是很多。找到一个合适合理的方法非常重要。研究者实验证明用不同的方法会对一个学校的学生增值产生不同的结论[3-6]。问题之三是，人们容易把学生学习的增值和一个学校的教学效能等同，这种等同是很偏颇的。首先，整个大学的教育成果远远不能用一两个考试来全面概括，考试只能提供部分信息；其次，就算考试成绩能体现出来一部分效能，大学也不能负全责。其他许多的因素超越大学能掌控的范围，比如学生学习的动机、家庭经济以及精神上的支持。因此，VSA在实施增值报告的过程中受到了很多争议。

另外一个对于VSA有影响的因素是学生在接受此类考试中的答题动机。在美国，类似的大学层面的考试一般对于学生个体来说没有切实的影响，因此学生很可能没有用最大的努力在答题。这样的潜在结果是学生的考试成绩不能真实反映他们的水平。实验研究表明学生的答题动机对于考试成绩有着显著的影响，动机高的学生的成绩远远高于动机低的学生[7-8]。

鉴于VSA实施当中的各种潜在问题，VSA在过去几年也进行了很大的改革。首先，各高校不再被要求提供增值的结果，只对大学四年级学生进行测量也可以；另外，除了最早被选中的三个考试，学校也可以用其他的测量途径。

2 学生学习成果测量的发展

2.1 学生学习成果测量的发展现状

美国一家致力于学生学习成果研究的非营利机构National Institute for Learning Outcomes Assess⁃ment（NILOA）在2014年发表了一个研究报告，其中对于美国1 200多所大学的调查发现，84%的大学都制定了明确的学生培养目标，对于这些培养目标都使用了多个测量工具进行测量[9]。笔者认为，任何一个测量工具都有其优越性和局限性，使用者需清晰地了解测量工具的优劣，然后为己所用。另外，测量工具有很强的时效性和情境性，使用者需真正了解测量的最终目的以选择最恰当的工具。表1列出几种最常用的测量工具的优缺点。

2.2 新的测量手段和方式的涌现

随着以学生成果为导向的测评的广泛应用，涌现了一些新的测量手段和方式。其中之一是ETS最新研发和推出的HEIghten™系列测试（www.ets. org/heighten）[10]。HEIghten在研发过程中征询了200多所美国高校的意见和建议，对学生学习成果的测试包括认知能力和非认知能力（软能力），掌握这些能力不仅仅是学习能力的反映，也代表了重要的职场能力，这些能力对于当代大学生成为一名有效的工作者和有责任感的公民有着至关重要的影响。HEIghten包括批判思维、英语写作、数学素养、多元文化素养、公民意识和数位信息素养6个测试。

HEIghten在研发上十分强调理论基础和实际验证。每一个HEIghten的测试都发表了相应的理论依据和实际操作的定义[2,11-14]，都经过了严格的原型测试（prototype）、前期试测（pilot test）和大型测试（field test）。只有符合高标准的试题才会最终被选入实际应用的考试。HEIghten在2015年11月投入应用后，引起了美国国内以至国际的广泛关注。目前，HEIghten的批判思维考试已经有了中文版和俄文版，印度语、德语、西班牙语正在研发当中。在中国已有将近40个高校试用了HEIghten批判思维的考试。

以学生学习成果为导向的测评除了在综合能力上的应用，也适用于学科能力的测试。在过去几年中，盖茨基金赞助了一个测量学科技能的大型项目——Measuring College Learning（MCL）[15]。这个项目主要由美国社会科学研究委员会（Social Science Research Council，SSRC）与合作者承办，选中生物学、商科、传媒、经济学、历史和社会学6个学科进行试点。SSRC邀请美国国内这些学科最具权威的教授对于每一个学科的重点内容进行划分和定义，此外还选择一些重要的通识能力，比如交流能力、批判思维能力、分析能力等作为考查内容。

3 学习成果测量在中国的应用以及发展前景

以学生学习成果为导向的测量在国际上已经有几十年的发展，而在我国还处于萌芽阶段。国际上有很多的经验和教训值得中国高校借鉴。

表1 最常用的测量工具及其优缺点

在美国，学生学习成果的测量已经慢慢变得不再单一为了满足外部的要求而进行，很多高校都意识到对于学生学习成效的测量可以为学校的课程设置提供有效的信息，同时对于院系的很多决策也可以起到辅助的作用。高校对于学习成果测量的使用也可以很灵活，如果学校对于毕业生的某一个方面的能力感兴趣，那么就可以只测试毕业生；如果学校对于新生到毕业生之间的增值感兴趣，那么就可以使用纵向设计（longitudinal）或者截面设计（cross-sectional）对学生进行测量。在纵向设计中，对于新生实施一次考试，等他们到大学四年级，再测试一次。在截面设计中，对于不同组群的新生和大学四年级学生同时进行考量。

在对于学习成果的测量和应用中，最有效的方式是明确定义这个成果以及细分如何能采集到相应的数据。比如说“全球胜任力”是目前一个很热门的成果，在国内也有高校把这个作为培养学生的一个目标。但是，这是一个很宽泛和抽象的概念，如何来定义这个概念以及如何对学生进行具体的测量？国际学生能力测试（Programme for Interna⁃tional Student Assessment，PISA）每三年进行一次，测量各国15岁学生的阅读、数学和科学能力。它将在2018年的测试中引进一个新的测试内容——Global Competence（http://www.oecd.org/pisa/aboutpi⁃sa/Global-competency-for-an-inclusive-world.pdf），即全球胜任力。PISA初步定义全球胜任力为分析和批判思维能力、知识和理解能力、态度三个部分，其中分析和批判思维能力指与不同文化的人有效合理的交往的能力，具有同情心和灵活度；知识和理解能力指对于全球重大问题的理解，以及对于跨文化的理解；态度指对于其他种群和文化的人的开放性、包容度以及尊重，具有全球意识，有责任心。通过此例可以看到，测量一个抽象的学习成果，需要严谨明晰的定义，有了定义，下一步才能进行有意义的测试。

提高学生学习成果测试效果的另一个关键就是对教师进行测量知识和实际操作的培训。很多教师对于为什么要进行此类的测试以及如何应用测试的结果都存在很多疑惑，这就需要学校的决策者制定明确的教师发展目标，在学校甚至校际间培养一个重测试重数据的氛围。学校应该用实例让教师看到利用数据提高教学的优势。

在学生学习成果的测量中，除了学校和教师，另外需要普及知识的就是学生。美国的很多高校在新生入学辅导的时候，会明确向新生解释学校的培养目标。另外一些学校还有规定的“测量日”，让新生接受相关的考试，为日后的测评采集第一次数据。例如，美国的James Madison大学一年有两次规定的测量日，学生被要求参加各项测试，他们中的很多人还会在以后再参加同样的考试，这两次考试的差值就可以作为学生知识和能力增长的数据之一。在前面的讨论中提到，学生参加此类考试的答题动机是学校需要注意的一个重要问题。学生需要清楚地知道考试结果的用途，除帮助学校教育质量提升外，对于个体学生也可以有正面的帮助，例如有些测试可以颁发合格证或者给优秀者颁发证书。这些认证可以成为学生继续申请学业深造或者就业的能力证明。

在全球很多国家都致力于发展高等教育的今天，能有效地测量高等教育的成果是衡量高校效能的重要指标之一，中国的高校以及研究机构应该重视这方面的研究。

[1]U.S.Department of Education.A Test of Leadership:Charting the Future of U.S.Higher Education[R].Washington,D.C.,2006.

[2]GRIFFITH R,WOLFELD L,ARMON B,et al.Assessing intercultur⁃al competence in higher education:Existing research and future re⁃search[R].Princeton,NJ:ETS,[in press].

[3]LIU O L.Measuring value-added in higher education:Conditions and caveats[J].Assessment and Evaluation in Higher Education, 2011,36（1）:81-94.

[4]LIU O L.Value-added assessment in higher education:A compari⁃son of two methods[J].Higher Education,2011,61（4）:445-461.

[5]LIU O L.Outcomes assessment in higher education:Challenges and future research in the context of Voluntary System of Accountability [J].EducationalMeasurement:IssuesandPractice,2011,30（3）:2-9.

[6]STEEDLE J T.Selecting value-added models for postsecondary in⁃stitutional assessment[J].Assessment&Evaluation in Higher Edu⁃cation,2012,37（6）:637-652.

[7]LIU O L,BRIDGEMAN B,ADLER R M.Measuring learning out⁃comes assessment in higher education:Motivation matters[J].Educa⁃tional Researcher,2012,41（9）:352-362.

[8]LIU O L,RIOS J A,BORDEN V.The effects of motivational instruc⁃tion on college students’performance on low-stakes assessment[J]. Educational Assessment,2015,20（2）:79-94.

[9]KUH G D,JANKOWSKI N,IKENBERRY S O,et al.Knowing what students know and can do:The current state of student learning out⁃comes assessment in US colleges and universities[R].Urbana,IL: University of Illinois and Indiana University,National Institute for Learning Outcomes Assessment（NILOA）,2014.

[10]Educational Testing Service.HEIghten™[EB/OL].[2016-05-10]. http://www.ets.org/heighten.

[11]LIU O L,FRANKEL L,ROOHR K C.Assessing critical thinking in higher education:Current state and directions for next-generation assessment:ETS RR-14-10[R].Princeton,NJ:Educational Test⁃ing Service,2014.

[11]ROOHR K C,GRAF E A,LIU O L.Assessing quantitative literacy in higher education:An overview of existing research and assess⁃ments with recommendations for next-generation assessment:ETS RR-14-22[R].Princeton,NJ:Educational Testing Service,2014.

[13]SPARKS J R,SONG Y,BRANTLEY W,et al.Assessing Written Communication in Higher Education:Review and Recommenda⁃tions for Next-Generation Assessment:ETS Research Report Se⁃ries[R].Princeton,NJ:Educational Testing Service,2014:1-52. DOI:10.1002/ets2.12035.

[14]SPARKS J R,KATZ I R,BEILE P M.Assessing digital literacy in higher education:A review of existing frameworks and assessments with recommendations for next-generation assessment:ETS RR-16-XX[R].Princeton,NJ:Educational Testing Service（in press）.

[15]ARUM R,ROKSA J,COOK A.Improving Quality in American Higher Education[M].[S.l.]:Jossey-Bass,2016.

Student Learning Outcomes Assessment in Higher Education: A Historical Review,Current State,and Future Directions

Ou Lydia Liu

Student learning outcomes assessment has been long used in the United States and other parts of the world.Most of the assessment results are used for accreditation and internal improvement purposes.This paper reviewed the background and development of student learning outcomes assessment,and also discussed the various theoretical and empirical challenges in implementation,and further discussed the popular tools currently used by institutions to assess learning outcomes and their respective advantages and disadvantages.The paper stressed that it is critical that the assessors understand the ultimate goal of the assessment and therefore select the tools that best fit their assessment needs,and concluded by introducing a number of new tools and approaches in assessing learning outcomes and discussing issues involving institutions,faculty,and students in order to maximize the assessment effort.

Evaluation of Higher Education;Student Learning Outcomes Assessment;HEIghten™

G405

A

1005-8427（2016）11-0013-5

（责任编辑：陈睿）

刘 欧，女，博士，美国教育考试服务中心（ETS），高等研究中心主管（美国新泽西州 08628）