高校课程学习体验评价研究述评及展望

徐立清 崔彦群 郝丹

摘 要：近年来，我国“以生为本”和“以学习质量为核心”的评价体系研究与实施取得了长足进步，但基于学习体验的课程教学评价研究还处于起步阶段，研究成果较少。文章通过简要述评国内外以学习体验为核心的课程教学评价体系与调查研究的新趋势，以及学习体验评价的可靠性研究，提出了我国高校课程学习体验评价进一步研究和开发的思路与对策。

关键词：高校课程;学习体验;评价;综述

近年来，随着高等教育竞争的日益加剧，以及以制度绩效为中心的高等教育循证运动的蓬勃发展，“保持和提高学生的满意度成为大学的重要目标”，“学生体验已成为高等教育质量保证的核心原则，已纳入内部机构质量保证体系，外部质量保证过程和认证也需要学生满意度调查报告”[1]。课程学习体验评价是基于学生的学习体验来评价课程教学效果，以便更好地接近教学事实。本文从学习体验评价指标体系与量表研究、学习体验评价的可靠性研究等方面展开述评。

一、学习体验评价指标体系与调查研究

1.国外关于学习体验评价量表的研究

从发达国家来看，有关学习体验调查、学业成就评估、满意度测评等各类有影响的评价工具已达20多种，较为著名的有：美国的全国大学生参与度调查（National Survey of Student Engagement，NSSE）、澳大利亚的课程体验调查（Course Experience Questionnaire，CEQ）和英国的全国大学生调查（National Student Survey ，NSS）。

（1）美国的全国大学生参与度调查（NSSE）。NSSE以调查学生参与度为核心，其概念谱系可追溯到20世纪30年代拉尔夫·泰勒（Ralph Tyler）的研究，后逐渐涉及到心理学、社会学、认知发展、学习理论等多个领域，量表也在实践探索中不断发展和完善。1979年美国学者罗伯特·佩斯（Robert Pace）开发了“大学生就读经验调查”（College Student Experience Questionnaire），是第一个全面关注学生学习投入程度的研究项目，并先后经过1983 年、1990 年和 1998 年的三次改版，1999 年开始小规模试运行。2000年开始首次正式启用“全美大学生参与度调查”（NSSE）。学习投入理论解释了大学生如何发展成为具备复杂成熟的了解自我、他人及世界能力的个体的过程，并逐步形成了有效教育实践五项原则 （ EEP），包括学术挑战水平、主动学习和协作学习、师生互动、丰富教育经历和校园环境支持。NSSE创始主任乔治·库（George Kuh）研究指出，学校应鼓励所有学生至少参加2次高影响力实践（HIP），包括“基于社区的项目（服务学习）的课程”“与教职员工一起进行研究项目”“实习，合作社，现场经验，学生教学或临床实习”“出国留学”“培养高级经验（顶峰课程，高级项目或论文，综合考试，作品集等）”，这些教育实践活动与支持学生学习和发展的机构努力的质量同等重要。2013年推出的NSSE2.0版本设有“学术挑战、与同行一起学习、与教师的经验、校园环境”4个方面“高阶学习、反思性与整合性、学习策略、定量推理、与其他人的协作学习、讨论、师生互动、有效的教学实践、互动质量、支持环境”10项指标，每个参与指标通过汇总学生对一系列相关调查问题的回答，提供有关学生参与不同方面的宝贵信息。NSSE最初试图通过“从声誉、资源等评价转移到学生体验评价”，为高校提供高质量的、便于利用的实证数据，以便改进学生的就读体验。NSSE通过帮助参与院校分析判断自身在课程设置、学术活动规划、教学实施、学生服务等教育教学环节存在的具体问题，运用这些评价结果实施质量改进，提高人才培养质量。NSSE建有专门的网站（http：//nsse.indiana.edu），是全球应用最为广泛的学生学习体验评价工具。截至2019年，已有1650多所高校、600万名学生参加[2]。

（2）澳大利亚的课程体验调查（CEQ）。20世纪80年代，菲利普·帕尔森斯（Phillip Parsons）等人开展CEQ研究，1989年开始被用来衡量澳大利亚高等教育系统所有毕业生对学位课程的质量感知，现已成为一种广泛使用的量化工具。CEQ以“预知—过程—结果”（3P模型）学习理论为依据，认为如果能够获取学生对学习情境的体验信息，就可推测出学生学习成果，进而明确人才培养环节有待改进的方面和领域。目前，CEQ由澳大利亚社会研究中心负责管理，主要集中在毕业生对课程质量的看法，关注他们自我评价的技能水平以及对课程的总体满意度上。指标由原来的5个方面23个选题简化为“总体满意度、好教学、通用技能”3个方面13个选题。为保障评价的可靠性，明确提出如果参与调查的人数少于25，则不会报告调查结果。2018年102所高等教育机构参与了全国在线调查，共收集了120564份有效调查答复（CEQ，2018）[3]。

（3）英国的全国大学生调查（NSS）。NSS始于2005年，是英国高等教育质量监管的重要组成部分。NSS在CEQ问卷基础上编制形成，设有“课程教学、学习机会、评估与反馈、学术支持、组织与管理、学习资源、学习社区、学生之声、总体满意度”等9个方面27个核心选题（NSS，2019）[4]。NSS使用说明明确要求，调查问卷50%以上且至少有10名学生的反馈才算有效。NSS每年针对最后一年的本科生开展一次调查，涵盖英国近50万学生。NSS主要用于信息帮助、质量改进、公众问责，包括为大学入学申请者和家长选择专业以及为学校提供信息帮助。各校也会根据学生学习体验调查情况，改革自己的课程体系和教学方法，以此提高学生和社会的满意度。

總体上，欧美等发达国家以学生发展理论和学习理论为基石，以促进教育教学改革为目标，实施了不断改进和完善的全国性大规模的学生学习体验调查。（1）从调查量表的选题来看，充分体现了“以学为中心”的增值性评价，如“我从各种信息中形成了新的想法或理解”“这门课程的教学人员激励我尽我所能”“该课程培养了我的解决问题的能力”“提供的IT资源和设施很好地支持了我的学习”等。（2）从研制目的、结果应用和评价重点上，各量表则有较大差异。NSSE注重测量在校生对学习、各类活动的投入和参与程度，明确指出不支持使用NSSE结果来排名学院和大学，只是提供具有诊断价值并且可用于指导教育改进的数据，并且建议与其他有关学生及其经历的其他信息来源结合起来评价教育质量。而且，NSSE非常重视学习行为调查，与CEQ和NSS注重调查大学生的价值观、态度或对大学经历的满意度也有较大不同。大学生的态度或对大学经历的满意度，一定程度上还是一种自我主观的模糊判断，而不是一种“事实”或“行为”的选择，这在测量和统计上会有一定的难度。另外，CEQ和NSS被广泛应用于高校排名，这就难免在调查实施过程中学生容易被引导甚至被操控，从而降低了调查结果的信度，受到了一些专家学者的批评。

2.国内高校关于学习体验评价量表的研究

2009年清华大学率先把NSSE进行了汉化，形成了NSSE-China版本。基于大学生学习体验的学生评价模式引入以来，得到了越来越多研究型大学的重视。比如北京师范大学的“中国大学生就读经验调查（CCSEQ）”、清华大学的“中国大学生学习与发展追踪研究（CCSS）”、北京大学的“首都高校质量检测项目”、厦门大学的“国家大学生学情调查”（NCSS）。国内一些高校在借鉴CEQ和NSSE等问卷基础上，以学生评教结果及满意度为切入点，设计了包括教学课程的结构性、教学的顺应性、教师的教学态度、校园的学术环境等维度的课程体验问卷，分析和探讨了目前高校教育效果的影响机制及其存在的问题。另外，浙江省教育评估院等也开展了包含课堂教学、实践教学、教学水平等内容的大规模的毕业生母校满意度调查，以全面了解高校人才培养质量。这些调查研究已经形成了一定规模，调查结果为高校改进本科教育质量，制定改进教学工作的策略提供了有力证据。

但总体上，目前国内研究尚处于借鉴改进阶段，且主要集中在某一学科课程上，与国外研究在理论支撑、指标设计、测量统计的深度和广度上，存在明显的差距。正如有专家指出：“与美国常规性的调研活动相比，无论是大学领导对这些项目的重视程度、参与大学的数量，还是数据分析的广度和深度，尤其是结果的应用等诸多方面都存在很大差距、有很多不足之处。”[5]值得欣慰的是，部分国内研究者在逐渐推进MOOC等网络课程的学习体验评价研究，并在网络课程评价要素、评价指标等方面进行了一些自主的有益探索。

二、学习体验评价的可靠性研究

调查数据的广泛使用与作为高等教育决策的证据，必须以数据的有效性、可靠性为前提。有效性关系到调查是否衡量了旨在衡量的东西，是否提供了支持对被测个人特征推断的证据。调查工具验证的关键在于评估定义结构的理论中包含的假设是否可信，评价量表或问卷是否能提供稳定和一致的结果，允许结果在不同测试情况下可复制的重复测量？一直以来，对于学生学习体验评价作为高等教育决策的依据存在两大争议领域：（1）教育实践与学生行为标准的一致性，（2）学生自我报告信息的准确性。因此，可靠性这一元评价研究一直是学习体验评价研究关注的一大主题。

国外不少研究者就如何提高量表、问卷的科学性提出了很多合理建议，涉及到选题的科学性、评价的学科院系以及课程类型等诸多因素。伊娜·布劳（Ina Blau，2017）等[6]认为，学生体验受到学科领域、课程类型、教学方式等多种变量影响等，以及学校特征、学生性别、家庭等要素。史蒂文·布林特（Steven Brint，2012）等[7]研究提出，不同类型学科在认识论假设和教育目标上的差异，会导致学习体验的差异，对学习的促进也会有所差异。赫伯特·W.马什（Herbert W. Marsh，2011）等[8]认为，通过对比学生学习体验来比较不同院系的教学质量不太合理，因为学生没有体验到其他院系的教学情况。为此，我们应针对不同学科、类型、层次和院系的课程，在相对统一的框架体系下，需要设计个性化的指标和问题，形成个性化的评价指标和选题。乔治·库（George Kuh，2002）[9]研究指出，测量工具满足以下条件是可信的：（1）当所要求的信息是受访者已知的框架。（2）这些问题措辞清楚、毫不含糊。（3）问题涉及最近的活动（最好是6个月或更短时间）。（4）被调查者认为这些问题值得认真对待、深思熟虑的回应。（5）回答问题不会威胁、使被访者难堪或侵犯被访者的隐私，也不会鼓励被访者以社会期望的方式回答问题。这些研究成果都是优化问卷设计时值得参考的重要因素。

如何保证量表测量的有效性，一些学者从评价目的、评价人数、评价主体、评价频率以及数据验证、评价方式以及多元化评价等方面提出了有益建议：（1）从评价目的上，劳伦·麦克莱恩（Lauren McClain，2018）等[10]研究指出，課程评价若为了有效衡量课程的质量，学生报告的信息会更诚实，结果可以改善教学效果，而不是对行政管理有利。（2）从评价主体上，赫伯特·W.马什（Herbert W. Marsh，1997）等[11]在比较在校生、毕业生、同行和独立评教者作出的评价结果后同样得出：在校生和毕业生对教学效果的评价比教师自评、同行评价和他人评价的效度更高。肯尼斯·费尔德曼（Kenneth A. Feldman，1977）等[12]研究指出，评教的个数达到一定临界值时（20或20以上），学生评教的可靠性就能胜过最好的客观测验。（3）从评价效度的检测上，由于学习体验本身比较抽象，且受情绪、动机、偏好的影响而存在一定的偏差，能否通过学习体验评价客观了解学生的真实状况，这是学习体验评价的难题。正如理查德·詹姆斯（Richard James，2003）[13]

所指出的，在大多数学科，学生的课堂体验历年都比较稳定，但学生的课堂体验容易受到学生个体特征的影响，主观性较强，将这样的数据作为一项重要的衡量教学质量的指标似乎有待考证。对此，曼娅·克莱门西奇（Manja Klemencic，2015）等[14]建议，要通过来自不同来源的数据进行交叉验证;学生和其他利益相关者参与调查设计、实施、分析和报告的整个过程有助于提高调查相关性、清晰度和合法性;可吸纳不同的认知群体参与其中，特别是那些直接受到政策干预影响的学生。马苏德·沙（Mahsood Shah，2017）等[15]强调，要把定性评估与定量分析结合，“使用数据来为改进提供信息的工作有限，需要通过促进学生与院校之间的合作伙伴关系来真正听取学生的声音”。乔治·库（George Kuh，2002）[16]研究指出，可根据从焦点小组、认知测试和对结果的心理测量分析中获得的信息对个别项目和整体工具进行不断改进，以提高评价的一致性和有效性。因为这些定性方法的优势在于，它们可以生成更丰富、更深入、更真实的学生体验和行为数据。