课程学习体验调查的国际典型量表及其借鉴*

徐立清，胡浩亮，崔彦群

（浙江万里学院教育发展研究中心，浙江宁波 315100）

近年来，随着高等教育普及化所带来的质量竞争日益加剧，以及新公共管理思潮和高等教育循证运动的兴起，关注高等教育核心利益者——学生群体的学习体验和发展是大势所趋。“从发达国家高校课程教学质量评价的发展趋势来看，以学生体验为核心，将学习体验纳入教学评价，关注学习过程和效率的课程教学质量评价日益兴盛、并不断受到推崇”。［1］在发达国家，学习体验调查“成为高等教育质量保证的核心原则，已被纳入内部机构质量保证体系”。［2］2020年，中共中央、国务院印发的《深化新时代教育评价改革总体方案》明确提出“学生是接受教育的主体，学生评价是教育评价的基础环节”。当前，我国高校课程评价虽然强调“要关注学习者活动”，但是在实际中评价主体多为同行专家，学生在评价中的地位并不突出，评教常流于形式，课程评价难以真实反映教学实际状况和学生的实际感受与收获，难以真正发挥评价的反馈与促进功能。［3］基于这些问题，通过分析国际先进的学习体验调查工具的内涵与特征、优点与局限，系统梳理影响学习体验的关键环节与共性要素，能够发现引发良好学习体验的生成机理，为我国高校课程学习体验调查提供重要的借鉴和参考。

一、学习体验调查典型工具的内涵解读

澳大利亚的课程体验问卷（Course Experience Questionnaire，CEQ）、英国的全国大学生调查量表（National Student Survey，NSS）和美国的全国大学生参与度调查量表（National Survey of Student Engagement，NSSE）是目前全球较为著名的学习体验调查工具。

澳大利亚的CEQ是用来衡量澳大利亚高等教育系统所有毕业生对学位课程质量感知的量表，主要关注毕业生对课程的总体满意度、教师的良好教学以及自我评价技能的水平。CEQ是1981年Paul Ramsden等人为了调研学习方式与感知课程质量之间的关系而开发的量表，该量表以3P模型（the presage-process-product model）为基础。3P是基于建构主义理论提出的一种学习模型，认为学习分为预知、过程和结果三个阶段，三个阶段中学生的个体特征、对学习情境感知、学习方法、学生成果相互影响，从学生对学习情境的感知和体验可以推测学习成果。在Ramsden等人的倡导下，1989年开始，澳大利亚以墨尔本大学为代表的部分高校为了提升教学质量开始使用该量表，“作为确定课程质量的优与劣的依据之一”。［4］该量表后经过Michael Prosser等人的研究修订，现已成为一种广泛使用的量化工具，指标由原来的五个方面23个选题简化为“总体满意度、良好的教学、通用技能”三个方面13个选题。［5］CEQ使用李克特量表，每道题目后都会给出5种备选答案，学生根据自己的学习体验表达自己的态度和看法。通过询问毕业生在多大程度上同意一系列有关课程学习经历的陈述，从而为澳大利亚相关院校提供教学质量的信息。为保障评价的可靠性，CEQ明确提出，如果参与调查的人数少于25，则不会报告调查结果。CEQ现由澳大利亚社会研究中心负责组织实施，建有专门的网站（https://www.qilt.edu.au），主要收集毕业生对课程的反馈，评估大学的教学质量作为大学排名的重要依据，近年来也用于在线课程的教学质量监测。2020年澳大利亚113所高等教育机构参与全国在线调查，共收集28 000多份有效调查答复。

英国的NSS是在CEQ基础上修订而成的。21世纪初，伴随着英国高等教育规模的扩大，英国政府加强了对高等教育质量的监控，本着“为准大学生选择就读大学与专业以及高校内部质量改进提供必要的信息帮助，并促进公共问责”［6］的目标，在借鉴澳大利亚CEQ问卷的基础上制定了NSS。NSS设有“我的课程教学、学习机会、评估和反馈、学术支持、组织与管理、学习资源、学习型社区、学生的声音、总体满意度”九个方面27个核心问题。［7］NSS也使用李克特量表，按照肯定同意、基本同意、既不同意也不反对、大多不同意、完全不同意、不适用6种情况选答。NSS使用说明也明确要求，调查问卷回收率在50%以上且至少有10名学生的反馈才算有效。NSS在英国高等教育拨款委员会的监管下，由益普索·莫里调查公司（Ipsos MORI，第三方独立调查机构）负责管理，调查对象主要是应届毕业生，调查范围是英国所有公立高等教育机构，调查时间是1月到4月，以网络调查为主，调查结果主要用于信息帮助、质量改进、公众问责。自2005年以来，已持续开展了16次，每年有近50万学生被邀请参加全国学生网上调查（https://www.thestudentsurvey.com），被视为英国高等教育质量监管的重要组成部分。

美国的NSSE以调查学生学习参与度为核心，试图“从名声、资源转移到学生的体验，特别是与教学和经验有关的活动”，［8］NSSE概念谱系可追溯到20世纪30年代Ralph Tyler的研究，后逐渐涉及心理学、社会学、认知发展、学习理论等多个领域，量表也在实践探索中不断发展和完善。1979年罗伯特·佩斯开发了《大学生就读经验调查》，是第一个全面关注学生学习投入程度的研究项目，2000年开始首次正式启用《全美大学生参与度调查》（NSSE）。学习投入理论是NSSE的重要理论基础，解释了大学生如何发展成为具备复杂成熟的了解自我、他人及世界能力的个体的过程，并逐步形成了有效教育实践五项原则（EEP），包括学术挑战水平、主动学习和协作学习、师生互动、丰富教育经历和校园环境支持。2013年，NSSE推出2.0版本，设有“学术挑战、与同龄人一起学习、教师经验、校园环境”四个方面和“高阶学习、反思与整合学习、学习策略、定量推理、协作学习、师生互动、有效的教学实践、互动质量、支持性环境”九项指标及47个选题。［9］NSSE现由印第安纳大学高等教育研究中心、印第安纳大学调查研究中心和全美高等教育管理系统中心负责管理，建有专门的网站（http://nsse.indiana.edu），并配有全国咨询委员会和技术咨询团队负责监督指导，调研范围是公立或私立四年制大学，对象主要是大一与大四学生，时间集中在每年二三月份，以网络和邮件为主。NSSE汇总学生对一组相关调查问题的回答，形成分析报告反馈调研高校，高校可以有的放矢地进行教学质量监控和改革或向社会公开以提高知名度，一些州政府和高等教育管理机构也将NSSE结果作为绩效评定的参考依据。NSSE目前是全球应用最为广泛的学习参与度体验调查工具，截至2020年已有1650多所高校、600万名学生参加。

二、学习体验调查典型工具的特征分析

1.比较优势

作为目前较为通用的大规模调查工具，CEQ、NSS、NSSE在调查目的、对象、内容、重点和结果应用上有较大差异（表1）。在调查目的上，CEQ主要是为有关院校提供教育质量的信息，为社会提供相似课程可比较的绩效数据，推动高校课程教学质量改善；NSS侧重于为大学入学申请者和家长选择专业及为学校提高教学质量提供信息帮助，提高学生和社会对高等教育质量的满意度；NSSE主要是为参与高校提供具有诊断价值并且可用于指导教育改进的数据，满足高校监控教学质量的需要，并建议结合其他有关学生及其经历的信息来综合评价教育质量。在调查对象上，CEQ和NSS以毕业生和即将毕业的学生为主，NSSE调查对象主要是在校生。在调查内容上，CEQ关注课程学习中学生的学习行为、状态和成效，侧重于课程学习体验调查；NSS聚焦课程教学、学习支持与资源、评价与反馈等，注重学生对大学经历的满意度；NSSE注重测量各类“具体”和“有形”的学习和活动，侧重于在校生对学习、各类活动的投入和参与程度。在数据处理上，CEQ使用Agresti-Coull方法来估计满意度置信区间，把学生总数和年龄等作为满意度置信区间的影响因素。NSS把性别、种族、残疾、学习科目、学习方式等作为基准因素，通过在基准分数前添加+或-的符号来表示实际值和基准值之间存在的显著性差异。如果基准值前没有+或-符号，则表示实际值和基准值之间的差异不显著。NSSE每个指标都以0到60的分值表示，将每个项目的选择转换为60分的量化表（例如，从不=0，有时=20，经常=40，非常经常=60），然后计算总体平均来代表学生的平均水平分数。学校参与度分数是每个班级学生水平分数的加权平均值。在结果应用上，CEQ和NSS的调查结果被公开且涉及经费资助，特别是NSS被广泛应用于高校排名。NSSE与被调研高校签订协议书，明确规定不将调研结果公开，只用于教育研究，但是也有部分高校自己选择公开调研结果以争取优质生源和资助。

表1 CEQ、NSS、NSSE量表比较分析一览表

总体上，三个量表都是高等教育进入大众化或普及化时代后基于提升质量的需求而出现的，共同优势是将学生置于教育质量评价和监测的主体地位，在实施中都有独立于高校以外的第三方管理机构，责任明确，管理体系完善。CEQ的优势在于聚焦课程教学评估，结构稳定，更适用于对课程教学质量的监测；NSS的优势是从目标、过程到结果的全流程调研，不仅调研课程学习体验，也调研组织管理、资源支持等体验，更适用于对整体教学质量体验的调研；NSSE的优势是注重学生的动态学习过程，从学生参与、投入的角度测量师生互动、支持性环境、学习策略等质量，更适用于对高校教育支持环境和学生学习情况全方位的调研，有助于高校引导学生学习行为的改变。

2.相对局限

调查数据的广泛使用，尤其是被用作高等教育决策的证据，其前提是数据的可靠性和有效性。由于学习体验是一种学习经历的感受，本身比较抽象，且受情绪、动机、偏好的影响，因而存在一定的偏差，也因而导致CEQ、NSS、NSSE在可靠性和信度上都存在一定的局限性。

在量表的可靠性上。CEQ和NSS注重调查价值观、态度或对课程学习经历的满意度，侧重于结果性与认知评价，一定程度上还是一种自我主观的模糊判断，而不是一种“事实”或是“行为”的选择，这在测量和判断上会有一定的难度；而且选题较为宽泛，正如威廉姆斯等所言，“NSS根本没有体现学生清晰而具体的受教育体验”。［10］相对而言，NSSE注重测量高阶学习、反思与整合学习、协作学习、数字信息技能应用以及对各种学习、各类活动的投入和参与程度，侧重于过程性评价和学习行为评价，学生比较容易做出评判与选择。在量表设计过程中，不仅要遵循选题“措辞清楚、简明扼要，能代表所有观点的强度、涵盖所要研究领域的主要方面，受访者已知调查的框架，且知晓值得认真对待以及不会受到威胁、难堪、侵犯隐私，能以社会期望方式回答问题”等基本规则之外，还“把被评价特质分解为实在具体的行为方面，针对这些行为方面进行评价”，［11］这是解决体验、态度等调查局限性的重要策略。另外，为提高调查数据的信效度，马苏德·沙等强调指出，“使用数据来为改进提供信息的工作有限，需要通过促进学生与院校之间的合作伙伴关系来真正听取学生的声音”，［12］要把定性评估与定量分析结合，获得更丰富、更深入、更真实的学生体验和行为数据。NSSE创始主任乔治·库恩提出，可根据从焦点小组、认知测试和对结果的心理测量分析中获得的信息对个别项目和整体工具进行不断改进，以提高评价的一致性和有效性。［13］

在量表的信度上，由于CEQ、NSS调查结果的公开以及被用于排名，这给院校带来了巨大的压力，学生在调查实施过程中常被引导甚至被操控，一定程度上影响了调查的信度。为此，近年来，NSS明确要求，工作人员不得明确指导学生如何完成调查，例如解释问题的含义或NSS量表。相对而言，NSSE的调查结果主要是为了给参与机构提供有关学生行为和机构因素的可操作诊断信息，帮助参与院校监测教育教学环节中的具体问题，而不是为了甄选与排名。为保证调查的真实性，发挥好评价的改进功能，在调查结果的运用上应针对课程设置及其教学中的具体问题，着眼于改进而不是遴选。正如劳伦·麦克莱恩等所指出的，“若为了有效衡量课程的质量，学生报告的信息会更诚实，结果可以改善教学效果，而不是对行政管理有利”。［14］

三、我国高校课程学习体验调查问卷设计思路

借鉴上述国际学习体验调研典型量表，结合我国高校课程教学实际与时代要求，作者建议高校课程学习体验调查问卷设计思路可以从以下几个方面着手。

1.设计理念

突出“以学为中心”，跳出以往从教师个体的“教学”角度出发、以“甄别、遴选”为目的的传统，转为“从学生的视角设计评教问题，在关注教师教学行为的同时，强调学生的课程体验”，［15］以“促进、发展”为目的，设计学生可以理解和判断、与自身学习经历有关的内容，重视调查研究性学习、协作学习以及师生互动等现代教学模式的运用情况，凸显“讨 论”“沟通”“支持”“激励”“反馈”“建 议”等高频词，注重测量学生在学习后的表现，如促进、发展和提高了什么，全线贯穿“以学为中心”的增值性评价理念。

2.指标体系

指标体系设计应充分借鉴国际先进的学习体验调查量表中的关键环节和共性因素，遵循良好学习体验形成的内在规律，围绕影响课程学习体验的全流程与全方位要素设计指标体系，参考CEQ等量表的有效经验，以学生可做出明确的事实判断为原则，通过以“证据”为基础的叙事方式，揭示事实背后的隐藏意义，赋予每项指标以独特的用意，建立和形成问卷的“事库”“例库”。根据我国高校课程教学现状，建议指标体系设计聚焦课程目标、学习过程、资源平台和效果反馈四个维度。

课程目标维度的指标设计应侧重调研课程目标是否具有一定的学术挑战性。NSSE（2013）调查发现，参加高阶学习课程的学生在将获得的知识应用于实践，分析想法、反思经验以及批判性地评估和查看信息和新想法方面做得更好。［8］我国教育部《关于一流本科课程建设的实施意见》也明确提出，要有“高阶性”“挑战度”，让“学生体验‘跳一跳才能够得着’的学习挑战”，以此“增强学生经过刻苦学习收获能力和素质提高的成就感”。在选题表述上可以借鉴NSS中“这门课程对智力有激发作用”“我的课程要求我取得最好的成绩”等叙述方式。

学习过程维度的指标设计主要关注三个问题，课程组织是否合理、讲解是否清晰，交流互动的氛围是否良好，教师备课、辅导、反馈是否到位。问题的表述可以参照CEQ中“我的讲师非常善于解释事物”、NSS中“作为我课程的一部分，我有机会与其他学生一起工作”、NSSE中“对测试或完成的作业提供及时和详细的反馈”等方式。例如，“课程设计的讨论主题对我有帮助”“本课程要求我至少提交几次（6-7次以上、4-5次、2-3次、1次、没有作业）过程作业”等。

资源平台维度的指标设计应聚焦学习资源、辅导、平台和环境是否有利于形成积极的学习体验，NSSE（2013）调查发现，以积极的人际关系为特征的大学环境可以促进学生的学习和成功；精心设计的学习社区、辅导服务、学习技能研讨会、文化中心以及服务、实习、研究等综合实践项目等，均有助于学生有效学习。［8］在选题表述上可以参考CEQ中“员工竭尽全力去理解我在工作中可能遇到的困难”、NSS中“关于我的课程，我已经得到了足够的建议和指导”等选项，又如，“我喜欢本课程教学平台上的资源”“我是通过如下途径来解决学习中遇到的困难（直接问老师、与同学讨论仍解决不了再问老师、向同学请教、通过网络独立解决、其他）”等。

效果反馈维度的指标设计主要关注反馈途径是否畅通和课程总体满意度两个方面。学习体验是教师教学与学生学习互动的结果，反馈途径的畅通是形成良好的学习体验的重要影响因素，在选题上可以参照CEQ中“工作人员花了很多时间来评论我的工作”“教职人员通常会给我有关我进步情况的有用反馈”“老师重视我对课程的看法和意见”等提法。在课程满意度上可以参照CEQ中“对课程表示总体满意”“提高了团队能力、分析能力、问题解决能力、书面交流能力、自信力和规划能力这6项通用技能”等表述。

3.信效度检测

在信效度检测上，综合国际学习体验调研典型量表的经验，建议使用五分量表法计分，收集数据，建立数据库，对数据进行预处理及逻辑核查；使用数据统计分析工具（如SPSS 22等）对数据进行统计，并进行描述性分析和正态性检验；通过计算Cronbach’sα系数、Pearson或Spearman-Brown系数考察问卷的信度和效度。最后，通过回归分析、聚类分析、因子分析等确定“事库”“例库”中某些指标作为必选评价指标，其余指标作为自选评价指标。自选评价指标可以在实践中不断优化以提高指标的信度和效度。由于不同类型学科在认识论假设和教育目标上的差异，“学生体验受到学科领域、课程类型、教学方式等多种变量影响等”，［16］需要考虑针对不同学科、类型、层次的课程以及学生兴趣与学习特性差异，设计个性化的指标或者选题，形成个性化的评价指标体系，以此增强问卷的针对性和有效性。