国外大学生学习调查与评价方式研究
2015-12-15陈乐
陈乐
国外大学生学习调查与评价方式研究
陈乐
质量保障是大众化高等教育的核心主题之一,进入21世纪以来,国际上开始从大学生学习调查与评价的视角探索高等教育质量保障的有效路径。本文以国外具有代表性的六个大学生学习调查项目:NSSE、AUSSE、NSS、SERU、UCUES、AHELO为切入点,分析国际大学生学习调查项目的运作模式和基本特点及其发展趋势。未来将会有越来越多的高校参与学生调查项目,大学生学习调查的理论基础、分析框架、方法工具等方面都会进一步改革。
高等教育 质量保障 大学生学习调查 国际趋势
上海市教育科学研究重点项目,“市属高校本科教学工作审核评估的理论研究”(A1501)。
高等教育大众化带来高等教育规模跨越式发展的同时也引发了高等教育质量危机。“加强社会问责、建立高等教育质量评估的社会中介组织”等思路是有益的探索,然而并未触及问题的根源。美国著名高等教育专家伯顿·克拉克认为“教育改革只有触及底层操作结构才能产生实际意义”[1]。也就是说要想改变现状,提高高等教育质量,就必须要深入到教育活动的微观操作层面去改革。要“重视教育质量的生成过程——质量是在活动中生成的,有什么样的活动就有什么样的质量”[2]。教育最基本的活动就是教与学,即教学和学习——学生是否真正投入到学习当中,获得了怎样的学习成果;教师的教学是否促进了学生的学习与发展——这些才是决定高等教育质量的基本因素。国外高校开始越来越重视对学生学习成果的调查和评价,以改进高等教育质量并回应高等教育问责。[3]
进入21世纪这十多年来,国际上越来越多的高等教育机构和社会组织开展了大学生学习调查项目,如:NSSE、A U SSE、NSS、A H E L O、SE R U等,他们通过实际调查搜集了大量有关课程、教学、学生的学习投入、学习结果的数据信息,不仅帮助高校更准确地追踪大学生的学习与发展,也为高等教育质量改进提供了坚实的数据支撑,还回应了公共问责的需求。从全球范围来看,未来会有越来越多的高校重视学生学习的调查与评价并组建或参与相关项目,以此作为改进高等教育质量的重要途径。
大学生学习调查与评价
大学生学习调查与评价主要涉及三个方面的内容:一是学生的学习投入(stu d ent engagement),“学习投入”包含两个层面的含义:(1)学生在学习以及其他教育活动(e d ucati o na l purp o sefu l activity)中投入的时间和努力的程度;(2)学校如何配置资源、组织课程以及其他学习机会,以促进学生参与到和学习有关的活动中①。学习投入——学生的课堂准备、积极的课堂发言与讨论、课后阅读、与教师和同学的交流互动、参与实践活动等直接影响着学生的学习成果。第二个要调查的内容是“学习成果”(l earning o utc o mes),“学习成果”包括多方面的内容,总体而言涵盖知识、技能、能力等要素,这些要素包含着非常丰富的内容,比如“能力”包括“创造性思维能力、分析推理能力、交流写作能力”等。学习成果反映了大学生接受高等教育之后所取得的个人成长与发展的程度,是大学生未来生涯发展的基础,也是高等教育质量的基本体现。除了“学习投入”和“学习成果”之外,学生的“背景信息”是调查的第三个重要内容,主要指学生进入大学之前的相关信息,包括学生的家庭经济状况、父母的受教育程度、个人性格特征、高中时期的学业水平等要素,这些要素对他们在大学期间的学习投入和学习成果无疑具有重要影响。
大学生的“背景信息”“学习投入”“学习成果”三者构成“接受高等教育前、中、后”一个学习与发展的过程脉络。美国学者Astin (1970)提出“输入——环境——输出”(input-envir o nment-o utput)的框架以分析学生进入大学前、中、后的发展过程。[4]其中“输入”对应于“背景信息”;“环境”即学校的教育环境以及学生对教育环境的利用程度,对应于“学习投入”;“输出”对应于“学习成果”。这个框架成为国际上大学生学习调查项目的基本概念框架,具体项目可能在这三个方面有所侧重:有的调查项目侧重“学习投入”,有的项目侧重“学习成果”。此外,不同调查项目所涉及的“学习投入”“学习成果”的具体内容也有所差异,但总体而言,大多数调查项目或直接或间接都包含学生背景信息、学习投入、学习成果三个主要方面。通过这三个方面的调查,了解学生学习与发展的基本情况,也通过调查数据,进一步挖掘与分析影响学生学习的因素,从而对高校教育教学改进提供可靠的参考信息,进而促进高校教育质量的改进,并回应高等教育的公众问责。
通过大学生学习调查以保障高等教育质量的思路在国际上产生重要影响,已成为主流趋势。“在许多情况下,由高等教育带来的相对价值(re l ative va l ue)是按照新知识和新技术的商业化程度来衡量的,然而,同等重要和关键的还要了解学生从他们的高等教育体验中得到了什么,他们学到了什么、学得怎么样(w h at an d ho w we ll t h ey l earn)以及他们所获得的技能和知识如何服务他们个人的兴趣,以及其他更加宽广的社会目标”[5]。
为了解学生学到了什么、学得怎样,国外大学或社会组织开展了各式各样的大学生学习调查项目,其中NSSE、A U SSE、NSS、SE R U、U C U ES、A H E L O是比较有代表性的项目,这六个项目的主办者、覆盖范围、调查对象、调查内容、调查方法都各有特色。本文从这六个各有特色的大学生调查项目切入,分析国际上大学生学习调查项目的基本运作模式及其特点,并探析从大学生学习调查的视角保障高等教育的质量。
国外大学生学习调查的典型案例
1.NSSE
NSSE——Nati o na l Survey o f Stu d ent Engagement,即“(美国)全国大学生学习投入调查”,是美国印第安纳大学创立的大学生学习调查项目,主要调查本科生学习投入和学习成果。高校可根据调查结果了解本校学生的学习投入和学习成果的情况,还可与同类院校进行对比。该项目的基本信息如表1所示。
NSSE通过调查大学生的学习投入和学习成果,了解大学生学习与发展的实际情况,从而为高校改进教育政策、改革教育模式、改善教育质量提供信息和数据的支持。NSSE创建时间较早,规模较大,发展较为成熟,为世界其他有关大学生学习投入的调查项目建立了基本框架和模式,后来各国发展起来的调查项目都或多或少借鉴了NSSE的经验。比如,澳大利亚的A U SSE项目、我国清华大学主持的“中国大学生学习与发展追踪研究”项目(CCSS——C h inese C oll ege Stu d ent Survey)都源自于NSSE。2012年,NSSE进行全新改版,于2013年推出新版的NSSE调查②。新版的NSSE调查问卷的基本结构如表2所示。
2.A U SSE
A U SSE——Austra l asian Survey o f Stu d ent Engagement,即“澳大利亚大学生学习投入调查”。该项目由澳大利亚教育研究委员会于2007年创立,借鉴了NSSE的经验,并进行了一定的修改。A U SSE的基本信息如表3所示。
A U SSE调查问卷的整体框架和问卷的题项都与NSSE相似,具体内容上有一定的修订。问卷包括6个方面的“学习投入”(stu d ent engagement)和7个方面的“学习成果”(l earning o utc o mes),如表4所示。
A U SSE除了本科生调查之外,还发展了“研究生学习投入调查”(POSSE——P o stgra d uate Survey o f Stu d ent Engagement)和“教师学生投入调查”(SSES——Staff Stu d ent Engagement Survey)两个调查项目。POSSE调查研究生的学习投入和学习成果,问卷内容和A U SSE本科生调查问卷相同。SSES调查教师个人信息以及教学情况,并从教师的视角评价大学生学习投入的程度和学习成果的质量,有专门的调查问卷。随着国际上大学生学习调查项目的不断发展,调查对象将从本科生延伸到研究生以及教师,从A U SSE所延伸出的两个项目可以看出这一趋势。
表2 新版NSSE问卷的基本结构
表3 AUSSE的基本信息
表4 AUSSE调查问卷的基本结构
3.NSS
NSS——Nati o na l Stu d ent Survey,即“(英国)全国大学生调查”。该项目创立于2005年,由英国高等教育拨款委员会负责协调。NSS的基本信息如表5所示。
NSS侧重于调查学生对课程质量的看法以及学生个人发展的情况,调查问卷的主要指标有八个模块:课程教学、评价与反馈、学业支持、组织与管理、学习资源、个人发展、总体满意度、对学生会的满意度。每个指标之下有若干个题项,整个问卷有24个题项,相比于其他调查项目而言,NSS的问卷题量较小,回答较为容易。目前NSS正在进行改版,修订当前调查问卷,经过反复试验和讨论,将于2017年开始新版NSS调查③。
4.SE R U
SE R U——Stu d ent Experience in t h e R esearc h U niversity,即“研究型大学学生就学经验调查”。该项目由加州大学发起,在全球范围内开展针对研究型大学学生的就学经验的调查。SE R U的基本信息如表6所示。
SE R U的基本框架是“输入(学生背景信息)——环境(学习投入)——输出(学习成果,学生满意度)(如表7所示),通过这些方面的调查了解学生的学习经验,从而为学校改进教育质量提供参考信息。
表5 NSS的基本信息
表6 SERU的基本信息
表7 SERU的基本框架
5.U C U ES
U C U ES——U niversity o f Ca l if o rnia U n d ergra d uate Experience Survey,即“加州大学本科生就学经验调查”。该项目是加州大学SE R U项目的一个部分,基本框架相似(如表7所示)。与SE R U不同的是,U C U ES是加州大学内部的调查项目,针对加州大学9个分校。U C U ES的基本信息如表8所示。
表8 UCUES的基本信息
6.A H E L O
A H E L O——Assessment o f H ig h er E d ucati o n L earning Outc o mes,即“高等教育学习成果评估”。是由经济合作与发展组织(OEC D)于2008年创立的大学生学习调查项目,旨在测量大学生毕业之时所获得的学习成果,并通过调查进行跨国、跨语言、跨文化的对比,以帮助高校了解自身的教育质量状况并进行改进。该项目于2010—2013年进行“可行性研究”(Feasibi l ity Stu d y)以考察“对大学生毕业时所获得的知识和技能进行评估,是否可行是否科学”。④目前A H E L O尚处于发展的初期,调查工具和方法也在不断试验之中。A H E L O的基本信息如表9所示。
与其他项目仅调查大学生的通用技能不同的是,A H E L O既调查大学生毕业时所掌握的“通用技能”(Generic Ski ll s)也调查“专业技能”(D iscip l ine-specific ski ll s)。其他项目调查学生的学习成果一般主要包括“课程成绩、人际关系、解决问题的能力、量化分析的能力等”,A H E L O所指的“通用技能”主要包括“批判性思维、分析推理、问题解决、写作交流能力”。
国外大学生学习调查项目的对比分析
从上述分析可知,NSSE、A U SSE、NSS、SE R U、U C U ES、A H EL O六个大学生学习调查项目各有特色,调查内容、调查方法、调查对象等方面有各自的侧重,表10展示了六个项目的基本特点:
结合表10,将六个项目进行比较分析,可得出如下基本结论:
表9 AHELO的基本信息
表10 六个调查项目特点的比较
1.从覆盖范围来看,六个项目中既有本国的项目也有跨国项目。跨国项目需要考虑不同语言、不同文化的差异,调查问卷的编制、调查结果的分析就更为复杂。总体而言,覆盖面小的调查项目更能切合当地的特征;而覆盖面大的调查项目的调查结果能够进行大范围的对比,发现高校之间的差异和优劣。
2.从参与高校来看,SE R U和U C U ES只针对研究型大学;NSSE 和A U SSE主要针对四年制的学院或大学;NSS和A H E L O没有限制参与调查的高校类型。从上述分析可以看出,不同项目的参与者各有不同,所有项目组合起来囊括了现有的高等教育机构类型。不过针对不同层次的高校,调查问卷的设计也要有所区别,方能体现高校的特点。
3.从调查对象来看,大多数项目都调查了大一和毕业班学生的情况,将二者数据进行比较,可以看出学校教育给学生带来了怎样的变化和提升。此外,A U SSE和SE R U分别从2012年和2014年开始进行针对研究生的调查(SE R U的研究生调查项目尚处在试验阶段),说明经过十几年的发展,大学生调查项目的调查对象范围在逐渐扩大,未来或将开展高中生的调查项目,由此可以了解高中、本科直到研究生各个层次的学生的学习状况及其相互影响机制。
4.从调查目的来看,“促进学生学习与发展”是所有大学生调查项目的共同目的。实际上,人才培养质量是高等教育质量的重要方面,“促进大学生学习与发展”是促进“质量改进”的重要途径,同时也是“回应问责”的重要方式。因此,各种目的实际上是相互关联的,从大学生学习与发展的视角切入,能够找到提高高等教育质量以及回应公众问责的有效路径。
5.从调查内容来看,“学习投入”“学习成果”和“学生背景信息”是各个项目都涉及的主要内容,但不同项目的侧重点不同。如NSSE调查的“学习投入”涉及到课堂准备、课外活动、师生交流等多个方面;而NSS主要侧重“教学和学习方面”。此外,除A H E L O既调查通用技能也调查专业技能之外,其余项目都只调查通用技能。调查专业技能是必要的,但调查的难度较大一些。
6.从调查形式来看,所有调查项目都采用问卷调查的方式,只有A H E L O采用问卷调查和任务测试相结合的方式,这也与其调查内容有关(既调查通用技能,也调查专业技能)。
7.从完成调查的时间来看,A H E L O调查问卷耗时较长,需要90-120分钟,其余调查项目的问卷只需15-30分钟。调查时间过长,可能会降低学生完成调查的认真程度,最终影响数据的可靠性。Ou L y d ia L iu等人(2012)指出学生对待调查问卷的动机和态度对调查结果的可靠性具有较大影响。[6]因此,在设计调查问卷时要考虑这一因素,综合调查内容、数据可靠性等多个要素,控制好问卷的长度。
8.综合上述分析,不同调查项目各有侧重,各有特色。此外,大学生学习与发展的调查项目已有十几年的发展历史,各个项目都在不断地进行修改:重构基本理论,优化调查问卷,创新调查工具和调查方法,增加研究生调查、专业调查,乃至高中生调查,是未来的发展趋势。从目前的调查来看,访谈法尚未得到很好的应用,未来可以进一步从这一方面去思考。
国外大学生学习调查的趋势展望
综上所述对国外六个具有代表性的大学生学习调查项目的系统性对比分析可大致把握国际大学生学习调查的发展趋势:
1.从调查的覆盖范围和参与调查的高校来看,未来将会有更多的国家和地区、院校参与其中。一方面可提高大学对学生学习的重视度,另一方面可将调查结果进行校际、国际间的对比,从而帮助高校了解自身情况,激励高校进行自我改善。此外,在进行跨文化、跨语言的比较时,面对的问题会更加复杂,随着AH E L O项目的进一步推进,在这方面将会积累更多的可资借鉴的经验。
2.从调查对象来看,未来将不仅局限于本科生的调查,从2012年开始已有项目陆续开发研究生的调查项目(如A U SSE、SE R U)以及针对教师的调查项目,也有项目开始调查高中生的学习投入。扩大调查对象是基本趋势,因为本科生的教育质量受高中教育质量的影响,本科教育质量也会影响研究生教育质量,了解各个层次学生的学习与发展的情况,将有助于不同层次的教育之间的相互协调,共同致力于人才培养质量的改进。
3.从调查内容来看,目前基本上没有哪个项目仅仅调查学生的“学习投入”或者“学习成果”,一般都会将“学生的背景信息”“学习投入”“学习成果”都考虑在内,从而全方位了解学生的学习状况及其影响因素。未来还需在调查的基础上开展深入的研究,理解大学生学习与发展的内在机理,优化调查问卷的基本概念框架,使得调查问卷更能贴近学生的实际,搜集到更有效的数据。
4.从调查方法来看,目前大部分的调查项目都采用问卷调查的方法,少数项目采用测试或任务操作的方式(如A H E L O)。但访谈法尚未得到有效的应用,访谈法能够搜集到更加深入的信息,有助于深入剖析大学生学习与发展的状况。未来的调查或将采用访谈法作为问卷调查的补充,同时也会针对访谈法的局限进行一定的优化。
5.从调查数据的使用情况来看,大学生学习调查的数据帮助高校了解学生学习与发展的情况,为教育教学改革、高校教育质量改进提供了数据信息的支撑。但大学生学习调查数据是否被充分利用?学生的学习与发展是否因此而得到改善?这是大学生学习调查项目以及参与调查的高校需要思考的问题,未来高校将进一步对数据进行挖掘,充分利用数据资源进行分析,更深入地理解大学生学习与发展的机理,提出更有效的教育教学改革方案。
结语
现代大学自中世纪诞生伊始,便把人才培养作为基本的职能。人才培养质量顺理成章成为高等教育质量的重要部分,因此从大学生的学习与发展的视角思考高等教育质量保障的策略是必然的选择。“要想获得教育改革的成功,要想保障、评估和提高高等教育质量,以学习者为主体,以学为中心才是根本”。[7]从国际大学生学习调查项目的发展历程及发展趋势来看,未来世界各国高等教育机构都将越来越重视大学生学习过程、学习成果的评价与改进,我国高校也已逐渐意识到这一点,目前已有许多大学参与了相关调查项目。我国高等教育规模庞大,高校数量众多,高校的层次和类型也已走向多元化,在我国建立分层分类的大学生学习调查系统十分必要。通过在多所高校大范围、常规化的大学生学习调查,积累大量数据,有助于建立我国大学生学习与发展的追踪系统,并为大学人才培养和高等教育质量改进提供强大的数据支持。国外大学生学习调查项目经过多年运作已积累了丰富的经验,其运作模式、调查方法和工具可资借鉴。但需要指出的是,国外的大学生学习调查根植于特定的社会文化和校园文化,借鉴国外经验的同时也必然要考虑我国高校的基本情况,不然就会陷入“水土不服”的窘境。
注释:
①National Survey of Student Engagement(NSSE).About NSSE:W hat is student engagement[EB/OL][2015-10-04],http: //nsse.indiana.edu/htm l/about.cfm.
②2013年以前,NSSE的大学生学习投入调查问卷主要包括五大可比指标(Bench Mark):学业挑战度、主动与合作学习、师生互动、丰富的教育经历、学校环境的支持。2013年起,NSSE的大学生学习投入调查问卷主要包括四个主题(theme):学业挑战度、同伴学习、与教师的经验、学校环境(见表2)。
③National Survey of Student(NSS).Timetable for further development of the NSS[EB/OL][2015-10-06],http://www. hefce.ac.uk/lt/nss/future/.
④OECD.Getting the right data:the assessment instruments for the AHELO feasibility study[EB/OL].[2015-10-06]. http://www.oecd.org/edu/skills-beyond-school/gettingtherightdatatheassessmentinstrumentsfortheahelofeasibilitystudy.htm#generic.
[1]伯顿·克拉克:《高等教育系统:学术组织的跨国研究》,王承旭译,杭州大学出版社,1994。
[2]别敦荣、邵士权:《高等教育质量观与优质高等教育的发展》,《大学(研究与评价)》2007年第10期,第50-56页。
[3]Ou Lydia Liu.Outcomes Assessment in Higher Education:Challenges and Future Research in the Context of Voluntary System of Accountability.Educational Measurement:Issues and Practice,2011,30(3):2-9.
[4]Astin,A.The Methodology of research on college impact.Sociology of Education,1970,43:223-254.
[5]菲利普·阿特巴赫、利斯·瑞丝伯格、劳拉·拉莫利:《全球高等教育趋势——追踪学术革命轨迹》,姜有国、喻恺、张蕾译,上海交通大学出版社,2010,第102页。
[6]Ou Lydia Liu,Brent Bridgeman,Rachel M.Adler.:“Measuring Learning Outcomes in Higher Education Motivation Matters”.educational researcher,2012,41(9):352-362.
[7]郭芳芳、史静寰:《全球化时代高等教育质量保障的特点和发展趋势——基于“全球化时代大学生学习与发展研究”国际研讨会的分析》,《比较教育研究》2015年第2期,第24-29页。
(作者系同济大学高等教育研究所硕士研究生)