混合型考核机制对大学生成绩的影响
——基于经济学课程的实证分析
2018-03-01顾振华
顾振华
(上海商学院商务经济学院,上海201400)
一、引言
在缺少家长和教师监督的环境下,如何让大学生将更多时间用于学习一直是教育界普遍关心的问题。生动有趣的课堂、循循善诱的教授、别开生面的师生互动无疑有利于学生的学习投入(Bransford et al.,1999)[1],而考核机制则是经济学视角下影响学生时间和精力分配的最重要因素(Scouller,1998;刘金石,2013)[2,3]。在现实环境下,学习成绩的高低直接决定学生的就业、升学、出国、奖学金等,而平时成绩、期中考试和期末考试是国内高校多数课程考核的三大组成部分,它们按一定权重值相加形成学生的课程成绩。①这种考核方式之所以被多数高校和教师所采用,一是它拥有清晰的成绩计算方法,易量化比较和分析;二是师生都有明确的以教材内容为主的考核导向,并在一定程度上兼顾平时课堂表现。不过,不少教育界人士对该考核机制是否能够全面评价学习效果持怀疑态度(邓建平,2014;Watts and Becker,2008),他们认为以考试为主的考核侧重于学生的理解能力,无法很好地衡量学生运用知识解决实际问题的能力。那么,是否有一种考核机制既能引导学生自主平衡书面成绩和实践应用,又不增加教师额外的工作量?是否能寻找到一种评价方法可直观地观察考核机制转变对学生的影响?
本文以经济学课程为例,设计了一个兼顾书面考试和案例分析的混合型考核机制,通过控制异方差的最小二乘法(OLS)和倾向得分匹配法(PSM)对该机制的效果进行实证分析。从结果来看,混合型考核机制可激发学生学习积极性,当学生对成绩提出挑战后,主观案例分析或论文撰写会促使其投入更多时间进行学习,最终提高月考成绩和总成绩。该考核机制对于学习基础较好的学生而言,积极作用更显著。
本文设计的创新考核机制在形式上既有客观书面考试,又有主观案例分析,采用回归模型定量分析考核机制对学生成绩所产生的影响,在技术上对模型的内生性问题采用倾向得分匹配法进行控制。
二、文献综述
以学生为本、以综合能力培养为核心是目前国内外高校教育教学改革的重点,有关高校课程考核机制的研究亦是如此,不少文献从定性的角度阐释如何确定考核目标、如何丰富考核内容以及如何全面反映学生学习效果。Gibbs和Simpson(2004)、McGoldrick 和 Schuhmann(2013)认为相比以客观题为主的考试,案例分析和课程论文撰写更有助于培养学生的逻辑思维和信息处理分析能力。林静(2010)、樊瑜等(2014)以及班娟(2015)提出“考、教、学”三位一体的考试评价体系,倡导以考促教、以考导学、以考评教的理念,设计出包括语言表达、创新思维、知识运用和知识掌握等多角度评价的考核机制。张国生(2015)以《Visual Basic程序设计》课程为例,提出建立多维立体化教学资源库并结合多媒体网络教学。冯江茹等(2015)认为网络课堂是未来大学教育的主要形式之一,课程考核机制将与网络紧密结合,在其所授的《宏观经济学》课程中,网络试题库的卷面分、网络课堂讨论表现以及随机案例分析是最终成绩的组成部分。
上述研究基本达成共识,即用多维考核机制代替以书面考试为主的课程评价方法。然而,无论是增加主观评价法,还是强调多媒体网络的作用,多数学者仅完成考试机制的设计部分,并没有对其效果进行完整的客观评价。正如McGoldrick和Schuhmann(2016)所言,创新的考核机制由于包含更多内容,将会给师生带来额外的时间成本,其效果未必如设想的那样美好。鉴于此,本文通过实证模型对所设计的混合型考核机制进行量化评价,以此客观地观察其对学生学习效果的作用。该方法不仅可应用于经济学课程,还可推广到更多课程领域。
三、机制设计、数据和方法
(一)机制设计
上海商学院是以商立校的应用型本科院校,经济学课程是大一和大二必修的公共基础课,总时长为18周。②和大多数基础课程一样,平时成绩、期中考试和期末考试是考核的三个部分,三个成绩按一定权重相加得到学生最终成绩。本文使用混合型考核机制替代原有机制:(1)以月考代替期中和期末考试,前三次月考随堂进行,末次在第17周单独进行,权重分别为 20%、30%、20%和 30%;(2)在前三次中的每次月考结束后,如果学生发挥欠佳,可提出挑战,教师将会在下次月考前统一给学生布置挑战内容,让学生在一定时间内完成并提交,取挑战成绩和上次月考成绩中较高的进行记录;(3)月考以选择、判断、计算等客观题为主,而挑战以案例分析或小论文写作等主观题为主,学生需要运用所学知识解决实际问题。之所以设计这种混合型考核机制,一是书面知识和实践应用的结合可系统考查学生学习效果;二是在两次月考间安排一次挑战既可调动学生学习积极性,使其多一次获得高分的机会,还可使其温故知新,为下次月考做更充分的准备(Kulik et al.,1990)。相比已有研究提出的网络考评、“考、教、学”结合等机制,本文设计的考核机制内容更简单明了,成绩更易量化,效果更易评估,且四次月考加上一次可能的挑战均在原有课时中完成,并未给教师增加更多的工作量。
(二)样本选择
本文样本类型为横截面数据,包括2015—2016学年第一学期至2016—2017学年第一学期大一、大二以及重修共13个班级的学生,共525个样本值。所使用的数据主要分为两部分,一是学生的个人特征数据,包括性别、民族、生源地、文理科、高考成绩及学习绩点等;二是经济学课程成绩数据,包括月考和最终成绩等。个人特征数据来自于班主任和辅导员提供的学生详细信息,以往经济学课程考试数据来自教务处。
(三)模型设定与变量定义
评估混合型考核机制对于学习效果的影响不仅要观察学生选择挑战后的月考成绩,还要观察该考核机制是否调动了学生学习积极性,从而提升学习效果。基于此,本文建立式(1)—(3)的实证模型:
其中,exam表示学生四次月考的成绩;challenge代表学生在第几次月考后是否选择进行挑战,选择则为1,不选择为0;cum_sc表示课程最终加权总成绩,schallenge代表学生在学习期间是否申请过挑战,是为1,否为0;X是解释变量向量,主要包括学生特征数据;gender是学生性别的虚拟变量,男生为1,女生为0;people是学生民族的虚拟变量,汉族为1,少数民族为0;ecw代表学生的生源地,2为东部,1为中部,0为西部;gpa反映学生已获得的绩点;class是文理科虚拟变量,1为理科,0为文科;grade代表学生的年级,0为大一,1为大二,2为重修班;ncee是高考成绩虚拟变量,1表示该学生的成绩超过来自同一生源地学生的成绩中位数,0表示未超过。③
(四)计量方法和内生性处理
由于横截面数据包括生源地、性别、民族等学生个人特征不尽相同,因此要考虑异方差问题,本文采取Huber-White稳健性标准误进行调整。同时,为了克服样本中离群值的影响,本文对所有连续变量在前后1%的水平上进行winsorize缩尾处理。由于解释变量为是否申请挑战,而被解释变量为下期月考成绩,因此样本选择产生的内生性问题并不明显。考虑到式(3)中加权总成绩与是否申请挑战可能存在相互影响,本文使用PSM方法作为稳健性检验以缓解内生性问题。
四、结果与分析
(一)描述性统计
表1报告了525个样本值的描述性统计结果,从各变量的平均值和标准差中可见,经过winsorize缩尾处理后,整个样本基本不再受离群值的干扰。从对四次月考成绩的描述来看,平均值基本保持在60分左右,第二次和第四次月考的标准差较大,说明学生成绩波动较大,这可能是由于两次考试权重较高,又恰是期中和期末考试时间,学生复习课程较多,心理较紧张。从三次挑战申请的描述情况来看,第一次月考结束后申请挑战的学生最少,而第二次月考结束后申请挑战的学生最多,原因可能是第一次月考较简单,多为绪论、简单供求理论及价格理论,学生成绩较高,且多数学生对新考试机制并不熟悉,因此申请挑战的人数并不多;第二次月考相当于过去的期中考试,内容是微观经济学的核心内容,包括消费者行为和生产者行为,难度相比第一次月考提升很多,不少学生的成绩并不理想,加上第二次月考的权重较大,想通过挑战取得更好成绩的学生数量自然有所增加。
经济学课程要用到不少数学知识,且涉及很多晦涩的专业词汇,在文科基础课中较有难度,这也反映在cum_score的结果中:最终平均成绩刚超过合格线,近四成学生不合格。从schallenge结果中可见,学生并不排斥混合型考核机制,92%的学生申请过挑战,考试次数有所增加,但提高成绩的渠道也增加了。从各个学生特征变量可知,50%以上来自东部地区,25%为少数民族,平均绩点在3.0左右。
表1 回归变量的描述性统计
(续表 1)
(二)相关性分析
表2报告了月考成绩变量和挑战申请变量的Pearson相关性分析结果,是否接受挑战申请对于下次月考成绩基本存在正相关关系,虽然第三次挑战与第四次月考相关关系的显著性不高,但申请挑战在10%的显著性水平上对总成绩存在正相关关系,这初步证明混合型考核机制对学生学习效果有积极影响。由于表2仅考虑变量两两相关关系,更准确的结果仍需实证模型和回归分析得到。
表2 相关性分析
(三)回归结果与分析
表 3列出了式 (1)—(3) 的回归结果,从challenge1—3的系数来看,申请挑战与否对下次月考成绩存在正影响。参加第一次挑战的学生在第二次月考中提高逾3分,参加第二次挑战的学生在第三次月考中提高逾2分,两次结果均至少在10%的显著性水平上显著。参加第三次挑战的学生在最后一次月考中提高约1.5分,但该结果仅在15%的显著性水平上显著。这说明混合型考核机制可调动学生学习积极性,使学生较主动地学习。从schallenge的系数可见,参加过挑战的学生总成绩提高约2分,且该结果在10%的显著性水平上显著,这更说明本文设计的考核机制对经济学课程整体效果有帮助。
除考核机制外,学生的部分个人特征也对成绩有显著影响。其中,学生已取得的成绩绩点和高考分数对月考和总成绩有显著影响,绩点成绩越高或高考成绩越好,月考成绩和总成绩则越高,这说明学生基础扎实与否是影响成绩的重要因素。从生源地来看,来自中部地区的学生比东西部的学生表现更好。
表3 回归结果
(续表3)
(四)稳健性检验
本文使用PSM方法作为稳健性检验的一种,表4报告了倾向得分匹配的结果。首先,无论是月考成绩还是总成绩,除挑战变量challenge外的其他控制变量在实验组和对照组均不存在10%显著性水平以上的差异,这更凸显混合型考核机制对学习效果的影响。根据是否申请挑战划分的实验组和对照组,经过PSM后的月考成绩基本都在10%的显著性水平上存在差异,申请挑战的实验组平均月考成绩约为73分、60分和58分,未申请挑战的对照组为70分、55分和56分,这进一步证明申请挑战有助于学生在下次月考中的表现。经过PSM后实验组和对照组的最终成绩显示,实验组平均成绩接近63分,对照组约为61分,这也说明混合型考核机制有助于学生学习效果的提升。
从表2可知,高考成绩往往反映学生的基础,是影响学习效果的重要因素。基础较好的学生想要获得高分,对不同考核机制的反应程度更明显。鉴于此,表5报告了混合型考核机制对拥有较高高考成绩学生的作用,学生申请挑战后月考成绩有较显著的提高,总成绩比未申请挑战的学生高2分左右,这与表3的结果一致,且表5的整体显著性略优于表3。另外,本文依据不同性别、班级以及生源地对样本进行分组回归,结果基本支持混合型考核机制的积极效果,因此结果是较稳健的。
表4 稳健性检验A-倾向得分匹配
表5 稳健性检验B-分组回归
五、结论与启示
注:***、**和*分别代表1%、5%和10%的显著性水平(双尾),类别变量ecw和grade被分解为两个虚拟变量参与回归
为了在众多教育理念中寻找到能真正激发学生积极性并提高学习效果的考核机制,并对其进行客观评估,本文以经济学课程为例,设计了一个兼顾客观题和主观分析的混合型考核机制,并通过控制异方差OLS和PSM法对该机制的效果进行实证分析。从结果来看,混合型考核机制可激发学生学习积极性,当学生对成绩提出挑战后,主观案例分析或论文撰写会促使其投入更多时间学习,从而提高月考成绩和总成绩。与此同时,该考核机制对基础较好的学生积极作用更显著。
当前,教育界和学术界大多提倡通过丰富教学手段、增加课堂互动、更新教材内容等方法吸引学生注意力,激发学生积极性并提升学习效果。然而,这些方法在一定程度上给师生增加了额外负担,师生必须在原有课时外投入更多时间和精力,从经济学角度而言,这种时间成本的增加会稀释其积极效果。本文从考核机制入手,强调通过改变考核机制也能吸引学生注意力,帮助其提高成绩,本文设计出一个混合型考核机制,并利用实证模型进行了较客观和准确的评估。在大数据发展迅猛的今天,定量分析有助于研究者发现、分析和解决问题,因此本文的评估方法不仅可应用于考核机制对学习效果的评估,还可推广到更多的教育研究领域中。
注 释:
①上海商学院的权重为平时成绩10%、期中成绩30%、期末成绩60%。
②本文提到的经济学课程包括《经济学概论》《经济学基础》和《经济学》。虽然上海商学院的这三门课程名称略有差异,但教材相同、授课内容接近,因此将之视为相同课程一起作为研究对象。18周课时中,第18周一般被安排为试卷批改和答疑。
③在实际回归过程中,将类别变量ecw和grade展开成虚拟变量形式参与回归。
[1]Bransford,John D.,Brown A.L.,Cocking,R.How People Learn:Brain,Mind,Experience,and School[M].Washington DC:National Academies Press,1999.
[2] Scouller K.M.The Influence of Assessment Method on Students’Learning Approaches:Multiple Choice Question Examination versus Assignment Essay[J].Higher Education,1998,35(4):453-472.
[3]刘金石.公共基础课程大班教学中的学生考评机制创新探析——以微观经济学课程为例[J].中国大学教学,2016(6):81-83.