“社会称许性”影响大学生学情调查的实证研究
2014-04-10蒋华林邢全超朱晓华
□ 蒋华林 邢全超 吴 芳 朱晓华
一、引言
广义上的学情调查由来已久。从现有文献看,1988年赵振旗在国内较早明确提出“学情”概念[1]。同年,学者北江介绍了我国台湾地区与日本、美国学生“学情习况之对比”[2]。国内高等教育领域较正式的学情调查在20世纪90年代开始兴起,当时主要是从学习科学的视角进行探讨。如1994~1995年,“大学学习理论与方法”课题组曾对湖北省21所高校、5641名大学生学习情况进行调查分析[3]。
近年来,随着“以学生为中心”教育思想和办学理念在高等教育理论研究和实践探索中的发酵以及教育教学评估的外部监督和问责强化,大学生学情调查研究在国内迅速兴起。如北京大学开展的“中国高等教育质量与学生发展监测项目研究”、厦门大学开展的“大学生学习情况调查研究”、中山大学开展的“中国大学生学习调查研究”以及南京大学等参与的“本科生学习经历调查”(SERU)等。
全国范围大规模开展学情调查,可能源于2007年清华大学开始引进美国“大学生学习性投入调查”(National Survey of Student Engagement,NSSE)工具。截至2013年底,清华大学“中国大学生学习与发展追踪研究”(Chinese College Student Survey,CCSS,原称NSSEChina)已累计有27个省区108所院校参加,在国内掀起了学情(学习性投入)调查的一轮高潮。据不完全统计,以CCSS为基础的学术(学位)论文量已超过40篇、研究报告上百篇。可以说,学情调查已经成为当前国内高等教育研究的新兴方向和重要领域,并已逐渐成为高校进行院校诊断的重要工具,在深化教学改革、提高教育质量中发挥着越来越重要的作用。
在国外,由于学生自我报告的教育收获(学情调查数据)被用于评估学生学习和发展的有效性受到质疑,如Pascarella(2001);Bowman(2010,2011);Bowman and Brandenberger(2010)等。一些学者开展了关于学情调查(NSSE)中社会称许性偏见效应的影响研究,如Gonyea(2005),Bowman & Hill(2011)等。但国内除少量关于调查工具信效度的论证或说明相关研究外,如罗燕(2009)、涂冬波(2013)等,大多是关于调查数据本身的静态呈现或立体解读,如罗燕(2009)、周玲(2011)、鲍威(2011)、史静寰(2012)、史秋衡(2012)、蒋华林(2012)、屈琼斐(2013)等,基本没有涉及到社会称许性的研究。
尽管CCSS早在2010年问卷中就设置了“社会称许性”量表,但只是提醒和建议参与院校在分析时应当注意,并在解释结果时保持谨慎,在实际分析中很少得到有效利用。也就是说,目前学情调查对社会称许性“既没有在理论上给予充分的分析,在实践中也没有很好地控制”[4](P47)。显然,如果不能有效控制“社会称许性”这一变量,则无论问卷本身的信效度如何“理想”,调查得到的数据都可能令人质疑;也无论研究者的研究方法如何“先进”,研究过程如何“科学”,其结果解释的效力可能也是要打折扣的。为此,本文拟利用国内某“985”院校C大学参加2013年度CCSS调查获得的数据,就社会称许性对学情调查的影响进行实证分析。
二、“社会称许性”的内涵与测量
社会称许性(Social Desirability,SD),也译为“社会期望”或“社会赞许性”,最初是从人格测验中的心理防卫行为中总结发现的,并由爱德华兹(Allen L.Edwards)于1957年首次提出[5],后被广泛应用于社会学研究之中。
1.社会称许性的含义
马洛和克罗恩(1961)认为,社会称许性是指人们(被试)获得社会赞赏和接受的一种需要,同时,人们还认为,这种社会赞赏和接受是可以通过文化上认同的、恰当的行为来获得的[6]。韩振华和任剑峰(2002)认为,社会称许性是指由社会主流文化或社会价值规范所包含的,被社会中绝大多数人称赞的意识或行为[4](P47)。
与社会称许性相关的另一个概念是“社会称许性反应”(Social Desirability Responding,SDR)。SDR通常被定义为被试“给出正向自我描述的倾向”,如泽布和保卢斯(1987)将SDR定义为个体按照现行的社会规范和准则而展示出有利于自己的倾向[7](P250)。但按照保卢斯后来(1999)的论述,它应更准确地表述为:作出过度正向(overly positive)自我描述的倾向[8]。如果这种反应偏离了被试的内心想法或内在本质,就会产生社会称许性偏见效应(Social Desirability Bias,SDB)。有两种力量影响SDB:一是使自己更好地呈现给访谈者或者研究人员的需要,二是为维护自尊的需要(Nancarrow and Brace,2000)。
本文所称社会称许性,是指在大学生学情调查中被调查大学生对于调查问卷中所设计的题项作出相应回答所表现出来的正向自我描述的倾向,即其社会称许性反应程度。
2.CCSS中社会称许性的测量
由于社会称许性对调查或测验的重要影响,人们就希望通过侦探和测量社会称许性偏见或者阻止和降低社会称许性偏见来解决社会称许性问题。侦探和测量社会称许性偏见的方法主要有两种:一是使用社会称许性量表,二是评定项目的称许性。阻止和降低社会称许性偏见,可选择的方法有迫选项目、使用中性项目、随机反应技术/随机化回答法等[9]。为此,一些学者开发了专门的SD量表,如Edwards的SD量表、Marlowe和Crowne的MCSD量表、Jacobson等的多维SD量表、Paulhus的BIDR量表等。
由于CCSS采用的是自陈式问卷调查,因此不可避免地受到社会称许性的影响。为此,自2010年以来,CCSS问卷中就直接嵌入SD量表(主要参考了MCSD量表),设计了若干题项,以测量被调查学生填答问卷的社会称许性。2013年版问卷包括6个题项(如表1所示)。
表1 CCSS2013社会称许性量表
每个题项设置4个选项:非常符合、比较符合、不太符合、非常不符合,并分别赋值100.00、66.67、33.33和0.00。然后通过计算算术平均数的方法算出SD,最高为100.00,最低为0.00分。SD得分越高,表明社会称许性效应越大;反之越小。
三、社会称许性与学情调查主要指标的关系
C大学参与了2013年CCSS调查,回收有效问卷共计5045份,有效回收率89.29%。经检验,样本具有较好的代表性。本文利用获得的调查数据,对SD与学情调查的核心指标:综合分析五项指标、学习诊断八项指标、院校诊断七项指标以及教育收获、满意度等之间的相互关系进行分析,以期揭示SD对学情调查的影响,即偏见效应。
为简化分析并考虑到C大学的SD常模为59.26,故将SD按得分分成五个区间:[0,20)、[20,40)、[40,60)、[60,80)、[80,100]。
1.SD与综合分析五项指标的关系
CCSS综合分析五项指标,包括学业挑战度(LAC)、主动合作学习水平(ACL)、生师互动频度(SFI)、教育经验丰富度(EEE)和校园环境支持度(SCE)。
统计分析发现,学生的SD得分与其在综合分析五项指标上的表现,在0.01水平(双侧)上显著相关。SD得分越高,其五项指标表现越好,反之越差(见图1)。
图1 SD与综合分析五项指标的关系
2.SD与学习诊断八项指标的关系
CC S S学习诊断指标共计8项:高阶学习(HOL)、反思与整合学习(RIL)、学习策略(LS)、数量推理(QR)、合作性学习(CL)、与多元人群的讨论(DDO)、生师互动(ind SFI)和互动质量(QI)。
统计分析发现,学生的SD得分与其在学习诊断八项指标上的表现,在0.01水平(双侧)上显著相关。SD得分越高,其八项指标表现越好,反之越差(见图2)。
图2 SD与学习诊断八项指标的关系
3.SD与院校诊断七项指标的关系
CCSS院校诊断指标共计9项,考虑到其中的“自我报告的教育收获”和“在校满意度”主要作为学习结果,抽出另行分析,故此处只有7项:课程认知目标(COC)、课程要求严格程度(CR)、课程学习行为(SL)、课外拓展性学习行为(ELE)、向学/厌学(SWL)、有效教学实践(ETP)和支持性环境(SE)。
统计分析发现,学生的SD得分与其在院校诊断七项指标上的表现,在0.01或0.05(CR、SWL)水平(双侧)上显著相关。SD得分越高,其七项指标表现越好,反之越差(见图3)。
图3 SD与院校诊断七项指标的关系
4.SD与教育收获、满意度的关系
CCSS的自我报告教育收获(SSLO)主要调查学生个人在知识、能力、素质等方面的“进步量”或增值大小;在校满意度(SSTF)包括学生整体就读满意度、学术经历等单项满意度以及向他人推荐所读院校的意愿的强度。
统计分析发现,学生的SD得分与其在SSLO、SSTF指标上的表现,同样在0.01水平(双侧)上显著相关。SD得分越高,其两项指标表现越好,反之越差。
四、社会称许性对学情调查数据使用的影响
上述分析在学情调查中“又一次”验证了自陈式问卷调查通常都会有的社会称许性效应,并且通过相关性分析验证了SD与学情调查主要指标之间的相关性,证明了学情调查中SD的客观影响,但目前仍缺乏更有说服力的实证数据来证明SD会实际影响到学情调查数据的使用及其研究结论的得出。为此,下面继续利用C大学调查数据,通过分析SD与学生自我报告的学业成绩、真实GPA之间的关系,进一步揭示SD对学情调查的影响。
1.SD与自我报告的学业成绩的关系
此处所称学业成绩,是指CCSS调查中学生填答的“与同班级/专业的同学相比”的成绩排名情况,共分五个档位:前5%,前5%~20%、前20%~50%、50%~80%和后20%。分析发现,C大学学生的SD得分与其在学业成绩上的表现之间的关系并不明晰,各区段SD都既有成绩好的学生,也有成绩差的学生(见图4)。
从图4可知,SD得分高、(按理)学习性投入(得分)多的学生,并不总是好成绩;SD得分低、(按理)学习性投入(得分)少的学生,并不总是差成绩。换言之,部分成绩较差(如排名后20%)而SD偏高的学生,其自我报告的学习性投入得分偏高,明显高于排名后20%学生的常模;部分成绩较好(如排名前20%)而SD偏低的学生,其自我报告的学习性投入得分偏低,低于排名前20%学生的常模。可见,社会称许性对学情调查数据有直接的影响。
图4 SD与学业成绩排位的关系(%)
2.SD与GPA的关系
上述成绩排名为学生自我报告,可能有一定误差或不够精确。这也是NSSE受到的主要批评之一:自我评价在多大程度上会夸大自己的学习收获和掌握的技能呢?[10]如果用学生真实成绩(GPA)来考察,情形又会怎么样呢?
分SD区段统计C大学5045个样本学生截止本次调查时所获得的GPA,结果表明,SD偏低的学生群体中,成绩特别差(GPA<1.0)和成绩中偏上(2.0≤GPA<3.0)的比例较高,成绩优秀(GPA≥3.0)的比例偏低(见表2)。
从表2可知,SD得分高、(按理)学习性投入(得分)多的学生,同样并不总是好成绩,其中高达11%的成绩较差(GPA<2.0)的学生,其SD在80分以上;SD得分低、(按理)学习性投入(得分)少的学生,也并不总是差成绩,其中高达35.71%的成绩较好(GPA≥3.0)的学生,其SD在20分以下。而且,SD≥80且GPA<2.0的学生的综合分析五项指标得分明显高于仅GPA<2.0的学生的常模;SD<20且GPA≥3.0的学生的综合分析五项指标得分明显低于仅GPA≥3.0的学生的常模。由此亦可见SD对学情调查数据的切实影响。
进一步研究发现,各SD区段学生的平均GPA没有明显差异。这说明SD得分高的群体,其GPA并无明显优势。那些SD得分高、学习性投入表现相应较好(得分高)的学生,其GPA并未“应然”地高;同理,那些SD得分低、学习性投入表现较差(得分低)的学生,其GPA并未“应然”地低。
上述分析表明,如果纯粹或主要从学生自我报告的学情调查数据(学习性投入情况)来判断学生的学习状态或院校本科教育质量,即只“用数据说话”,可能存在偏差或有失偏颇。这种偏差产生的原因也许正是忽略了SD这一变量的关键影响。这提醒我们,不能笼统地说,学习性投入调查得分高,其学习收获就大,或者说本科教育质量就高,而必须将SD纳入分析变量。
表2 C大学各SD区段学生的GPA分布(%)
五、结论与讨论
1.社会称许性对学情调查分析存在重要影响
一如前述,SD与学情调查主要指标都呈显著正相关关系(正向变动),而根据已有研究结论,学生学习性投入越高,其学习成绩(教育收获)也越高,由此推论,学生SD高,学习性投入就高,其学习成绩(更进一步,本科教育质量)就好。但本文实证研究表明,SD得分较高且学习性投入表现较好的学生群体,其学习成绩或者学习收获并不必然就好。有相当一部分成绩较差而SD较高的学生,其自我报告的学习性投入表现明显偏高(还有一部分学生情况正相反)。进一步分析发现,学生自我报告GPA普遍高于实际GPA 0.2以上,甚至0.3以上。这其中的差距可能正是由于SD“印象管理”的影响所致。这些都说明SD指标对学情调查数据有重要影响。
国外一些研究也已证明,SD对学情调查结果存在着程度不同的影响,如NSSE认为,SD对低年级的学业挑战度、反思性学习,对高年级的校园支持环境、反思性学习、个人教育收获、通识教育收获等具有显著的正向相关关系[11]。(也有研究证明没有影响[12]。)无论如何,更好地理解学生自我报告的SD可以帮助高校更准确地评估学生的学习和发展。因此,在进行学情调查问卷设计及数据分析、结果解释中都应当对SD予以必要的关注和重视。特别是进行横向比较或对一些学生亚群体进行分析时,更要考虑SD的影响,尽量避免单纯由学生自我报告数据得出“自以为是”的“客观结论”。
2.加强学情调查中社会称许性问题的研究
“人即使不象亚里士多德所说的那样,天生是政治动物,无论如何也天生是社会动物”[13]。因此,尽管CCSS这类调查研究并不过多涉及社会价值规范或道德等敏感问题,但在调查的邀请信或指导语中对调查重要性的强调,特别是通过某些行政力量组织调查,也许会使学生感到某种压力或期许,“设身”理解调查者“想要的”,从而使称许性效应被进一步“放大”(SD具有情境性,有研究者还探讨了纸笔测试和计算机呈现两种测验方式对社会称许性得分的影响)[14]。
社会称许性反应已经被组织研究人员看作是自我评估的一种污染物或杂质(contaminant)[7](P250)。从现有文献看,在学情调查设计中SD研究本身受到程度不同的忽视甚至忽略。CCSS虽然采用了在问卷设计阶段直接嵌入量表对SD进行直接测量的常用做法,但对其信效度尚缺乏系统研究,至少对其如何分析应用还缺乏全面的考虑。为此,一方面,应在学情调查中将SD纳入调查内容,在问卷设计中充分体现,并对其作必要的测量学研究;另一方面,需要探讨若干技术控制手段,研究如何校正和识别被试可能的一些做假(faking)反应。这样我们才可能用一把自身精密度高的尺子去测量本身就难以把握的学情和教育质量,促进学情调查本身的质量不断提高。反之,则可能“误读”学情,“误解”质量,“误导”改革。
3.关注偏低的社会称许性反应
现有研究一般认为,SD越高,社会称许性偏见效应就越大,关注重点也因此在过高的SD或SD过高的学生(被试)。但本研究发现,一些SD较低(如SD<20)的学生,其学情调查指标得分偏低,但其学业成绩并不低。如果我们根据学情调查指标得分做出其学习性投入不足的判断,则将与事实不相符。
一般认为,SD得分偏低,是“自我欺骗”的结果,即是无意识中发生的[15]。这种人往往不按照社会认可和赞许的方式采取行动,可能有较强的自我中心或我行我素的倾向。这就提醒我们,在关注学情调查中SD的影响时,除了“眼向高处看”,重视分析高SD得分的情况,还要特别关注偏低的社会称许性反应以及那些低SD得分的学生群体情况,从而全面准确地理解和把握学情调查结果与数据分析。
从笔者掌握的数据看,CCSS调查中社会称许性效应总体上对数据使用及工具信效度尚不构成致命威胁。但在学情调查数据(学习性投入表现)被广泛用于评价学生在高等教育中的学习效果和个人发展,甚至被用来作为衡量“中国本科教育距离世界一流大学有多远”的一种判断标准的情况下[16],如果不能尽可能控制调查数据的“误差”,其信效度将不可避免地受到影响和削弱。因此,开展SD对大学生学情调查的影响研究,不只是一种纯技术的专项研究,它事实上关乎到大学生学情调查本身的质量,影响着学情调查的生命力。当学情调查广泛应用于质量监控时,谁来评价学习调查本身的质量呢?SD也许是一个重要参考指标和控制手段。
[1]赵振旗.应加强对学情的研究[J].山东教育科研,1988(2):30.
[2]北江.台湾、日本、美国学生学情习况之对比[J].广州教育,1988(2):70.
[3]大学学习理论与方法课题组.对5641名大学生学习情况的调查分析[J].高等教育研究,1995(5):35-41.
[4]韩振华,任剑峰.社会调查研究中的社会称许性偏见效应[J].华中科技大学学报(人文社会科学版),2002(3):47-50.
[5]赵丹,黄星艳.社会赞许性的研究现状及展望[J].经济研究导刊,2011(11):201-203.
[6]Marlowe, D., & Crowne, D.P..Social desirability and response to perceived situational demands.Journal of Consulting Psychology, 1961, no.25,pp.109-115.
[7]Zerbe, W.J., Paulhus, D.L..Socially desirable responding in organizational behavior: A reconception.Academy of Management Review,1987, Vol.12, no.2, pp.250-264.
[8]Paulhus, D.L..Social desirable responding: The evolution of a construct.In: Braun H., Wiley D.E.,& Jackson D N(Eds.), Personality and intellect,validity and values: Crosscutting themes.New York: Guilford, 1999, pp.49-69.
[9]钟华,郭永玉.社会称许性问题的解决方法初探[C].第十一届全国心理学学术会议论文摘要集,2007:505.
[10]Kim,J.;Roksa,J.;Arum,R..在全球化时代衡量高等教育的学习效果[J].国际高等教育,2009(3):71-72.
[11]Sources of Error 2010 Social Desirability Bias:Other Quality Indicators-Social Desirability.http://nsse.iub.edu/links/psychometric_portfolio.2012-01-25.
[12]Miller, Angie L..Investigating Social Desirability Bias in Student Self-Report Surveys.Educational Research Quarterly, 2012, Vol.36, no.1, pp.30.
[13][德]马克思.马克思恩格斯全集(第23卷):资本论(第1卷)[M].北京:人民出版社,1995:363.
[14]白新文,李锋,陈毅文.社会称许性量表的测量等价性探讨[J].心理科学,2004(5):1083-1086.
[15]骆方,黎坚.《社会称许性量表》的分界线划定[C].第十二届全国心理学学术大会论文摘要集,2009:411-412.
[16]清华大学课题组.“中国大学生学习与发展”系列调研报告之一——本科教育怎么样?[N].光明日报,2012-06-19(15).