他山之石,可以攻玉
2016-01-08丁桢杰
【摘 要】本文通过介绍和分析美国大学委员会(College Board)在对其所主办的美国学术能力评估测试(SAT,Scholastic Assessment Test)进行改革的背景及其所做的数据统计和分析工作,对正在经历改革的英语专业八级考试提出了四点实际建议。笔者认为,通过分析考试预测效度以及考试成绩与学生毕业成就、专业课程成绩及接受社会机构培训等因素间的相关性,可以使高等学校外语专业教育指导委员会更好确立考试有效性,更科学地调整各个考试部分,消除考试中可能出现的不公平因素,并更积极处理同类型、级别考试间的竞争和借鉴关系。
【关键词】英语专业八级考试;美国学术能力评估测试;预测效度;相关性分析
英语专业八级考试(TEM8,Test for English Majors-Band 8),全称为全国高校英语专业八级考试,自1991年起由中国大陆教育部实行,每年3月举行考试,考察对象是全国综合性大学英语专业和外语类院校相关专业学生。英语专业八级证书虽然并不与学位授予直接挂钩,但通常被认为是国内最高级别的英语能力证书,受到社会各界广泛承认。
2015年8月,外语专业教学测试专家委员会正式宣布通过英语专业八级考试改革方案,并向各高校发送了相关说明及参考样题。本次改革中,原有的听力理解,阅读理解,语言知识,翻译和写作部分都发生了不同程度的扩充或改变,翻译中的英译中部分以及自2005年以后加入的人文知识部分被取消,考试时间被缩短。此番改革受到了各大高校英语专业师生的高度关注。改革后的首次考试将于2016年3月举行。
无独有偶,2016年3月,由美国大学委员会(College Board)主办的美国学术能力评估测试(SAT,Scholastic Assessment Test)也将在改革后首次亮相。本次改革对SAT考试的时间、总分值、分数计算方法、考试范围、题型和考题资料来源等方面都进行了全方位的调整。SAT考试也被称为“美国高考”,是包括中国学生在内的全球学生申请绝大部分北美地区高等院校本科生阶段入学资格的重要参考指标。自2014年3月,美国大学委员会新总裁大卫·科尔曼(David Coleman)在发布会上首次提出SAT改革方案后,无论是中国学生群体,还是广大的社会英语培训机构市场,都表现出了极大的关注。
笔者在其所属高校负责学生的专业八级考试备考指导工作,并教授相关备考课程(选修课程),已针对改革内容进行了研究,以备对教学内容进行相关调整。笔者常被同学问及,此番改革背后的目的是什么,为什么取消了一些题型,扩充了另一些题型,又调整了一些题型?这些改革和调整是否能使得英语专业八级考试更好体现出学生本科阶段的专业学习情况?可惜的是,高等学校外语专业教育指导委员会所下发的寥寥数页的说明之中并没有对题型调整背后意图的说明,也没有相关的统计数据支持来说明改革对于专业八级考试科学性的提高作用。作为教师,除了一如既往要求学生夯实基础,并努力借鉴其他考试中出现的类似题型解题技巧以外,并不能从根本解答学生的疑惑。
笔者在社会实践中也积极投身于SAT考试的培训和教研工作,针对本轮SAT考试的改革内容进行了长期深入的研究。经笔者比较后认为,在SAT考试改革的背后,其主办方的科学态度和基于统计数据的研究方法有诸多值得借鉴之处,笔者在此谨希望利用SAT考试改革的启示,对英语专业八级考试,尤其是针对其在统计数据收集和运用方面提出一些建议:
一、进行英语专业八级考试及其各个部分预测效度数据的收集及分析,作为该考试有效性的证明和改革的依据
效度(Validity)这个概念是测试学领域的基本概念,也是决定测试质量的最重要标准。效度指的是考试结果在多大程度上反映出其所测试的能力。为了证明SAT的高效度,美国大学委员会建立了全国高校学生表现数据库,根据历届高中生毕业参加完SAT后在大学一年级中的表现,通过线性回归等数据统计方法,展开对于SAT预测效度(Predicative Validity)的研究。经统计,美国大学委员会发现,SAT总分与学生在大学一年级的平均分相关系数达到约0.54(相关系数低、中、高分别对应的数值是0.1,0.3,0.5),证明了SAT成绩与大学一年级平均分的相关性非常高。但在各个不同部分之间也有一定的区别,比如写作部分(主要为语法)的效度更高(平均相关性达到0.52),而数学部分的效度偏低(平均相关性为0.48)。
因此,美国大学委员会在改革中对于两部分进行了差异化的处理:
语法部分:语法部分考点范围变化不大,仅增加了标点符号的考察和近义词的选词。
数学部分:数学部分原有大纲中的“基础数论与运算”被平均分配到了“代数”、“数据分析”、“高等数学”和“其他”部分中,同时在“其他”部分增加了“复数”的考点。几何的比例从25%-30%下降到了10%,空间几何的内容被删除。“数表分析”的部分从15%增加到了28%,内容除了继续考察图表数据分析以外,还加强了对图像特征进行文字表述的考察。增加了“高等数学”部分,加入如多项式因子等内容。
根据改革说明,英语专业八级考试旨在检查英语专业四年级学生运用英语获取、理解和处理一般或专业相关信息以达到交际要求的能力。其效度也应受到统计学研究的检验。如能通过统计建立起专业八级考试成绩与英语专业学生毕业成就,如就业率及毕业起薪等数据的相关度,从一定程度上可以体现出专业八级考试的有效性。当然,这样的统计工作应当考虑到大学声誉及其所在地域等因素的影响,例如,著名大学英语系的毕业生即使专业八级成绩较低也会相对更容易找到工作,经济较发达地区的大学英语专业毕业生即使专业八级成绩较低,其毕业工作起薪也会相对较高。因此,在样本的选取中,应当覆盖各个不同排名段和不同经济发展水平地区的大学,以保证统计结果的可参考性。
另外,借鉴美国大学委员会利用各部分效度指导改革的做法,高等学校外语专业教育指导委员会也可以建立起专业八级各个部分与英语专业毕业生毕业成就的相关性数据,并利用其结果指导工作,确定各部分的调整力度。尽可能保留效度较高的部分,而针对效度较低的部分作出更大的调整。
二、统计改革后的专业八级考试和学生英语专业课程成绩之间的相关性数据,考虑是否将人文知识作为选考的独立考试,作为英语专业学生专业学习效果的衡量标准
SAT考试分成SAT I和SAT II两部分,前者主要考察学生读、写、算的基本学术能力,而后者则是根据不同学科进行的专项知识性测试,如美国历史、数学、物理等,SAT II是学生根据自身情况和申请需要选做的。虽然美国大学委员会一直鼓吹SAT I是基于美国高中课程,但除了简单数学部分以外,SAT I和美国高中教学内容没有知识和内容上的直接关联。加州大学在对78000名大学一年级学生进行数据分析后,发现改革前的SAT I在预测学生大学成绩时不如SAT II。美国很多名校招生时需要或者建议考生提供SAT II的成绩用来弥补SAT I的预测效度不足。其背后的主要原因是SAT II和美国高中课程的内容更加相符。
针对上述情况,在本轮SAT改革中,主办方基于2009年创立的大学和就业预备标准(College and Career Readiness Standards)和由其所衍生出来的美国课程大纲做出了一系列的调整。如在阅读部分中,开始要求学生了解18、19以及20世纪早期的美国文学,分析同一时代的不同文章怎样讨论同一话题,从而反映出学生在高中文学课中的知识掌握情况。又如,每次SAT考试的阅读部分中必然会有一篇文章是美国建国文献或历史重要演讲(如《联邦党人文集》),从而反映出学生在高中历史课中的知识掌握情况。在数学中,增加“复数”运算和“高等数学”部分,从而反映出学生在高中数学课的知识掌握情况等。
在英语专业八级考试中,原有的人文知识部分被取消了。但在考纲中仍然要求考生掌握英语国家的政治、经济、历史、文化、教育和语言等知识。高等学校外语专业教育指导委员会除了尽量将相关知识融入到其他部分以外,还应当统计改革后的专业八级考试和学生英语专业课程成绩之间的相关性数据。如果相关性偏低,则代表有需要通过其他方式辅助考查。
原有的人文知识部分确实存在缺陷,该部分虽只有10题,但覆盖了英语专业的四门常见的专业选修课程,包括英语国家概况、英国文学、美国文学和语言学概论。在原有的考试形式中,平均每一门课程只能通过2到3题的选择题进行考察,平均每一题考查最多四个知识点,相比每一门课程浩瀚的知识量,比例严重失调,偶然性较大,科学性欠缺。这很有可能就是该部分被取消的原因。
如果采取类似于英语专业八级口语与口译考试的方法,将人文知识作为选做的独立考试,则可以增加单次考试的题量,扩大知识覆盖面,从而更全面客观反映英语专业学生专业学习的效果。相应的,也可以促进各院校英语专业继续保持对于英语专业文学、语言学和文化类课程的关注,在鼓励学生选修的基础上提高教学的深度,并利用清晰的考试范围来进一步规范相关课程教学内容。同时,相关用人单位在招聘过程中以及相关院校在招收硕士研究生过程中也可将选考部分作为建议或要求的标准,鞭策有志应聘相关工作或报考相关学校专业的学生早作准备,并且弥补改革后的英语专业八级考试可能出现的在体现学生相关知识能力方面的不足。
三、建立英语专业八级考试成绩与学生参加社会培训机构辅导情况的相关性数据,主动消除不公平的因素
在上一部分所述加州大学进行的研究中,发现SAT成绩容易受到社会经济变量的影响。简单说,家庭条件,父母受教育程度以及初高中学校水平等都在很大程度上影响着原有SAT考试的成绩,构成了测试偏见问题。出现这个现象的一个重要原因就是社会经济变量很大程度上影响着SAT的备考和表现,因为备考改革前的SAT所需的资料和培训课程价格不菲,对于低收入家庭是笔不小的开支。针对这一点,美国大学委员会和Khan Academy(可汗学院:由孟加拉裔美国人萨尔曼·可汗创立的一家教育性非营利组织,主旨在于利用网络影片进行免费授课,现有关于数学、历史、金融、物理、化学、生物、天文学等科目的内容,教学影片超过2000段,机构的使命是加快各年龄学生的学习速度)合作,在其网站上发布新SAT练习题等资料,尽量削弱社会经济变量对新SAT成绩的影响。
笔者认为,英语专业八级考试作为具有权威性,富有含金量的考试,也应考虑公平性问题,但与SAT考试类似的偏见情况也出现在原有考试中。由于英语专业八级考试仅针对英语专业和外语类院校少数相关专业学生,属于相对“冷门”的考试,在绝大部分地区很难开设出具有盈利规模的培训班,使其并不受到逐利的社会培训机构的高度关注。但是在如北京、上海等高校集中的城市,由于英语专业学生基数较大,一些培训机构仍然能每年开办成一定规模的补习班。这就有可能造成不公平的情况:身在大城市高校的英语专业学生“近水楼台先得月”,能够通过社会培训的力量强化应考技巧,取得更高的成绩,而身在中小城市高效的英语专业学生即使有心接受培训,但仍无力跨越地域的壁垒。另外,即使同在大城市高校,也可能有一些学生由于经济原因无法参加社会培训机构的补习班,使其相对经济条件更好的同学处于非学习因素上的劣势。
通过统计工作,高等学校外语专业教育指导委员会可以在大城市高校中比较学生有无参加过社会机构培训与专业八级考试成绩的相关性以及英语专业课成绩与专业八级考试成绩的相关性。如出现大量倒挂的情况,即专业课成绩较差学生经过社会机构培训后在专业八级考试中成绩超出专业课成绩较好的学生,则说明该考试的公平性受到了社会培训机构的影响,在地域和经济背景上造成了不公平。
如出现上述情况,则高等学校外语专业教育指导委员会应效仿美国大学委员会,通过非盈利的网络课堂等平台等无壁垒的方式发布习题等免费资料,并上传公益性的应考技巧讲座视频,从而消除地域和经济背景对考试公平性的影响。
四、积极处理同级别、同类型考试间的竞争和借鉴关系
对于美国的SAT考试来说,有一个重要的竞争对手,就是美国大学入学考试(ACT, American College Test)。该考试又称“美国会考”,虽然在性质上与SAT考试有一定差异,但在作用上与其有明显的重合,故形成了较为强烈的竞争关系。
ACT考试对于SAT的改革有较为明显的促进作用。2013年,ACT考生人数首次超越SAT考生人数,于是美国大学委员会于2014年公布了改革方案。美国大学委员会屡次通过研究强调和加强考试预测效度也正是应对ACT对其所造成的竞争。ACT最重要的优势在于其与美国高中课程内容有更大的相关性,这一方面使一些高校认为其能更加客观反映出学生在高中阶段的学习情况,同时,ACT也使得更多考生只要将高中课程学习扎实,无需额外学习资料或课外辅导就能取得满意的成绩。这些都是其对于SAT地位产生冲击的重要原因,也使SAT的主办方迫于竞争压力进行了针对性的改革(比如加强与美国高中课程的相关性)。
ACT考试对于SAT的改革有较位明显的借鉴作用。本轮SAT改革中很多变化都有向ACT靠拢的迹象,如将选择题选项数量从5个减为4个(ACT考试中绝大多数题目都为四个选项),从而降低考试难度。又比如取消原本的倒扣分制度,SAT考试在改革前采取错题倒扣分制度,旨在鼓励学生培养科学精神,杜绝胡乱猜测,但不少评论人士指出,大部分学生在做题时即使是猜测,也是基于已有知识的猜测(educated guess),不应打压,加之ACT考试中没有倒扣分制度,于是SAT主办方在改革中迫于压力取消潦倒扣分制度。另外,SAT主办方还迫于ACT的竞争压力降低了报名费用。尽管这些改变都可被视为是为了争夺生源而采取的市场行为,但必须承认,这样的良性竞争正在使SAT和ACT都在向更加科学和有利于考生的方向发展。
英语专业八级考试也面临各类难度类似,或形式类似的考试的冲击。无论是国外的托福(TOEFL,Test of English as Foreign Language),还是国内的中高级口译考试都是受到社会各界广泛承认的考试。作为英语专业八级考试,在并不与学位授予直接挂钩的前提下,如要维持其含金量和权威性,就应当通过科学的方法证明及提高其预测效度。这也是本文所提出的建议的价值所在。
同时,英语专业八级考试也应当继续保持积极借鉴其他考试优点的良好传统。在本次改革中,听力部分新增的盲听特征(即学生在收听英语对话时并不能看到考题)就在托福考试中存在。在阅读部分中,加入了主观题,要求学生自己撰写问题的答案,而不是单纯的选择,这样的特征也在高级口译考试的笔试中有所体现。在写作部分中,加入了分析性写作,又一次与托福不谋而合。
相信如果外语专业教学测试专家委员会保持危机意识,不断通过科学的方法提升英语专业八级考试的预测效度,同时继续博采众长,不断借鉴其他考试的可取之处,定能继续保持该考试的权威性及相应证书的含金量。更重要的是,为各大高校英语专业的教学提供参考,为提高中国高校英语专业学生的学术及应用水平做出更大的贡献。
参考文献:
[1]Atkinson, R.C. Achievement versus Aptitude in College Admissions[C]. Rethinking the SAT: the future of standardized testing in university admissions, New York: Routledge, 2002.
[2]Briggs, D.C. Evaluating SAT Coaching: Gains, Effects, and Self-selection. Rethinking the SAT: the future of standardized testing in university admissions, New York: Routledge, 2002.
[3]关于英语专业八级考试(TEM8)题型调整的说明[EB/OL]
http://wenku.baidu.com/link?url=NT11TutacEU-rtaPUBm5Bar19ZTJvqfqI6BYi6NzDnDhmgEn3lNOVfierTgK4uxkB_dYU958RwhkO0Wa3TvU_X2ZaMCqkfhA7VHHJY2abBm
[4]Geiser, S. & Studley, R.E. Predictive Validity and Differential Impact of the SAT I and SAT II at the University of California[C]. Rethinking the SAT: the future of standardized testing in university admissions, New York: Routledge, 2002.
[5]Using the SAT to Connect Students and Colleges[EB/OL]
http://professionals.collegeboard.com/testing/sat-reasoning/about
[6]2016年SAT改革官方说明[EB/OL]
http://wenku.baidu.com/link?url=OrFzyTN7hnwd1UyV1lis-o5-OrR52JGkzvNxS72GX0wC7RfZBF-TBp8tOnPKoEw3Okzt8kpjJNTHTKn3Yxec7MeV1VH5hIRew99XuGRs6RC
作者简介:
丁桢杰(1985~),男,浙江诸暨人,讲师,硕士,主要从事口笔译理论实践及国内外英语测试研究。