安徽省高考英语阅读理解测试内容效度历时研究
2012-09-25贺静
贺 静
(巢湖学院 外语系,安徽 巢湖 238024)
高考英语,是国家组织的高中毕业生参加的选拔性英语考试,是一项大规模、标准化、高风险的考试。自2004年起,教育部大力推进了 “统一考试,分省命题”的新举措。依据区域教育实际,安徽省于2005年开始自主命制高考英语试题。在自主命题的过程中,考试的任务要求和题型设计都有了相应的变化和调整。其中,阅读理解一直是权重最大、赋分最高的部分,考生在阅读理解测试上的表现将很大程度上影响其英语考试的成绩。可见,能否命制出效度高的阅读试题对于整个测试的质量起着重要的作用。据此,本文以2005-2011年间安徽省高考英语阅读理解试题为对象,依据测试效度理论和验证框架,结合高中英语课程标准、考试大纲来验证试题的内容效度,借以给今后该省高考英语阅读试题的命制提供参考和借鉴。
一 效度的界定及相关研究
效度、信度、反拨作用和可行性是语言测试研究的根本问题,其中效度最为重要,是衡量语言测试质量最重要的指标。Bachman指出效度是现代语言测试的核心,是语言测试的基本出发点[1]。Weir指出效度是一项测试是否真正测量了它所要测量的东西[2]。席仲恩认为语言测试的效度涉及测试数据支持与解释测试的准确程度[3]。韩艳梅指出“论证效度的办法之一就是分析考试中的语言现象与考试的建构是否一致”[4]。综合而言,我们认为效度指测试是否测量了设计者想要测的内容,并在多大程度上测量了要测的内容。
效度大体分为内容效度、构念效度、效标关联效度。内容效度是内在效度,即存在测试本身的效度。它是指测试是否考了考试大纲规定要考的,或者说考试题目在多大程度上能代表它所测量的目标。考试内容效度的保证,主要靠试题设计和试题命题、审题时严格遵守考试大纲要求[5]。Hughes也指出内容效度越高,就越可能准确测量出它所要测量的内容[6]。此外,近年来国内外学者在内容效度研究方面内容呈多样化趋势,影响较大的有:杨惠中和Weir对大学英语四、六级考试从结构效度、内容效度、预期效度方面的研究。邹申对TEM考试效度的历时研究。陈晓扣采用客观类试题效度研究模型TEM4客观试题作了整体研究。但这些研究大多集中在大学英语和英语专业方面,对基础英语测试方面的研究,尤其是对高考这一大规模 “国考”的效度研究并不充分,与其重要的社会影响并不相称,因而我们对安徽省高考英语阅读理解效度的历时研究是十分必要的。
二 内容效度研究框架
在效度研究框架方面,Bachman&Palmer提出了测试任务特征框架。该框架把测试方法分为五个层面:测试环境、测试说明、测试输入信息、输入信息的预期回答、输入和回答的关系[7]。这个框架的提出为其后各种测试的效度研究提供了方法依据。同时,考虑到安徽省高考阅读理解试题的命题要求及受试者特点,本文在Bachman任务特征框架基础上进行的改进,使其更具操作性,并侧重从测试输入和预期回答两大层面展开研究,具体包括六个方面的验证 (见表1)。
表1 阅读测试内容效度验证框架
三 研究结果与讨论
依据内容效度验证框架,并结合高中英语课程标准及考试说明的要求,从文章长度、阅读速度、易读度、文章题材、文章体裁以及阅读微技能六个方面进行分析,其目的在于全面验证阅读试题的内容效度。
(一)文章长度
阅读测试是对受试接受性技能的考查,阅读长度适当与否是考查考生阅读能力的重要因素之一,因而对文章长度的统计分析成为内容效度研究的首要观察点。文章长度即文章所包含的总词数,这里我们按单词数来表征文章长度,同时除去了文章中所有汉语注释对文章进行了统计,其结果如下表所示(见表 2)。
表2 阅读文章长度统计汇总
《考试说明》对阅读量的要求做了明确的阐述,在2005-2008年说明中要求对所提供的文章长度不少于1000词,而由于新课程改革的实施从2009年起考试说明规定阅读文章长度不少于1200词。按照五篇文章计算,每篇文章的阅读量至少应控制在200至240词左右。此外,韩宝成指出阅读测试的篇幅长度应控制在200至500词的范围内是比较合适的[8]。据此对照表2,可以发现2005年阅读量最少,2010年阅读量最多,2011年试题阅读量有所减少,阅读强度稍有降低,但总体上七年来阅读文章长度及总长度基本呈上升趋势,文章的长度符合命题的要求。因此我们认为阅读文章长度应保持总体的稳定性,体现稳中有变的命题思路。
(二)阅读速度
阅读速度常被视为衡量阅读者阅读水平的参考性指数。在阅读过程中,阅读者总是试图在不影响理解效果的基础上努力提高阅读速度。在安徽高考英语中,自2009年起 《考试说明》要求考生应在规定的35分钟内完成阅读量不少于1200词的文章。但考虑到给定的35分钟包括阅读文章时间及回答问题时间,按照杨惠中提出的1︰0.75的时间分配比例,可得出阅读文章时间约为25分钟,而答题时间约为15分钟。依据这种时间分配,我们分别通过两种方式计算出各年文章的阅读速度。结果如表3所示。
表3 阅读速度统计汇总
(续前表)
从表3可见,文章阅读速度基本在60词/分钟至70词/分钟的范围内,偶有波动,各年平均阅读速度为63.6词/分钟。而总体阅读速度基本在50词/分钟至60词/分钟,体现出较好的稳定性,未有较大的波动。在阅读速度上,《课程标准》指出在文章生词率少于3%的情况下,基本阅读速度应达到50-70词/分钟,而较高要求应达到70-80词/分钟。可见各年文章阅读速度和总体阅读速度达到了基本要求,符合命题要求。但随着新课程改革的深入,从提高测试区分度的角度我们认为今后阅读速度的应适当提高 (控制在65-70词/分钟),从而更好的考查考生的综合阅读能力。
(三)阅读文章易读度
易读度即可读性,指文章容易阅读的程度,涉及到句长、音节数、生词量等。阅读文章的易读度应难易适中,过易或过难都反映不出考生的实际阅读能力。常用的公式有Flesh易读度公式,具体为Readability=206.84- ( 0.85*NSYLL)-(1.02*W/S),其中,NSYLL指单词中的音节数,W/S指每个句子的平均词数[9]。易读度的指数分布在0-100范围内,指数越小,文章难度越大。如易读度指数在0-30的文章非常难,而指数在70-80的文章较容易。因而,根据易读度公式并运用Word对文章的易读度进行了统计,结果如表4所示。
表4 阅读文章易读度汇总
从表4可知,七年来阅读文章的易读度指数最低为38.2,最高为79.5,平均易读度指数处于58.8-68.4范围内。可以讲易读度指数分布区间较广,涵盖不同难度的文章。结合表5从易读度指数分布而言,易读度指数处于适中和较容易的区间占了65.8%,这部分文章是安徽高考英语阅读试题的主体,同时易读度指数处于中等难度以上的文章占34.2%,文章难易结合,合理分布。总体而言,阅读文章的易读度分布较为平衡,较好的体现了测试的要求。
(四)文章题材分布
题材是文章所涉及的话题领域。Bachman指出阅读测试中涉及的题材对受试者的表现有较大影响,产生一种 “题材效应”[9]。阅读文章题材分布的得当与否不仅影响试题的偏颇性,而且关系到试题效度的高低。同时,《考试说明》中要求考生读懂熟悉的有关日常生活话题的简短文字材料,如公告、说明、广告以及书、报中关于一般性话题的简短文段[10]。此外,《课程标准》也明确提出考生应熟悉涉及社会、校园生活、科技、历史等24类话题。为此,我们对文章题材做了统计归纳,结果如表5所示。
从表5可见,文章题材涉及到科技、环保、中西文化、生活感悟、素质发展等多方面话题,题材分布广泛,选材贴近考生,反映现实生活,兼具知识性和时代性。同时,题材的选择契合了新课标注重培养学生跨文化交际意识的理念,不仅选取了中国传统的民俗文化的材料,也选用了西方社会历史文化的文章,体现了语言学习的本质。可以讲,考生在阅读过程中既拓展了视野、增加了知识,又了解了历史文化,实现了阅读测试的工具性与人文性的统一。因此,文章题材的分布符合命题要求,题材深浅有度,安排合理。
(五)文章体裁分布
体裁涉及到篇章组织的文体特点,不同的体裁的文章会对受试者的理解会产生影响, 因而对体裁的分析也是内容效度验证的应有之义。在英语中,体裁大体可归为记叙文、描写文、说明文和议论文四类。同时,《课程标准》要求高中毕业生能够识别不同体裁文章的特点以及读懂简单的应用文。据此,我们按四大类对文章体裁进行统计,结果如表6所示。
表6 阅读文章体裁分布汇总
从表6中可见,文章体裁分布较为广泛,涵盖了四种体裁,体现了体裁多样性的特点,符合 《考试大纲》的要求。从体裁类别分布来看,记叙文和说明文是阅读测试的主体,同时兼顾对应用文这类实用性文体的考查,避免了体裁的单一化,对测试实施和考生的阅读能力的培养都产生了积极的反拨效应。但由于阅读测试旨在考核考生捕捉和理解信息的能力,从这个角度讲,说明文信息量较大,议论文论点鲜明,有利于考查考生的信息定位、推断能力以及逻辑思辨能力,我们认为在今后的体裁选择中可以适当加强对这两类文体的测试。
(六)阅读微技能分布
阅读测试中内容效度的验证既要从内容也要从理解技能方面进行分析,而阅读微技能正是理解内容和技能应用的结合。杨惠中指出阅读测试内容效度的研究要考察连续几年试题是否覆盖了对全部或大部分阅读技能的考查[11]。同时,《考试说明》明确列出了六种阅读微技能:理解主旨和要义、理解文中具体信息、根据上下文推断生词的词义、作出判断和推理、理解文章的基本结构、理解作者的意图、观点和态度。对阅读微技能统计分析不仅有助于了解试题的不同层次技能的分布特点,而且有助于试题内容效度的优化和调控。为此我们对题目的微技能考点进行统计,结果如表7所示。
表7 阅读微技能分布汇总
从表7中可知,各年试题基本涵盖了对主要阅读微技能的考查,对理解文章结构这一技能的考查相对薄弱,但总体符合阅读测试的命题要求。具体而言,“理解具体信息”和 “词义推断”两类技能的试题占据了55.9%,而 “理解主旨要义”和 “理解观点态度”等技能试题占据44.1%,可见阅读测试是以中等难度技能的试题为主体,兼顾对中高难度试题的考查,基本符合以 “中等难度试题”为主的命题思路。但从技能分布看,我们发现某些年份对具体信息技能的考查的权重偏大,以至对高层次技能的考查有所薄弱,尤其是对理解文章结构技能的考查,因此我们建议对阅读微技能考查的分布应更加合理,适当提高中高难度技能的比例,突出试题的选拔性功能。
四 结语
依据效度理论对安徽省高考英语阅读试题内容效度的研究,结果表明阅读测试符合 《课程标准》、《考试说明》的相关要求,命题合理,具有较高的内容效度。七年来阅读理解试题既保持着总体的稳定性,又具有动态的变化性,命题的质量稳步提高。同时,内容效度研究过程中发现相关阅读项目的命制仍有不足,需要进一步改进优化。如单个试卷阅读材料的题材、体裁分布稍过集中、高层次阅读技能的考查略显不足等。因此,我们建议今后安徽省高考英语阅读试题既要保持一定的稳定性,也要在选材、设题、阅读微技能控制等方面进一步加强,实现 “三个转向”的命题思路,实现试题的能力立意,逐步形成以考促改、以考促学的反拨效应。
[1]Bachman,L.F.FundamentalConsiderations in Language Testing[M].Oxford:Oxford University Press,1999.
[2]Weir,C.J.Language Testing and Validation:An Evidence-based Approach[M].New York:Palgrave Macmillan,2005.
[3]席仲恩.语言测试分数的导出、报道和解释[M].成都:四川大学出版社,2006.
[4]韩艳梅.广东高考英语读写任务测试的语篇特点分析[J].长江师范学院学报(教育科学),2012,(2):84.
[5]邹 申.TEM考试效度研究[M].上海:上海外语教育出版社,1997.
[6]Hughes.A.Testing for Language Teachers[M].Beijing:Foreign Language Teaching and Research Press,2000.
[7]Bachman,L.F.&Palmer,A.Language Testing in Practice[M].Shanghai:Foreign Language Teaching and Research Press,1999.
[8]韩宝成.语言测试和它的方法[M].北京:外语教学与研究出版社,2000.
[9]辜向东.CET阅读测试与大学英语阅读教材易读度抽样研究[J].西安外国语学报,2003,(9):39.
[10]安徽省教育招生考试院.普通高等学校招生全国统一考试安徽卷考试说明[M].合肥:安徽教育出版社,2011.
[11]杨惠中,C.J.Weir.大学英语四、六级考试效度研究[M].上海:上海外语教育出版社,1998.