APP下载

四川省大学英语3级考试阅读理解内容效度的分析

2012-06-10

成都工业学院学报 2012年3期
关键词:内容效度大纲效度

周 桥

(成都职业技术学院 外语部,成都 610041)

四川省大学英语3级考试(以下简称SCET-3)是目前四川省针对高职高专学生的标准化语言测试,参与面广,影响力大。对于英语学习者而言,阅读是重要的能力之一。在各类英语考试中,阅读测试起着至关重要的作用,SCET-3也不例外。无论从时间还是分值分配上来说,阅读理解都是SCET-3的最重要组成部分;而且,根据考生答题情况,阅读理解往往又是失分较多的部分。阅读理解对于教师和考生而言,既是重点又是难点。因此,研究SCET-3阅读理解试题,对于试题的科学命制,教学质量的提高具有重要的理论和现实意义。而且,在鲜有针对SCET-3阅读理解试题进行研究,尤其是定量研究的背景下,为今后的研究提供了有价值的研究数据。

1 理论依据与研究方法

作为科学的语言测试,效度(validity)和信度(reliability)是2个最重要的衡量指标。“效度”是一种相关性,表明测试与测试目标的关联程度,即考试是否检测了需要检测的东西,是否达到了预定的测试目的。通常认为“效度”有表面效度(face validity)、内容效度(content validity)、结构效度(construct validity)和经验效度(empirical validity)几个方面。其中“内容效度”是指测试内容是否反映了测试要求,即试题内容的代表性和覆盖面,是样本(试题)体现整体(预期测试任务)的程度。内容效度的衡量标准是考试大纲,从这个意义上讲,内容效度就是指试题是否考查了考试大纲规定的需要考查的内容。

本文以此为依据,选取了近4年(2007—2010年,每年2次考试)SCET-3阅读理解试题(共计32篇)作为样本,以《四川省大学英语3级考试大纲》(以下简称“大纲”)中对阅读理解试题的具体规定为依据,采用定性、定量相结合的研究方法,从题材、体裁、易读度和阅读技能考核4个方面对其内容效度进行了分析讨论。

2 分析与讨论

表1 题材分布

2.1 题材

《大纲》对题材作了如下规定:题材包括传记、社会、文化、日常生活、科普知识等,涉及的背景知识能被学生理解。对样本的题材进行分析得出以下数据(如表1所示)。从表1可知:SCET-3阅读理解文章的题材分布总体较为合理,通常涵盖3~4种题材。其中,以社会、科普知识方面的文章居多,同时也适当选取了传记、文化和日常生活方面的文章,基本符合《大纲》对题材选择的要求。文章内容包括:大学毕业生找工作的写作技巧,如何使用信用卡,青少年美容,地震预警,语言的消亡,防范网络欺诈,老龄化社会等社会生活中考生们熟悉和感兴趣的热点话题,有利于激发考生阅读兴趣。文章题材泛而不偏,没有出现过于专业或生僻的话题。保证了对不同专业背景的学生公平,体现了考试的公平性。因此,SCET-3近年来的命题从题材角度较好地保证了阅读理解试题的内容效度。

2.2 体裁

表2 体裁分布

《大纲》对体裁作了如下规定:体裁包括叙述文、说明文、议论文等。样本统计分析如表2所示。所选文章涵盖了《大纲》要求的主要体裁,又以议论文为主,较好体现了《大纲》要求。但值得注意的是,高职高专教育有很强的职业导向性,在《高职高专教育英语课程教学基本要求》中对于阅读有如下要求:能读懂通用的简短实用文字材料,如信函、技术说明书、合同等,理解正确。在绝大多数考生为高职高专学生的SCET-3阅读理解试题的命题中,应该充分体现高职高专英语教学的要求和特色。据此,笔者认为应该选用一定数量的应用文体,如广告、说明书、图表和招聘启示等。

2.3 易读度

表3 阅读材料样本易读度对比

表4 理想的阅读测试模式易读度数值区间与样本易读度实际分布对比

易读度(readability),也称易读性或可读性,在阅读测试和阅读教材的选材、命题及评估中都有一定的应用价值。对文本的语言学特征进行量化分析是易读度研究的主流[1]。本研究采用Flesch易读度公式对样本进行评估:易读度=206.84 -0.85 × wl-1.02 × sl。(式中:wl指每100个单词中的音节数;sl指每个句子的平均单词数)。

《大纲》对于阅读理解文章难度有如下规定:文章的难度不应超过3级阅读材料,允许3%的生词,影响理解的关键词用汉语注释。但是这一规定不够具体、不够详细,缺乏一定的可操作性。因此,我们首先参照大学英语4级考试(以下简称“CET-4”)阅读理解文章易读度相关研究来确定SCET-3阅读理解文章易读度数值的合理范围。根据陈柳青,辜向东、关晓仙的研究:CET-4阅读理解材料的易读度数值理想区间是50~60[2]。据此,SCET-3阅读理解材料的易读度数值理想区间应该是60~70。

采用Flesch易读度公式对SCET-3阅读材料样本易读度数值进行统计得出表3和表4。

通过表4可知,SCET-3阅读理解材料的易读度总体控制基本符合《大纲》要求,样本易读度平均值62.5,位于理想区间之内。但是,存在的问题也是显而易见的。首先,样本的易读度实际分布与SCET-3理想的易读度区间之间还存在较大差距。每次考试都有超出理想易读度区间的文章出现。其中有5次考试都出现CET-6难度的文章,有2次考试仅有1篇文章的易读度位于理想区间。命题者应该确保绝大多数文章的易读度数值位于理想区间之内,这样有助于更好地体现不同级别英语测试对于阅读理解能力的不同要求。其次,样本易读度波动幅度偏大。平均跨越参考量表等级3.5,平均易读度波动幅度高达21.41,最大一次甚至达到了32.71。仅有1次考试(1006)的样本易读度波动在理想范围(平均跨越参考量表等级2,平均易读度波动幅度10)之内,但这次考试的4篇文章却仅有1篇在理想易读度区间之内,其余3篇均属于CET-4难度的文章。

因此,作为省级标准化考试SCET-3的命题者应该对上述问题引起高度重视,严格控制阅读文章易读度数值和波动幅度,使文章的难度更合理,具备更高的内容效度。

2.4 阅读技能考核

目前,大多数语言测试倾向于把阅读能力分为高层能力和低层能力2个基础部分,而它们又由各种不同类型、不同层次的能力构成[3-4]。《大纲》对于阅读技能的考核有如下规定:理解句子水平的意义,理解字面意思和理解事实、细节的题量占70%;根据上下文逻辑关系、主旨大意、推理判断的题量占30%。前者是对低层能力的考核,后者则是对高层能力的考核。据此,对样本中共计160个阅读技能考核题目进行了分类统计,详见表5。不难看出,阅读技能考核题目分布比例总体符合《大纲》要求,应继续控制好题目分布并注意合理控制波动幅度。

表5 阅读技能考核题目分布表

3 结语

1)试题在总体设计上符合《大纲》要求,具有相应的内容效度,具体体现在:题材选取具有较好的广泛性和代表性,涉及考生熟悉和感兴趣的热门话题。体裁以叙述文、说明文、议论文为主,符合《大纲》要求。在易读度方面有所控制,基本符合《大纲》要求。在阅读技能考核方面覆盖了不同层次的阅读技能,分布比例符合《大纲》要求。

2)SCET-3阅读理解试题目前存在的问题也不容忽视。第一,在体裁方面应该结合高职教育的要求和特点涵盖应用文体。第二,易读度控制方面还存在较大问题,易读度数值超出理想范围的文章数量较多,易读度波动幅度偏大。

作为针对全省高职高专学生的标准化考试,SCET-3具有较大影响力,其试题的命制无疑应该做到科学、严谨和规范。通过对试题中比重最大的阅读理解试题样本进行定性和定量分析,发现了值得命题者引起注意和需要改进的问题。

[1]晏生宏,黄莉.英文易读度测量程序开发探索[J].重庆大学学报:社会科学版,2005(2):92-97.

[2]辜向东,关晓仙.CET阅读测试与大学英语阅读教材易读度抽样研究[J].西安外国语学院学报,2003(3):39-42.

[3]WEIR C J.Understanding and Developing Language Tests[M].New York:Prentice Hall,1993.

[4]WEIR C J.Language Testing and Validation[M].Pal grave:Macmillan,2005.

[5]刘润清,韩宝成.语言测试和它的方法[M].北京:外语教学与研究出版社,2004.

[6]陆巧玲.CET-4阅读理解内容效度分析[J].高教论坛,2008(5):110-114.

[7]王振亚.现代语言测试模型[M].保定:河北大学出版社,2009.

[8]四川省教育厅高等教育处.四川省大学英语二三级考试大纲[M].成都:四川大学出版社,2007.

猜你喜欢

内容效度大纲效度
50个重要的知识点 一份“学习大纲”帮您梳理党的二十大报告
COSMIN方法介绍:评价患者报告结局测量工具内容效度的评分系统
慈善募捐规制中的国家与社会:兼论《慈善法》的效度和限度
英语专八阅读理解部分内容效度的历时对比研究(2009—2017年)
紧贴实战落实《大纲》要求推进航空体育训练创新发展
被看重感指数在中国大学生中的构念效度
大学英语新四级阅读理解内容效度研究
外语形成性评估的效度验证框架
江西省高考英语阅读理解测试内容效度研究
复杂图形测验对区分阿尔茨海默病与非痴呆的诊断效度