大学英语四级阅读理解“一试多卷”复本信度与内容效度分析

曹艳艳，王佳艺

(华东师范大学 外语学院，上海 200062)



大学英语四级阅读理解“一试多卷”复本信度与内容效度分析

曹艳艳，王佳艺

(华东师范大学 外语学院，上海 200062)

摘要：信度与效度向来是评价测试质量的重要指标，为预防考生作弊实行的“一试多卷”模式中试卷的复本信度、内容效度值得研究。基于此，分析2014年6月使用的四级试卷阅读理解数据，考察“一试多卷”模式下四级考试阅读理解信度与效度问题，以期更好地促进大学英语有效教学的开展。

关键词：大学英语四级；阅读理解；复本信度；内容效度

大学英语四级考试是一项全国性的大学英语教学考试。为预防作弊，自2012年12月起，采取在同一考场使用多套试卷的做法。但“一试多卷”模式下的四级考试信度如何，多套试卷的效度是否一致值得研究。基于此，通过分析2014年6月四级考试3套阅读理解试卷，参照《大学英语四级考试大纲》(简称为《考试大纲》)和《大学英语课程教学要求》(简称为《教学要求》)，探讨“一试多卷”模式下的四级考试阅读理解信度与效度问题。

一、四级考试的权威性

四级考试是在“国家教育部高教司”直接领导下，由教育部任命成立的“全国大学英语四级考试委员会”具体组织承办的规模化标准考试，其权威性是毋庸置疑的。

四级考试的权威性首先体现在考试的性质和目的上。该考试属于“标准关联的常模参照测验”。考试的目的在于“准确衡量我国在校大学生的英语综合应用能力，为实现大学英语课程教学目标发挥积极的作用”[1]。四级考试的权威性也体现在其信度和效度上。信度是效度的基础，是语言测试的必要条件，但信度高并不表示效度也高。“效度是一项考试的核心问题。如果一项考试信度很高，但并没有考到应考的内容，这样的考试效度就不高”[2]。Oller(1979)认为，没有效度的测试不能称其为测试[3]。“一试多卷”模式下，试卷的复本信度直接关系到四级考试的权威性，影响考试的效度。

二、复本信度

复本信度是指将一套测试工具设计成多套等价的复本，用这些复本同时对同一研究对象进行测试，计算出其所得结果之间的相关系数，此系数即为复本信度。“一试多卷”即为这种复本的近似例子。测试时，必须设计多套在内容、难度、长度、题材、体裁等方面都类似的试卷，根据调查对象对多套试卷问题所做出的回答，进行分析比较，找出相关系数，得出多套试卷的信度。囿于大样本考生答卷的匮乏，重点分析多套试卷的文本，相信同样能反映复本信度的真实情况。

三、内容效度与测试目标、教学要求

内容效度指语言测试内容与测试目标之间的适合性与相符性，即测试所选题目是否符合测试目的和要求。对照《考试大纲》《教学要求》分析试题，看它们之间的吻合度，就可以考察内容的效度。《考试大纲》指出，四级考试阅读理解是为了测试考生通过阅读获取书面信息的能力。《教学要求》指出，大学英语教学目标是培养学生的英语综合应用能力[4]。

四、阅读理解复本信度、内容效度数据分析

2014年6月的四级考试3套阅读理解试卷均包括完型填空、多项选择题型短文阅读和快速阅读三部分。

(一)Reading in Depth

1.Banked Cloze

完型填空测试的目的是为了考核考生对篇章语境中词汇的理解和运用能力。《考试大纲》要求短文长度为200—250个词，为学生所熟悉的题材。分析3套试卷，从文章来源看，均改编自美国出版的报刊杂志文章，如TheAtlantic，TheAmerican，TheNewYorkTimes。从长度上看，均在221—232词之间，符合《考试大纲》的规定。从谈论的话题上看，涉及教育、气候和石油等热点问题，都是学生很熟悉的题材，符合《考试大纲》的要求。从题型上看，均为从15个备选词汇中选出10个最佳词汇。参照《教学要求》附录、大学英语参考词汇表来判断词汇的难易程度，卷一考察了15个一般词汇，卷二和卷三考察了14个一般词汇，1个《教学要求》外的词汇，难度相当。从整体上评价，3套完形填空的信度都较高。

Messick(1988,1996)提出了整体效度概念，认为效度只有一个，但证明效度的证据可以来自多个方面，测试的效度实际上指的就是构念效度[5~6]。构念效度由相互关联的构念组成内容和测试后果等组成。从内容效度上分析，所考察词汇的难易程度、考察形式均一致。Bachman& Palmer(1996)提出了语言测试有用性框架，认为测试的有用性=信度+构念效度+真实性+交互性+影响力+可行性[7]。从测试的有用性上看，3套完形填空的信度和内容效度都一致。但该题型不能考察考生在真实交际环境下运用词汇表达的能力，在交互性上表现较弱。

2.Passage Reading

《考试大纲》规定该类阅读包括阅读短文两篇，每篇长度为300—350个词，考生根据对文章的理解，从每题的四个选项中选出最佳答案。3套试卷在长度上一致，均在346—351个词之间。从谈论话题上看，涉及两性职场薪水差异、领导才能、文科重要性、美国能源进口、医院应用电子设备和千禧一代等问题，都是学生较熟悉的题材，符合《考试大纲》的要求。从文章来源看，均改编自英美国家出版的报刊杂志文章，如WashingtonPost，BusinessInsider，Time，TheAmerican，TheNewYorkTimes，和TheAmericanSpectator。从考题类型上看，卷一包含观点判断、主旨意图题7个，细节题1个，因果推理题2个；卷二共包含观点判断、主旨意图题7个，细节题3个，因果推理题0个；卷三共包含观点判断、主旨意图题4个，细节题3个，因果推理题3个。3套试题在难度稍高的观点判断题和因果推理题的比重上，卷一、卷二相似，与卷三差别较大，考试信度有差异，因此也影响了考试效度。

从内容效度上分析，该题型不能直接考察考生实际应用语言表达的能力，与《教学大纲》规定的教学目标有差距，与快速阅读考察重点重复，减弱了四级考试的整体效度。

(二)Skimming & Scanning

《考试大纲》规定快速阅读采用1篇较长的文章，约1000个词，要求考生运用略读和查读的技能从篇章中获取信息。3套快速阅读均为科普类说明文，体裁相同。谈论的话题分别是“沉溺于刷触摸屏的一代”、“纸质图书走向末路？”和“我哭，故我在”，均与科学、技术发展有关，题材接近。从长度上看，均在1 000—1 018个词之间，篇幅相当。从整体上判断，3套快速阅读难度相当，信度接近。

从内容效度分析，3套快速阅读均为从文中快速找出10个信息的段落来源，主要考察考生运用略读和查读技能查询信息的能力，这与《考试大纲》的规定一致，但与《教学要求》的教学目标有差距，影响了考试效度。由于考试对教学的反拨效应，四级考试中测试题型内容单一、与教学目标存在差距的现实，会削弱大学英语有效教学的实现。

五、结论

通过对比分析四级考试3套阅读理解试卷，发现完形填空信度接近，多项选择题型短文阅读信度差异较明显，快速阅读信度相当。在内容效度上，完型填空、多项选择题型短文阅读对英语运用考察较单一。过多地采用选择题形式影响了对考生英语综合应用能力的考察，效度受到影响。总地来说，比照《考试大纲》，四级阅读理解信度较好，对照《教学要求》，四级阅读理解效度还应提高。若能对阅读题目类型做进一步改进，采用让考生用书面表达的形式进行阅读测试，将能更加客观、准确地测量大学生的英语综合应用能力，提高四级考试的效度，使其更好地促进大学英语有效教学的开展。

参考文献：

[1]全国大学英语四、六级考试委员会.大学英语四级考试大纲(修订版)[M].上海：上海外教教育出版社，2006.

[2]杨慧中.关于语言测试学科发展的若干思考[C]//庄智象.中国外语教育发展战略论坛.上海：上海外语教育出版社，2009：535.

[3]Oller J. Language Tests at School[M].London: Longman，1979.

[4]教育部高等教育司.大学英语课程教学要求[M].北京：高等教育出版社，2007.

[5]Messick S. The once and future issues of validity: Assessing the meaning and consequences of measurement[C]//In H. Wainer & H. Brau (eds.). Test Validity. Hillsdale, N.J.: Laurence Erlbaum，1988：33—45.

[6]Messick S. Validity and washback in language testing[J].Language Testing ，1996，(13):241—256.

[7]Bachman L. & A. Palmer. Language Testing in Practice[M].Oxford: OUP，1996.

(责任编辑：刘东旭)

中图分类号：H319.6

文献标志码：A

文章编号：1001-7836(2015)02-0160-02

作者简介：曹艳艳(1976—)，女，山东临沂人，讲师，从事大学英语教学研究；王佳艺(1970—)，女，浙江椒江人，讲师，从事大学英语教学研究。

基金项目：华东师范大学大学英语教学研究中心项目“深化改革背景下促进大学英语有效教学的实践研究”部分成果

收稿日期：2014-10-15

doi:10.3969/j.issn.1001-7836.2015.02.062