巴克曼的考试方法特性理论框架下英语专业八级考试的内容效度解析

2018-04-03

山东农业工程学院学报 2018年12期

（闽南理工学院福建石狮 362700）

0.引言

自2016年起，从《高校英语专业教学大纲》的实行和新修订的《高校英语专业八级考试大纲》看，该考试的性质、构念领域、任务要求、分数比重等都发生了较大的变化。这对于英语教师和学习者来说，都是巨大的挑战。所以，作者主要通过研究专业八级考试和教学大纲之间的关系去分析八级试题的质量，即分析八级试题的内容效度。整个分析过程以Bachman的TEM(Test Method Facets)理论框架为理论支撑。本文主要研究专业八级考试与教学大纲的关系如何，即专业八级的内容效度研究。为了对试卷质量进行多角度的观察，一方面采用了问卷调查的方式，调查对象为本校外国语学院和其他高校外国语学院的英语专业学生，他们已参加了2017年的专业八级考试。研究意义在于通过探讨学生在2017年专业八级考试中的各部分，发现一些问题，帮助命题者提高今后的专业八级考试试题质量，同时，也希望通过这次研究，为英语专业教师的教学和学生的学习提供一些启示。

1.巴克曼的考试方法特性

巴克曼指出了他自己的框架，用来描述测试方法的特定特征或方面。这样做的目的是为了更好地了解这些方面对语言测试性能的影响程度。巴克曼提供了一个描述考试任务和语言使用任务的考试方法特性框架，包括考试环境、考试说明、语言输入、期待反应以及输入和反应的关系五个方面。

2.内容效度分析

2.1 听力理解的内容效度分析

听力理解是众多考试中最普遍的题型之一，英语专业八级考试也不例外，而且所占比例为25%。测试学生口头获取信息的能力，要求学生能听懂有关经济、文化、政治、教育、文学、语言等方面的演讲，能听懂真实场景中的各种英语对话。测试的目的是测量学生的口语交流能力。选择材料的原则是：(a)迷你讲座的内容接近于英语专业知识课程;(b)会话部分内容与学生的日常生活、工作和学习有关;(c)美国之音和英国广播公司的新闻材料，是一篇新闻广播、简短的评论或演讲，学生们对此非常熟悉;(d)在听力材料中出现的词汇和短语并不超出原则所要求的范围。听力材料的难度中等以上。Section A部分包含一篇900词左右的讲座和完成填空任务。Section B包含约1000个单词的会话或两个约500个单词的会话组成，会话后有10道多项选择题。此部分被认为是所有考题中最难的部分。要求考生在听力过程中快速做笔记，根据瞬时记忆完成填空，无疑增加了考生的紧张心理和考试难度。大纲要求满分为25分，及格分数为15分，调查问卷中考生的平均分数为10分。

从巴克曼的考试方法特性中期待反应角度来看，大部分考试未能达到及格等级。由此可见，听力理解的内容效度未能与大纲保持一致。一般来说，测试任务的特征和语言使用环境的基本特征之间的一致性越接近，测试任务的真实性就越高。作为英语专业的学生，平时应练习听BBC,VOA,CNN以提高听力理解能力。如果考生想要在听力部分获得高分，他们必须具备一定的听力水平和技巧。同时，英语专业八级考试也能影响学生的听力学习。

2.2 阅读理解的内容效度分析

阅读是语言输入的关键途径，也是获取信息和知识的最有效途径之一。因此，阅读技能是大学生最重要的技能之一。因此，设计一个适当的方法来衡量一个人的阅读能力是非常重要的。直到现在，大多数标准化考试都使用阅读理解测试，英语专业八级考试也是如此。本部分采用多项选择题和简答题形式，由数篇阅读材料组成。阅读材料共长3000个单词左右。学生应根据所读材料内容，从每题的四个选项中选出答案，或根据问题做简短回答。阅读理解部分测试学生通过阅读获取和理解有关信息的能力，既要求准确性，也要求一定的速度。2017年的专业八级考试真题中阅读理解长度为3500词左右，已经超出了大纲的要求。此外还应考虑到以下几个因素：首先，在测试的压力下，考生必须更仔细地阅读，并试着清楚地理解每一个单词的意思，因为每个文本后面都有一些多选题和简答题需要回答;第二，有时候考生需要重读一些困难的句子或部分。当完成多选题或简答题时，他们可能会返回去寻找一些信息的文本，以确保他们的选择的正确性;第三，在有限的时间内，它需要花费他们的时间来将答题纸涂黑。因此，在考虑了这些因素后，英语专业八级的测试大纲规定了文本的总长度应该约为3000字，这需要考虑到花在思考问题上的时间，重读课文的部分内容，并将答题纸变黑。阅读理解的长度稍有增加了难度。

阅读理解文章的体裁多样，包括记叙文、描写文、说明文、议论文等。记叙文和描写文相对来说比较容易完成，而说明文和议论文则需要较高的阅读能力，因为它们解释了一些方法、理论、事实或试图说服读者同意他们的观点。2017的专业八级考试真题中体裁基本与大纲保持一致，输入和反应的关系符合巴克曼的考试方法特性。

2.3 翻译的内容效度分析

翻译是为了测试学生把源语言转换成目的语过程的能力。专业八级考试大纲要求学生能在25分钟内把我国报刊杂志上的文章和一般文学作品翻译成英文，译文要求忠实原文，并且语言通顺。2017年专业八级考试真题的翻译长度不到150词，符合大纲要求。翻译部分的内容效度是可以接受的。我们都知道，内容效度是语言测试和语言教学的一个关键问题。将会从以下几个方面进行详细的分析和测量的研究。

首先，测试说明：考生首先阅读文章，然后在答题纸上写下答案。在阅读文本之前，一个简短的说明在目标语言中通过一个视觉通道展示给考生即：将下面的下划线部分翻译成英语，把你的译文写在答题卡上。考生对特定测试的反应将由给定的指令决定。因此，测试任务应该得到一个明显的指示，说明审查员需要什么。它需要一个可理解的、全面的、简短的、明确的和可访问的测试规则。换句话说，测试说明不应比文章或任务更难。在分析了专业八级考试翻译部分的测试说明后，我们发现它确实达到了这些要求。然而，问卷中的问题反映了测试者对测试说明感到满意。考生同意，这些指示应该提供作者的一般信息和原始段落的来源。与此同时，大多数接受采访的教师认为测试说明应该包括正确的标准，并指出这部分的潜在读者。

其次，命题内容：本文从命题内容的角度出发，主要研究中英文翻译材料的主题和体裁。事实上，有时很难将翻译材料分类为不同的主题类型。在此基础上，笔者就翻译材料的比较偏性进行了分类：记叙文、描述文、说明文和议论文。我们需要在合适的特定层次上从合适的类型选择主题。2017年考试真题就选择了记叙文，考生理解起来相对容易一些。翻译是指读者与文章之间的相互作用。这种互动将以阅读段落的方式来实现，这样读者就能确定作者的意图，并从他们自己的角度解读文章。

最后，句子的类型：句子类型也是分析翻译部分的因素之一。不同于英语句子,汉语结构松散,它是一种分析性语言，没有任何变化，而“了、过、着“等词汇需要特别体现出来。在汉语语法体系中，小句是主要语言单位,是可以独立表达意义的最小单位。如果仅仅使用一个小句，它就构成一个简单的句子;当它与另一个子句相结合时，两个从句构成复合句。此外，复合句可以根据其关系分为因果句、并列句和过渡句。2017年考试真题中出现了很多小句，结构比较松散。但是翻译成英文后，却更多使用了复合句与短语相结合的方式。考生也应掌握英汉两种语言的句式结构特点，尽量使译文符合目的语表达习惯。

2.4 写作的内容效度分析

考试大纲要求能根据所给阅读材料和要求撰写各类体裁的文章，文章长度约300个单词;能做到内容切题、充实，条理清楚，结构严谨，语法正确，语言通顺，表达得体。2017真题中翻译符合大纲规范，其内容效度是可以接受的。在正式考试中写作文的情况与日常写作有很大的不同，因为考生除了写作以外，还需要完成其他部分。作者认为这是一项密集的工作。因此，在专业八级考试中要多花15分钟。

写作测试一般采用“情境/观点+标题”的特点。也就是说，在写作提示中，它要求考生在一定的立场上表达自己的观点，或者根据既定的设置来表达一种现象。在提示语中，通常出现正面或负面的观点，并简单地介绍原因。然后，考生必须声明自己的喜好，并解释为什么要这样做，并表达自己的观点。考试规范给出了写作形式：第一部分是陈述立场，第二部分是提出论点，它还提供了简单的评分标准。很明显，写作的内容与考试目标有着密切的关系。

设计写作测试时应考虑到以下几点要素：首先，测试任务的设置应该与考生的实际水平相对应;其次，写作的主题需要一个真实的情境，也就是说，这种情况将会在目前或将来的测试者中得到满足，并且只说与日常生活密切相关的一些话题；第三，写作任务一定要明确，这样才能激发考生的思维和沟通;第四，写作时间不能更苛刻，以免产生不真实的写作效果。因此，当测试设计者建立一个写作任务时，他们应该确保考生有一些话要说，并且可以通过一个清晰而准确的问题来提出，激励他们写作。真题中换工作这个话题并不罕见，可能考生在毕业后会不断面临跳槽的现象。所以对于考生来说更容易写出文章。此外，问卷调查中许多教师和学生的回答都集中在一些抽象的方面，如个人素质、大学生活、名言和教育等等。这些话题的范围比英语专业的学生要小，尤其是那些即将毕业的高年级学生。这些学生不仅有文化、经济、文学、教育、政策、新闻等方面的专业知识。此外，他们的阅读范围更广。

写作的测试设计者必须始终牢记确保考生有话可说，或主题与日常生活密切相关。如果我们选择一些与考生真实生活需要相关的话题，可以更好地提高考试效度。写作情境越真实，就越能测验出考生的真实写作能力。