英语写作测试信度保障机制构建研究——以贺州学院写作教学为例

华有杰

（贺州学院，广西 贺州 542800）

英语写作测试信度保障机制构建研究
——以贺州学院写作教学为例

华有杰

（贺州学院，广西 贺州 542800）

以贺州学院英语专业本科写作教学为例，本研究突破传统的写作测试评分的印象法及分析评分法的局限，提出写作测试评分模块与等级相结合的模型，在每个模块中区分六个等，最大限度提高写作测试评分的效度.

英语写作测试；模块；等级

1 传统英语写作测试评分机制中的不可靠性

人们对英语测试的写作部分总会认为其信度不高.传统的英语写作印象法评分更是成为人们诟病英语写作测试的理由之一.事实上，不少学者的专门研究英语写作测试传统评分机制，得出结论：传统英语写作测试评分信度过低.这主要体现于两个方面：评分员自我纵向评分的不一致性及评分员之间横向评分的不一致性.

在日常英语教学的英文写作测试中，评分员往往就是英语写作的任课教师，故直接影响写作测试评分的因素至少有以下几个方面：其一，学生作文中明确写出来的东西；其二，评分员认为学生作文中所要表达的东西；其三，学生英语作文的书写及文章总体外观；其四，评分员对学生原有的了解.除此之外，学生参加写作测试的状态及评分员评分的状态等都会影响英语写作测试的评分.“对于同一篇作文，不同的老师给的分数很可能不一样.甚至同一位老师在不同的时间给的分也不一样.”[1]

为明确不同评分员之间评分的差异，本研究将一次英语写作满分为20分的五名学生的作文描述件给了四名不同的专业教师进行评分，评分结果如下表.

甲乙丙丁A 14 10 9 9 B 11 9 6 12 C 10 8 5 10 D 7 7 2 11 E 5 6 1 6合计 47 40 23 48

R甲=9，R乙=4，R丙=8，R丁=6.数据表明，丙、丁两评分员所给分数全距相对比较接近，甲与乙的分数全距相差较远；甲评分员给分范围最大，乙评分员给分范围最也..数据表明，甲与丁两评分员所给分数的平均分大体相当，丙评分员评分最为严格，平均分最低.

S甲=3.03，S乙=1.41，S丙=2.87，S丁=2.10.数据表明，甲评分员给分波动性最大，乙评分员评分波动最小.

评分员丁与其他评分员的给分重点存在显著差异.

写作测试评分的不可靠性远不止这些.同一学生在相隔较短的时间内容参加难度大致相当的不同写作测试，理论上而言，该学生的得分应大致相当，但现实中根本无法保证.这既受学生自身状况的影响，又受评分员的影响.甚至同一份试卷由同一评分员评阅，不同时间的评阅分数也相差甚远.

由此可知，写作测试的评分主观性和片面性是不可避免的.

尽管写作测试有上述种种不可靠性，写作测试在实践中的作用却是不可低估，写作测试被广泛运用于各类英语考试当中，因为学生用自己的语言组织和表达思想和观点的能力在日常交际中至关重要.故写作测试不单可以用作学生写作技能培养的重要手段，还可以作为英语学习高级阶段教学反拔效果检测的重要工具.如果能形成一种信度较高的英语写作测试的评分机制，以保证英语写作测试的信度，则英语写作测试的效果也不会低于其他客观性测试的效果.

当然，不能用把写作测试评分的所有主观因素排除，或用精心制订的惩罚制度来确保英语写作测试的客观性评分基础，从而提高英语写作测试的信度.然则，只要以充分考虑和处理好英语写作测试评分机制中的主观因素，找到一种新方法，这种方法能够克服传统写作测试评分手段中因主主观因素而内在的不可靠性，则英语写作测试评分机制的信度是可以大大提高的.

2 等级+模块的评分机制

针对传统英语写作测试评分方法中不可靠性，本研究提出英语写作测试的等级+模块评分机制.这种机制首先将学生英语写作的能力水平区分为优秀、很好、好、一般、差、很差六个等级.其次，将学生英语作文评分的学生证言使用划分为内容、篇章结构、语言使用、词汇、拼写、标点符号、连贯性、切题等若干个方面.制定英语写作测试评分标准首先要研究评分的几个构成部分.结合笔者日常英语写作教学工作，本研究以贺州学院英语专业四级考试和英语专业八级考试专项教学中的写作测试为例，把英语写作测试具体划分为内容、篇章结构、词汇、语言使用、其他等五个模块，每个模块都被赋予一定的权重.等级与模块结合后，每一个模块都区分六个不同的等级，给出相应的等级分数.

等级划分有总体等级划分与模块等级划分两种.总体等级划分是对学生英语写作测试的总体表现给出一个具体描述，区分六个不同等级，每个等级都有相对应的分数区间.模块等级划分是把学生英语作文中的语言使用区分为内容、篇章结构、语法、语言使用及词汇、其他等具有一定分值权重的五个模块.一个模块就是评分的一个考察点.每个模块都划分优秀、很好、好、一般、差、很差六个等级.以百分制为例，本研究的英语写作测试评分总体等级划分描述如下.（1）优秀(90-100分):完全完成了写作测试规定的任务.语言流畅自然、几乎没有语法错误，具体而言：内容覆盖所有内容要点；使用了较多甚至复杂的句法结构和词汇；语法结构或词汇使用方面有部分错误，但主要是因为使用较为复杂的句法结构或较为高级的语汇所致；具备较强的语言运用能力.（2）很好(70-89分):完全完成了写作测试规定的任务.选词用句变化丰富、句式结构多变，没有基本的语法错误，具体而言：虽然遗漏一到两个次重点，但内容覆盖所有主要内容；使用能够满足任务要求的句法结构和词汇；语法结构或词汇使用方面基本准确，主要语法错误主要是因为尝试使用较为复杂的句法结构或较为高级的语汇所致；应用简单的语句间连接成分，使全文结构紧凑，达到一写作测试的预期目的.（3）好(60-69分):基本完成了英语写作测试规定的任务.遗漏部分内容要点，但基本意思没有遗漏太多.语言句式简单，但表述清楚、自然，有一定的语法错误，但不是太多.信息能够基本清楚地传达给读者.（4）一般(45-59分)未适当完成英语写作测试规定的任务.遗漏或未描述清楚一些主要内容，写了一无关内容.语法结构单调，词汇使用比较单调.有一些语法结构或词汇的错误，影响了对写作内容的理解.较少使用语句之间的连接成分，内容缺少连贯性.信息未能清楚地传达给读者.（5）差（31-44分）未完成英语写作测试规定的任务.明显遗漏主要内容，出现了一些无关内容，原因可能是未理解写作测试的相关要求.语法结构过于单调，所使用的词汇有限.写作中存在较多的语法结构呀词汇方面的错误，影响对写作内容的理解.缺乏语句之间的连接成分，内容不连贯.信息未能传达给读者.（6）很差（0-30分）未能传达读者任何信息.内容太少或太乱或基本与写作测试要求无关这种等级标准的描述既可用于日常的教学随堂测试，也可以用于具有一定规模的英语写作测试.

这种总体等级标准也是动态的.在日常教学，本课题组针对英语专业四级和专业八级写作测试的不同要求，形成以下两个不同的等级标准.1.英语专业四级写作标准（1）优秀：语言流畅地道，几乎没有语病，完全达到写作要求（2）很好：选词造句变化丰富，铺路工结构多变，没有基本的语病（3）好：语言句式不是复杂，但能完成写作任务，表述简单自然，语法错误不是太多（4）一般:语句基本正确，但有些地方不太流畅，有部分语法错误.（5）差:语言、语法使用不当，无法完成写作任务（6）很差:语言毫无章法，缺乏基本的英语知识2.英语专业八级写作标准(1)优秀：完全没有语法错误，内容充实，语言变化丰富，表达得体，完全完成写作任务.(2)很好：较好地完成写作任务，语言自然、流畅，几乎没有语法错误.(3)好：语言表达正确，没有基本的语法错误，论述紧扣主题.(4)一般：能够完成写作任务，语言正确自然.(5)差：大体能完成写作任务，但有一定的语法错误，语言生硬.(6)很差：有基本语法错误，词汇量过小.

日常教学中，笔者分别运用上述两表对英语专业学生模拟专业四级及英语专业学生模拟专业八级考试的写作测试进行评分，不同评分员对同一学生的评分要比没有任何标准的传统印象评分法的信度高得多.为进一步提高英语写作测试的信度，笔者结合《高级英语》的写作教学及《英语写作》等课程教学，将英语写作测试的评分标准进一步细化成内容、篇章结构、语法、语言使用及词汇、其他等具有一定分值权重的五个模块.权重分布如下.

模块 内容 篇章结构 语法 语言使用词汇 其他权重 0.3 0.2 0.2 0.25 0.05

在实际写作测试评分中，对每一个评分模块又细分为优秀、很好、好、一般、差、很差六个等级.为与平时教学的百分制接轨，没整个写作测试满分为100分，则内容为30分，篇章结构为20分，语言使用及为25分，词法为20分，其他5分.每个模块的分数等级及标准如下.1.写作内容模块评分标准（1）优秀：30-26分，完全完成写作任务，内容详实，覆盖所有要点（2）很好：25-21分，很好完成写作任务，内容充实，虽漏掉一两个次重点，但覆盖所有要点.（3）好：20-16分，能够完成写作任务，内容基本全面，虽漏掉一两个次重点，覆盖所有要点.（4）一般：15-11分，基本完成写作任务，内容要点有部分缺漏，有一些无关内容.（5）差10-5分，不能完成写作任务，内容核心部分缺失，有一定的无关内容.（6）很差：4-0分，完全无法完成写作任务，所写的东西基本与主题无关.2.篇章结构模块评分标准.（1）优秀：20-18分,完全完成写作任务，层次分明，结构紧凑.（2）很好：17-14分,很好完成写作任务，层次分明，结构基本紧凑（3）好:13-10分,能够完成写作任务，层次基本分明，结构基本紧凑.（4）一般:9-7分,基本完成写作任务，层次基本分明，结构不够紧凑.（5）差:6-4分,不能完成写作任务，层次不够分明，结构不够紧凑.（6）很差:3-0分,完全无法完成写作任务，所写的东西毫无结构与层次.3.语法模块评分标准（1）优秀：20-18分,完全完成写作任务，语法正确，能有效交流.（2）很好：17-14分,很好完成写作任务，几乎没有语法错误，能有效交流，（3）好:13-10分,能够完成写作任务，有些许语法错误，但不影响能正常交流（4）一般:9-7分,基本完成写作任务，语法不正确.（5）差:6-4分,不能完成写作任务，很多语法不正确，影响交流.（6）很差: 3-0分,完全无法完成写作任务，所写的东西语法全部错误，无法交流.4.语言使用与词汇模块评分标准.（1）优秀：25-22分,完全完成写作任务，词汇使用丰富多变，得体、精确（2）很好：21-18,分很好完成写作任务，词汇使用丰富，得体、准确（3）好:17-13分,够完成写作任务，词汇使用得体、准确.（4）一般:12-9分,基本完成写作任务，词汇使用基本得体、部分词使用不够准确.（5）差:8-5分,不能完成写作任务，词汇使用不够得体、不够准确.(6)很差：4-0分，完全无法完成写作任务，词汇使用不得体、不准确5.其他方面模块评分标准.（1）优秀：5分,完全完成写作任务，标点符号使用正确，拼写正确.（2）很好：4分,很好完成写作任务，标点符号使用与拼写几乎没有错误（3）好:3分,能够完成写作任务，标点符号使用与拼写正确，有一些错误（4）一般:2分,基本完成写作任务，标点符号使用与拼写基本正确，有一些错误（5）差:6-4分,不能完成写作任务，标点符号使用与拼写有较多的错误（6）很差：0分，完全无法完成写作任务，标点符号使用与拼写都是错误.

模块划分的理论依据是结构主义语言学理论中交际语言能力模式.该模式认为，交际语言能力构成的主要因素是可以分解为语言知识和语用知识.语言知识包括语法知识和语篇知识两块，前者含词汇、句法、语音及书写等方面的知识，后者含语句连结、修辞及会话等方面的知识.语用知识也有两个方面：功能知识与社会语言知识.功能知识包括达意功能、操纵功能、传授功能及想象性语言能等.社会语言知识则包括各种语言变体知识，如方言，语体知识、文化习俗知识、修辞知识等方面.[2]

3 等级+模块的评分机制的应用

基于以上等级+模块的评分机制，本课题组改造传统的写作测试评分的印象法，并提出分析评分法工作制.

传统的写作测试印象评分法的做法是，一个或几个评分员对一份试卷给单独给出分数.分数评的评定是评分员基于学生写作所做的总体印象，评分员对这种总体印象做出判断，不必在评分过程中细抓作文的各个细节.这种判断基本上是评分员个人的主观判断，通常会受评分员自身的各种状况的影响，如评分员的情绪、个人偏见、细心程度、疲劳程度等.为克服这种印象评分法的不可靠性，本课题级通常是由4个专业教师组成一个评分小组，先组织评分小组的成员学习评分标准各个等级的描述.培训结束后马上开始评阅工作.四位评分员对同一份试卷做出评分，然后一个平均分.这种平均分的信度往往要比单个评分员的分数的信度高.各评分员对一份试卷出现偏差比较大时，对该试卷重新进行评分.在没有区分等级评分标准的情况下，各评分员之间的评分差别较大，但运用英语写作测试评分总体等级划分描述标准后，要求每一位评分员快速读完学生作文，然后在印象中大体定级，定级后级出具体分数.这种多人评分员制既给每个评分员充分的评分自主权，又要求评分细心阅读学生作文，从宏观上把握整个作文的质量.这往往会使评分员很快疲劳.当评分员感到比较疲劳时，建议评分员暂停评阅工作，适当休息后重新评阅.这种多人制印象评分法的优势就是在于节省时间.这一点对大规模的考试而言尤为明显.

当然，在高校日常教学中，每次都组织多位专业教师对日常写作测试进行评分不太现实，切实可行的方法是任课教师自己一个人为评分员.这时，为克服印象法中评分员的主观性，提高评分的信度，分析法成为首选.分析评分法首先要预先精心制定好评分细则.这些评分细则就是上文中的模块评分标准.模块评分标准在日常写作教学中可操作性强；只要熟悉模块标准，任何一个评分员都可依标准尽量客观地给出模块分数，然后计算出写作总分.每个模块的分数对教师的教学具有很高的指导作用，使教师明确自己教学的优势与劣势，对不足之处采取相应的措施予以补救.而每个学生也能够清晰地知道自己每个模块的得分，非常有利于学生针对自己的薄弱环节进行努力.

每一次考试模块的划分及每个模块的具体标准都可以依据不同程度的考试而灵活制定.如基础阶段可以侧重语法与词汇，中级与高级阶段侧可以更多地关注作文的流畅程度.

与印象法相比，分析法相当费时.故在大规划的考试中更多地采用印象法评分，在日常的教学中采用分析法能够更有效地指导教学.研究表明，印象法单个评分员的信息最低，多人制印象法总体评分的信度比分析法单个评分员的信度更高，而多个评分员用分析法得出的平均分信度最高.

4 结语

等级+模块的评分机制

英语写作测试由于评分员的主观因素而不可避免地具有不可靠性.用总体等级划分的标准改造传统的印象法，形成多人制印象法评分法，其信度可以大大提高.用模块等级划的标准将学生英语写作测试的评分要点细分为不同的得分模块，采用分析法评分，英语写作测试的信度最高.具体划分哪些模块，每个模块的权重各是多少都可以根据考试的不同程度与考试的不同目的灵活制定.在高校日常的英语写作教学中，教师可能根据实际灵活选用一种或两种评分方法，以取得最佳效果.

〔1〕Heaton, J.B.英语测试[M].北京：外语教学与研究出版社，2000.

〔2〕武尊民.英语测试的理论与实践[M].北京：外语教学与研究出版社，2002.5-9.

H319

A

1673-260X（2014）03-0183-03

本文系广西教育教学“十二五”规划课题成果+《生态美学式翻译教学模式的构建研究》（2013C078）