测试环境下同伴口语水平影响效应研究

马瑞娟

(中北大学外语系，山西 太原030051)

一、引言

随着英语教学改革的深入，口语交际能力表现性评估近年得到广泛关注。它受到受试者、任务、评估标准及考官特征等诸多因素的影响。最近的研究多集中于受试者特征对其表现的影响，如Ockey研究了同组成员自信心对其他受试者表现的影响［1］;O'Sullivan研究了受试者教育水平及熟悉程度等特征对口试中受试者表现的影响［2］。这些研究在一定程度上能够解释测试中受试者表现差异的原因。受试者表现差异的原因是多种多样的，影响因素也不是单一的。尽管目前对受试者特征方面有很多研究，但仍有许多未探知领域。口语水平也是受试者的特征之一，目前对这一表现性评估变量的研究较少。McNamara＆Lumley研究了考官水平和评分之间的关系［3］。Purpura研究了高水平和低水平受试者在测试中策略使用情况［4］。本文提出如下问题:成对录音口试中，在没有考官介入的情况下，受试者的表现是否会受到同伴口语水平高低的影响?基于目前的研究现状，本研究将口语水平的影响作为研究重点，旨在研究成对角色扮演录音口语测试中不同口语水平的同伴对同一受试者的表现是否产生影响。

Foster和Skehan对语言语法正确性和复杂性作出了定义［5］，也成为口语交际表现性评估中衡量语言质量的两个重要因素。如O'Sullivan应用此定义，研究了成对口试中受试者熟悉程度对表现的影响［2］。本文采用此定义，从定量和定性两个角度分别对受试者的测试分数和输出语言的语法正确性和复杂性进行研究，旨在探讨测试环境下同伴口语水平对受试者表现的影响。

二、研究设计

(一)研究问题

本研究主要回答下述问题:第一，高、低分组受试者的口语测试成绩是否受到同伴口语水平的影响?如果受到影响，成绩有什么样的趋势?第二，高、低分组受试者输出语言的语法复杂性是否受到同伴口语水平的影响?语法复杂性是否具有显著差异性?第三，高、低分组受试者输出语言的语法正确性是否受到同伴口语水平的影响?语法正确性是否具有统计学意义上的显著差异性?

(二)研究对象

参与实验的是山西大学外国语学院66名英语专业的本科生，其中56名女生，10名男生，分别来自3个不同的班级，接受英语教育的时间和学习课程大体相同。专业四级口语成绩是本研究中划分高、低分组受试者的依据，为了减少学习效应的影响，在专业四级口语成绩刚刚揭晓之后即进行本实验。

(三)模拟实验设计

1.考试方式

为了验证英语测试环境下同伴口语水平的影响效应，本研究进行了一次模拟实验。实验采用语音实验室和录音的方式，在没有考官介入的情况下测试考生的口语能力。考生要对着话筒，按照耳机中所提示的内容和考试要求进行考试，口试内容全部录音。

2.试题设计原则和形式

模拟实验试题设计时考虑了以下两个因素:一是题目难易适中，选题没有性别偏颇性。低水平的考生有话可说，高水平的考生也能充分表现自己的口语能力，男女生都能顺利展开话题;二是题目内容为考生所熟悉的真实口头交际语境。遵循以上试题设计原则，本研究采用了专业四级口语测试的题型:两人一组角色扮演口语测试。口试内容分为两部分，第一部分为自我介绍，是考前热身部分，目的是使学生放松，该部分不计入成绩;第二部分为口试内容，计入成绩。

3.分组原则

根据受试者的专业四级口语成绩，他们被分为高分组和低分组两组。专业四级口语测试中4分和3分的学生较少，因此在此研究中2分的学生属于高分组，1分的学生被划入低分组。根据学生的成绩和研究目的，这些学生分别和不同水平的同伴进行口语测试。

(四)数据的收集与分析

模拟实验在课堂时间三个班级同时进行，受试者刚刚参加了专业四级口语测试，所有学生熟悉测试程序，实验结束后共回收33份有效录音材料(两名学生的材料在一盘录音磁带上)。随后5名有经验的评分员对录音材料进行了评分，评分量表根据英语专业四级口试使用的评分量表并依据研究目的改写为整体评分量表和分析评分量表。为了确保评分的信度，2名评分员采用整体评分法，3名评分员采用分析评分法。5名评分员的成绩平均后得到每名受试者的最后口试成绩。评分结束后又对录音材料进行转写，所有口试内容全部转写为书面形式，并对输出内容的语言特征即语法正确性和语法复杂性进行分析。利用SPSS(Statistical Product and Service Solutions)“统计产品与服务解决方案”统计软件分别对低分组和高分组的口试成绩和输出内容的语法正确性和复杂性进行单维方差分析(One-Way ANOVA)。

三、结果和讨论

(一)评分结果的相关性

本研究对评分信度要求很高，否则会直接影响后续方差分析的质量。我们对评分员的评分信度进行了相关计算，分数呈极其显著性相关，可以判断本次评分的信度很高。该数据有一定的启示性:对于口试之类的主观性考试，同一份材料的评分最好是由多名评分员进行，并且采取不同的评分方法即整体评分法和分析评分法相结合，最后计算其平均分为该考生的最后成绩。

(二)口试成绩的差异

在确保评分的信度之后，我们运用单维方差分析法对高、低分组的口试成绩差异进行了研究。

低分组受试者和高分组同伴进行口试时，平均分、最低分和最高分都比和低分组同伴口试时有很大提高，而高分组受试者和不同水平的同伴口试时分数没有太大变化。单维方差检验也证实了描述统计数据的结果:低分组受试者受到同伴水平高低的影响，测试分数具有显著性差异(p=0.006＜0.05)。低分组和高分组受试者进行口试时，低分组的测试分数有一定提高。然而高分组受试者和高分组或低分组同伴进行口试时，测试分数没有显著性变化(p=0.645 ＞0.05)。

(三)语言特征的差异

分析口试成绩之后，通过转写录音材料，随后又对口试内容的语言特征进行研究，研究内容为语言语法的正确性和复杂性。研究依据为Foster和Skehan对语法正确性和复杂性的定义［5］。

结论如下:低分组和高分组受试者在和不同水平的同伴进行口试时，语言语法的复杂性均没有表现出显著性差异(p=0.598 ＞0.05，p=0.859 ＞0.05)。对于低分组受试者，和不同的同伴进行口试时，语法正确性具有显著性差异(p=0.000＜0.05)。对于高分组受试者，口试同伴无论是高分组或低分组学生，其语法正确性均没有显著性变化(p=0.799 ＞0.05)。

高、低分组受试者和不同水平的同伴口试时，语言语法复杂性均没有显著性变化，笔者认为可能的原因如下:一是评分量表中没有足够地提及语法复杂性，大多数评分量表都比较注重语言的正确性;二是在高风险测试中，受试者使用语言都比较保守;三是语法复杂性是和风险紧密联系的，在此研究中，受试者的口语水平相对低一些，口试时他们使用语言缺少变化。

低分组受试者语言语法正确性在两种不同的情况下有显著性差异，为了进一步研究存在的差异，对其语言错误进行了进一步分析。由于目前语言学研究中，对语言特征的分析尚未实现计算机自动统计，仍需要研究人员花大量时间逐词逐句统计分析，鉴于时间和人力的限制，在接下来的研究中我们仅对两名具有代表性的考生在和不同同伴口试时的口语记录进行了详细分析。分析局限于中国学生最易犯的语言错误。具体来说，这些错误指的是:动词时态、动词结构、主谓一致、人称代词、名词单复数、介词、冠词、连词、用词的准确性等等。对比这两名考生在和不同水平同伴口试中所犯错误的数目，经对比发现，这两名考生在两种不同情形下所犯的语言错误，从量来看存在较大的差异，即低分组受试者和不同水平的同伴进行口试时，表达的语言质量不同;在和高分组同伴口试时，在动词时态、介词、冠词及主谓一致等方面语法正确性有明显的改进。这和前面的语言语法正确性的单维方差分析结果一致。

四、结语

上述讨论可归结如下:第一，由高、低分组测试分数的描述统计数据和单维方差分析结果可见:低分组受试者受到同伴水平高低的影响，和不同水平的同伴口试时，测试分数有显著性差异。低分组和高分组同伴进行口试时，低分组的测试分数有所提高。第二，语言特征中有关语法复杂性的分析结果表明:无论高分组还是低分组受试者，在和不同水平的同伴口试时语法复杂性均没有显著性差异。第三，语言特征中有关语法正确性的分析结果显示:低分组受试者和不同的同伴进行口试时，语法正确性有显著性差异。在动词时态、介词、冠词及主谓一致等方面，语法正确性有明显的改进，这和测试分数的研究结果是一致的。而对于高分组受试者，口试同伴无论是高分组或低分组学生，语法正确性均没有显著性变化。

本讨论对英语口语教学的启示是:课堂双人口语练习中，教师可根据学生的口语水平对学生进行分组。为了提高低水平学生的口语交际能力，教师可以尝试让这些学生和高水平的同伴进行口语练习。要强化学生口语表达训练，注意学生口语练习时所犯错误。

本讨论的发现依然是探索性的，因为受到下列限制:一是样本范围的限制。尽管本研究是相对较大的样本，但样本具有地域和学校类别的局限性，会对研究结果产生影响。本研究之外，其他学校、其他学生的研究结果还有待进一步证实。二是高、低分组学生划分界线不是很明显。前面也提到这一点，由于英语专业四级口试中4分和3分的学生较少，此次研究中2分的学生是高分组，1分的学生被划入低分组。高、低分组学生水平差异不是很大，如果能够有更多的优秀学生参与实验，结果可能会更加具有说服力。三是其它变量控制的限制。本研究的目的是探讨口语水平对口试成绩的影响，在模拟实验中要控制其它变量的影响。尽管本研究对其它可能变量的影响作了一定的控制，但最终的研究结果也肯定存在其它变量的影响。

［1］Ockey G J.The effects of group members'personalities on a test taker's L2 group oral discussion test scores［J］.Language Testing，2009，26:161-186.

［2］O'Sullivan B.Learner acquaintanceship and oral proficiency test pair-task performance［J］.Language Testing，2002，19(3):277-295.

［3］McNamara T F，Lumley T.The effect of interlocutor and assessment mode variables in offshore assessments of speaking skills in occupational settings［J］.Language Testing，1997，14:140-156.

［4］Purpura J E.Investagating the effects of strategy use and second language test performance with high-and lowability test takers:a structural equation modelling approach［J］.Language Testing，1998，15:333-379.

［5］Foster P，Skehan P.The influence of planning and task type on second language performance［J］.Studies in Second Language Acquisition，1996，18:299-323.