配对测试形式中的大学生英语口语能力构念研究

栾岚 朱戈勋 朱婷

摘 要：本研究的主要目的是调查在配对测试形式中的大学生英语口语能力的结构效度。共100位学生参与了此次研究，学生自由组合两人一组完成一个口语任务，学生的口语表现由两个独立的打分者分别针对其口语的准确性、流利性、词汇选择和话轮转换四个方面进行打分，满分为6分。通过皮尔森积差相关性和克隆巴赫的系数分析显示两位打分者给出的分数具有很高的信度。同时，为了检测大学生英语口语能力的构念，本研究还采用了探索性和验证性的因素分析方法。最后，研究得出的模型的良好拟合指数证明大学生的英语口语能力应由以下4个方面构成：准确性、流利性、词汇选择和话轮转换。

关键词：结构效度；评分员之间的信度；英语口语能力；配对测试

中图分类号：G640 文献标志码：A 文章编号：2096-000X（2018）23-0077-03

Abstract： The main aim of the research was to investigate the construct validity of L2 speaking proficiency in a paired testing format. 100 college students were recruited for the study. The participants were tested in pairs （compare-and-contrast task） by two independent raters on four trait categories： accuracy （A）， fluency （F）， word choice （WC） and turn taking （TT）， on a pre-specified 6-point scale. The inter-rater reliability was computed using two approaches （Pearson's Product Moment correlation and Cronbach's alpha）， and they both indicated the ratings were reliable. In order to examine the construct of the participants' speaking performance， we performed exploratory and confirmatory factor analyses. The final model， with very good fit indices， confirmed the initial hypothesis： the construct of L2 oral proficiency is comprised of all four assumed trait factors.

Keywords： construct validity； inter-rater reliability； English speaking proficiency； paired testing

一、概述

隨着交际教学法的不断发展，出现了交际测试法（communicative language testing）（Carroll，1980），“其中对口语能力的测试为体现交际测试法的准则提供了相当大的范围”。口试的形式是多种多样的，有面试、对话筒录音和电话交谈等。面试形式的口试又可分为几种：有些考试采用的是一对一的形式，也有一些考试采用的是小组形式或配对形式。

本研究旨在从交际策略能力、测试的效度、信度等方面来讨论在配对测试条件下，大学生的英语口语能力构念，从而为大学生英语口语能力的相关研究提供一个崭新视角。

二、英语口语能力的相关研究

由于本研究的目的是探究在配对口语测试条件下大学生的口语能力构念，因此有必要对口语能力的相关研究做简单的回顾。在标准化的外语或二语考试中，口语能力是衡量一个学生英语能力必不可少的一个方面，很多学者对于应该从哪些方面来测试学生的口语能力做了大量研究。

大多数的研究是在心理语言学或认知的框架下，重点关注口语受测者的话语内容或质量，以此来衡量受测者的二语习得的过程和心理机制。学者们从不同的角度研究各种变量对于受测者在口语考试中的分数的影响，不同的学生列出了不同的变量，如受测者之间的关系、性格、年级、交际目的、话题、场景（Shohamy，1994），准备时间和任务类型（Ellis， 2003），以及打分者（Brown et al.，2005）。

一般来说，口语能力构念的描述框架以 Chapelle（1998）提出的交互构念理论为基础，即测试构念的界定既要涵盖考生特质和语境特征，还要体现两者的交互，因此可以将其定义为“语境中的口语互动能力”，考生特质与交际语境相互影响，共同构成口语测试的构念。语境被视为构念的一个组成部分，考试分数所代表的意义是考生在特定交际语境中表现出来的口语互动能力，因而反映一种局部构念，不是抽象的、适用于任何语境的通用语言能力。

三、研究范围及方法

（一）研究范围

本研究为探索性的，其目的有两个：一、打分者是否始终如一地运用测试原则，他们给出的分数是否具有一定的信度；二、在配对口语考试形式下，测试的四个方面（准确性、流利性、词汇选择和话轮转换）是否能代表学生的口语能力。

（二）研究方法

1. 研究对象及测试形式

本研究的参与者为100位非英语专业的大二学生，其中男生24人，女生76人，平均年龄18.67岁。从参与人数来看，本研究的一个主要局限性是女生人数众多，然而正如一些研究表明的性别并不会对口语能力造成显著的影响（O'Loughlin，2002）。为了实验数据的真实性和消除学生的紧张心理，在实验考试前，所有的学生都被告知该实验只用于研究，并不会影响他们的实际学业表现和分数。此外，参与该实验的100位学生自由选择他们的口语搭档并有几分钟的时间来准备口语考试的话题。

本次研究的评分员是两位具有10多年教学经验的女性教师。教师针对事先准备好的口语话题分别从准确性、流利性、词汇选择和话轮转换四个方面对学生的口语能力进行评分。评分量表从0到5分别代表“一点不能”到“熟练”。

2. 研究过程

除了上面提到的数据搜集过程，本研究还运用了PASW统计和Amos18这两个工具来分析数据。通过描述性统计获得由打分者结合学生在配对口语考试形式中的表现给出的平均值、标准差、最高分和最低分。此外，为了测试评分员之间的信度，两位打分者所给出的分数分别由皮尔森积差相关性和克隆巴赫的系数分析进行相关统计从而确定其信度。最后，为了检测在配对口语考试形式中学生口语能力的构念是否如我們事先假设的一样，由准确性、流利性、词汇选择和话轮转换四个方面构成，本研究还采用了因子分析的方法。首先，运用探索性因子分析了解各项分数如何聚集在一起；其次，在Amos18软件中运用验证性因素分析来检验探索性因素分析的结果。

四、研究结果与分析

两位打分者给出的各项分值和总体分值如表1所示。

从上述数据可以看出，评分员1给出的分数要稍高于评分员2。当我们运用t-test来检验两位评分员所给出的分数是否具有显著差异的时候，结果表明在准确性（t=2.119，p=.035）和话轮转换（t=2.735，p=.007）这两个方面，评分员所给出的分数具有显著的差异性。

尽管两位评分员给出的分数稍有不同，为了验证他们之间的评分信度，有必要采用测试学的其他方法进行验证，如表2和表3所示。

通过对两位评分员所给分数进行相关数据处理，可以看出他们之间给出的分数具有较高的信度。

验证了评分员之间的信度，为了回答本研究的第二个研究问题，接下来将通过探索性因子分析的方法对研究假设的四个方面进行检测，结果如表4所示。

表4的数据表明，学生的口语能力构念包含很多成分，其中一方面应包含其语言本身的语用，另一方面应包含语言的社会文化方面。

五、结束语

近年来越来越多的学者开始关注口语能力的构念研究。本研究从测试层面初步探讨大学生英语口语能力的构念，提出在配对口语考试形势下口语能力构念描述框架的初步构想。该研究不但为口语能力的构念研究提供了一个崭新视角，而且还便于英语教师在课堂上进行操作。然而，本研究仅是一个探索性的研究，与其相关的理论框架研究和实证研究还有待加强。

参考文献：

[1]Carroll， B J. Testing communicative performance： an intern study[M].Oxford： Pergamon，1980.

[2]Shohamy， E. The validity of direct versus semi-direct oral test[J].Language Testing，1994， 11（2）：99-123.

[3]Ellis， R. 2003. Task-based language learning and teaching[M]. Oxford： Oxford University Press.

[4]Brown， J.D. et al. Performance assessment： Existing literature and directions for research[J].Second Language Studies，2005，22（2）：91-139.

[5]Chapelle，C. From Reading Theory to Testing Practice[A].In： Chalhoub-Deville，M. （ Ed. ），Issues in Computer-adaptive Testing of reading[C].Cambridge： Cambridge University Press，1998.

[6]O'Loughlin， K. The impact of gender in oral proficiency testing[J].Language Testing，2002，19（2）：169-192.