四种英语语用测试工具的开发及其信度分析

郑娜新 张琳

摘 要：本研究系统的开发了四种英语语用测试工具，即话语自我评估、听说话语填充、书面话语填充、选择性话语填充，并用定量的方法在中国英语学习者中对四种语用能力测试工具的信度进行了实证研究。研究结果表明，DSAT、ODCT和WDCT都具有可以接受的信度，而MDCT的信度则较低。

关键词：语用能力;测试;信度;语言水平

近年来，外语教学越来越注重培养学生的语用能力。语用能力是否可教以及如何在课堂上教授语用能力一直是个热门的话题，如何开发有效的语用能力测量工具也越来越受到人们的关注。20世纪90年代，Hudson，Detmer和Brown（1995）提出了六种语用测试工具。这六种测试工具分别为书面话语填充（ WDCT），多项选择话语填充（ MDCT），听说话语填充（ODCT），话语角色扮演（DRPT），话语自我评价（ DSAT）以及角色扮演自我评价（RPSA）。21世纪以来，在 Hudson 等的框架下进行的语用测试研究进一步深入。Brown（2001）发现MDCT的信度是六种测试工具中最低的，Ahn（2005）的研究结果表明这五种测试工具的信度很高。刘建达（2006， 2007）开发了一套新的MDCT、WDCT和DSAT语用测试卷，试卷开发经过系统详细的步骤，该研究中MDCT的信度很高。以上的研究结果表明ODCT、DRPT、DSAT和RPSA四种语用测试工具均具有良好的信度，但是对MDCT和WDCT的信度研究有不同的结论。很多语用测试研究都是在日语或英语文化下进行的，在汉语语境下进行的研究并不多，因此有必要在中国英语学习者中对六种语用测试工具进行更多的研究。

一、语用测试工具开发

本研究主要开发了DSAT、ODCT、WDCT和MDCT四种语用能力测试卷，并按此顺序对学生的请求、道歉、拒绝、问候、批评、提醒、赞美、建议、安慰等九种言语行为进行测试。四种测试方法中每道试题对应的情景是一致的，DSAT测试是受试者设想自己在特定情境下说话的恰当性，按李克特量表5级制选择。ODCT测试在录音实验室中进行，受试者讲出在设定情景下自己将会说的话，并录音。WDCT测试由受试者写出在设定情境下会说的话。MDCT测试由受试者从三段备选话语中选出指定情景下最合适的话语。四种语用测试卷中试题的开发分为以下四个步骤：

第一步，情景选择。依据前人的研究，收集前人语用测试卷中出现的言语行为的情景。将收集到的情景进行修改和剔除，并统一格式。

第二步，情景可能性调查。将收集到的情景做成问卷，20位学生按李克特量表5级制选择这些情景在生活中出现的可能性。根据每个项目的平均分，为每种言语行为保留了2至3个情景，共25个情景。

第三步，元语用调查。每个情景包含三个变量，地位、熟悉程度和严重性。将25个情景分别做成中英两种问卷，调查每个情景中三种变量的判断，10名中国大学生（NNS）和英语为母语的留学生（NS）分别参加了调查。若有70%及以上相同意见，则保留该情景，最后21个情景符合要求。

第四步，确定MDCT选项及答案。MDCT每个情景下有三个备选答案，全部由文献中收集而来，请NS 从备选答案中选择最合适的话语。确定了MDCT试卷的选项及正确答案。

二、研究结果与讨论

实验数据收集阶段，39名非英语专业大二的学生参加了测试。其中ODCT测试，每个情景的录音结束后留有20秒供受试者回答，其他三种测试都没有时间限制。实验按照DSAT、ODCT、WDCT、MDCT的顺序对受试者进行测验，这样各测试方法间的交叉影响会减到最低。试验结束后，将ODCT音频数据转写成文字形式输入电脑并将WDCT数据原封不动输入电脑。两个NS的外教对ODCT和WDCT部分进行了评分，评分采用1（unacceptable）至5（completely appropriate）五个级别，评分标准包括言语行为的正确性、话语表达的正确性、信息量的大小、话语的正式程度、言语策略的直接性和礼貌度。对于DSAT部分，考生自我评估的分数就是最后的结果。ODCT部分和WDCT部分的得分是两位评卷员所给分数的平均值。MDCT部分，每个正确的选择得5分，错误的得0分。评分结束后，将所有数据输入SPSS19.0，分析结果如下。

在ODCT与WDCT试题中，两位评分员间的信度分别为.895和.865，这说明两位评分员有不错的评分一致性，他们对ODCT和WDCT试题的评分结果可以信赖。

表1为各试卷的内部一致性信度（α）与折半信度。折半信度是先算出各题目的难易程度，并按其难易程度平均分为两部分算出。从表1可以看出，DSAT的信度高达.918，折半信度达.969。ODCT和WDCT的信度分别为.793和.773，在两种测试中由于情景三与总体的相关性很低，于是将情景三去掉重新计算其信度，修正后ODCT与WDCT的信度分别达到.801和.784，并且二者的折半信度分别达到.869和.883。这一结果说明DSAT、ODCT和WDCT具有可以接受的信度。MDCT的信度很低，去掉与总体相关性很低的情景二和情景七后，修正的信度也仅为.561。要注意的是，本研究中MDCT的信度很低，这虽与大多研究结果相似，但与刘建达（2006）的研究中MDCT信度达到.88的结果不同，这可能是由于本研究MDCT测试中的备选答案并不是通过调查从真实生活场景中得来，而是从文献中收集来。MDCT试题开发过程的不系统可能是造成其信度低的主要原因。

三、结语

本研究用定量的方法考察了DSAT、ODCT、WDCT、MDCT四种语用测试工具在中国英语学习者中的应用。研究结果表明，除MDCT外其它三种英语语用测试工具都具有可以接受的信度。这一结论与语用能力测试文献中的部分研究成果一致，但对于MDCT的信度这一个问题的研究仍存在着许多分歧。本研究中对于MDCT试卷选项的设计并不是来源于人们的真实生活，而是从文献中而来，这可能是MDCT试卷信度低的主要原因。实际上，在所考察的四种测试方法中，MDCT是大型考试中最省时省力和可行的一種方法，但这种测试工具的开发过程非常复杂，而要开发出信度较高的MDCT试卷又非易事，未来需要更多的研究考察如何开发出高信度的MDCT试卷。

参考文献

[1] Ahn，R.C.，Five measures of interlanguage pragmatics in KFL （Korean as a foreign language） learners. Unpublished phD thesis， University of Hawaii at Manoa，2005.

[2] Brown， P.，Pragmatics tests：Different purpose，different tests.In Rose，K.& Kasper，G.（Eds.），Pragmatics in Language Teaching，301-325. Cambridge：Cambridge University Press，2001.

[3] Hudson，T.，Detmer，E，.& Brown.J.D.，Developing prototypic measures of cross-cultural pragmatics （Technical Report 7）. Honolulu： University of Hawaii， Second Language Teaching and Curriculum Center，1995.

[4] 刘建达.中国学生英语语用能力的测试[J].外语教学与研究，2006（04）.

[5] 刘建达.语用能力测试的评卷对比研究[J].现代外语，2007（04）.

作者简介：郑娜新（1990.10- ），女，河北邢台人，青岛理工大学琴岛学院，助教，2013级硕士，研究方向：二语习得;张琳（1990.12- ），女，黑龙江齐齐哈尔人，青岛理工大学琴岛学院，助教，2013级硕士，研究方向：二语习得。