英语语言测试预测效度优化研究-以托业考试为例

米龙龙

（西南民族大学 外国语学院，四川 成都 610041）

一、引言

随着我国经济实力的不断增强，国际贸易的迅速发展，职场招聘中需要应聘者掌握基本的英语语言交际能力，使得学习英语的群体变得越来越庞大。语言测试可以用来比较学生成绩的好坏，且大型标准化测试多用于人才选拔。部分公司通过大型标准化英语考试，如大学英语四六级考试，来评判应聘者的英语语言能力；部分企业购买权威机构出版的语言测试试题来测量其应聘者的英语语言能力；还有一些公司自我命题来评价求职者能否胜任英语类相关工作。英语语言测试被大量使用在评价求职者的综合英语语言能力，在语言测试理论中也就是说测试结果到底在多大程度上能够预测出某些将来会发生的可能性，或者说对学生未来的行为作出的预测性的程度有多高[1]250-254。知名语言测试学专家巴赫曼认为语言测试由于受多种复杂性的因素得影响而具有不稳定性，因此其预测效度的测量非常困难[2]159-162。笔者在全面分析托业考试的基础上来分析如何优化语言测试预测效度。

二、语言测试简介

（一）语言测试的历史及现状

语言测试经历了三个发展阶段：第一，前科学时期；第二，心理测量结构主义语言学时期；第三，心理语言学社会语言学时期[3]234。语言学家们把二十世纪六十年代以前的语言测试称为前科学时期，该阶段语言教师认为教授语言就是知识的传递，多教授语法、语音和词汇知识等，对测试结果没有具体评判标准，多以教师主观判断为依据缺乏科学性。之后受到结构主义语言学影响，语言学家们认为语言是一套习惯可以通过不断刺激-反应的过程来学习语言知识，认为语言是可分的多采用分离测试来提高测试的信度，主要标志是多项选择题的诞生。七十年代受到心理语言学和社会语言学的影响，语言能力被认为是一个整体，典型的测试题型是完形填空和听写。八十年代后巴赫曼在总结前人的基础上提出了交际性语言测试，更多关注语言交际功能，能够使用语言进行交流是评价语言能力好坏的标准。八九十年代后，各种学术研讨会日益盛行，日益广泛的国际交流促进了语言测试的发展。

（二）语言测试的效度

语言测试的好坏很大程度上取决于效度。效度指测试是否测量了它想要测量的内容，或者说在多大程度上考察了想要考察的东西。效度是决定语言测试质量的重要参考标准，一项效度较低的语言测试是没有价值的[4]11-17。效度种类很多，效度的测量也要具体到每种效度的测量。整体上来说效度一般分为表面效度、内容效度、结构效度、共时效度和预测效度[5]。表面效度就是语言测试在非专业人士看来是否测量了要考察的内容。内容效度多与考试大纲相关，即考试是否是严格按照考试大纲来命题的，在多大程度上反映了考试大纲要测量的内容。结构效度多与考试的理论基础有关，如果考试考察的内容和考试的理论基础相互吻合，我们认为该考试的结构效度较高。共时效度的重点是共时，即一门考试的结果与另一门同时或几乎同时考试的结果二者之间的一致性程度，也可以具体到同一个评分员对考生的给分情况是否一致，如果一致性较高我们认为其共时效度高。预测效度的核心是预测二字，也就是说考试的预测能力，测试在多大程度上能够预测出将来发生某事的可能性，如通过某英语考试的学生是否能够到英美国家深造学习[6]16-19。

三、语言测试预测效度测量优化分析

预测效度指测试结果在多大程度上能够反映出将来发生的事情或多大程度上能够预测考生未来的行为。预测效度经常用来预测应试者将来做某事的能力或有可能取得的成就。在语言测试中预测效度可以用来选拔人才或选拔考生进高校学习，考试是否选对了该选拔的考生，有没有被选错，这就是预测效度，即考试有没有起到预测性[7]1-4。

预测效度经常需比较二次考试的结果，比较二者之间一致性，一致性程度越高，预测效度就越高。若预测效度二次考试之间的间隔较长，考生可能受到各种因素影响，比如考生在此期间完全没有学习英语，考生认真努力学习英语不但请专业老师辅导而且每天坚持深入学习，前后二者的第二次考试的结果是显而易见的-努力学习的同学第二次考试的成绩会明显提高。此外，还有很多因素难以控制和平衡，因此许多学者认为预测效度太难以掌控而较难测量。

（一）预测效度研究实例

近年来学者们开始对预测效度进行了一些研究，国外的研究主要有：Ayres和Peter1999年选取了50名物理和工科类学生研究托福考试的预测效度，结果发现托福考试能够较好预测学生入学后的学业平均分；Almusawi和Al-Ansari在1999年进行了预测效度研究，想要查看托福考试和英语第一证书考试哪门考试能预测新生入学后的学业平均分，结果发现英语第一证书考试的预测性更好；Geriser和Studley在2001年通过分析7800名学生学术能力评估考试和学生学术成果之间的关系，发现该评估考试能够较好的预测到学生的学术成果；J.Daniel House和James J.Johnson选取了236名心理学专业的学生来分析GRE高级心理学考试对他们学期末成果的预测性关系，结果发现该考试能够准确地预测到学生的学期末成果；Patricla Dooey和Rhonda Oliver在西澳大利亚某高校进行了一项预测效度研究，发现雅思成绩不能有效的预测学生的学术成就。国内的研究主要有：许之所和张丽芳在2004年在武汉理工大学进行了预测效度研究，通过收集该校四届八个英语专业班学生的高考成绩和他们大一上学期开设的专业课的平均成绩，试图分析高考成绩对学生学业成绩的预测作用，结果发现4届学生的二次成绩相关系数平均数在0.5以上，高考英语试卷对学生的学业成绩具有较高的预测性[7]1-4；张继红在2006年收集洛阳市600名学生的高三英语模拟考试成绩和他们的高考成绩，试图分析高三英语模拟考试对高考成绩的预测性，发现高三英语模拟考试成绩有较好的预测作用，模拟考试很多地方需要加以完善，且预测效度受很多因素的影响需加以控制[8]1-3。

（二）托业考试预测效度优化分析

在交际性语言测试的影响下，美国教育服务中心于1979年应政府需求和跨国公司要求而设计开发出托业考试，主要用于测量母语是非英语国家人士的英语交流能力，起初主要在日本和韩国之间实施考试。经过几十年的发展，该测试已经推广到全世界许多国家，被大量企业和机构所采用。我国于2002年将该考试引入国内，它主要考察考生在日常生活和工作环境中使用英语进行交流的能力，不同于使用英语进行学术研究的托福考试，因此也被称为“商业托福”。该测试目前在许多行业和区域中使用，作为一重要的评估标准帮助人们做出各种决策，如进行人员培训、考核、海外任职、行政管理和招聘员工等。

托业考试由美国教育服务中心开发和设计，每个题目的选择均经过科学的鉴定，信度和效度都比较高。它主要考察考生在真实语言环境中使用英语进行交际的能力，因此该测试的预测效度也就转化称为一个问题：通过该测试的考生是否真正具有使用英语进行交际的能力。要测量托业考试的预测效度极其复杂，考生往往参加托业考试后取得成绩与到公司上班之间的间隔不等，且在此之间考生究竟做了什么研究者也无法做到心知肚明，还有考生参加考试本来就会受到各种客观因素的影响我们无法判断一次托业考试的成绩是否是考生真实语言能力的表现等等。因此在进行托业考试预测效度研究的过程中要控制诸多因素，比如最好选择6月份参加托业考试的大四毕业生来缩小考试后和参加工作之间的差距和各种影响因素，选择来自不同专业的考生进行考察增加受试的多样化，问卷调查或者采访的问题要经过权威专家详细审阅且最好能够进行小范围的前侧寻找问题完善调查的题目等等；在进行托业考试预测效度研究的过程中还要考虑清楚很多问题，比如如何来评判托业考试的效度高低呢？是采用定量的方式还是定性的方式来进行统计？是采用问卷调查还是访谈或是二者相互结合？问卷调查的理论基础是什么？寻找受试的范围并决定总体受试的人数等等；此外在进行预测效度研究过程中，还要时刻提醒自己所分析的语言能力是什么，时刻围绕该项目进行深入探索且避免为了方便就对预测效度的研究进行简化[1]250-254。由于预测效度要涉及到多种数字的分析和比较，所以研究者还需掌握简单的统计分析知识，用数字说明问题，使描述更客观，更准确，更有说服力[5]1-180。

在考虑好上述因素后，具体而言笔者认为要测量托业考试的预测效度，也就是要看是否通过该考试的考生是否具有在英语工作环境中使用英语的能力，我们需要采取定性和定量相互结合的方式来实现。首先需要设计问卷，要考生对自我英语应用能力进行自我评价并进行量化处理，分析考生托业考试的分数和问卷量化后分数二者之间的关系，若相关度呈正相关且较高，那么托业考试的预测效度也就高；其次只有考生的自我评价肯定是不全面的，我们还得了解下人事部门相关人员对员工的评价如何，采访他们选择托业考试作为选择员工的原因，不同分数段之间员工能力是否有差别，员工是否能胜任和英语相关的工作等来了解公司领导对员工的评价进行定性研究，若评价是积极的，则托业考试预测效度高；最后，由于众多公司为了监督管理员工，会定期对员工进行英语测试和培训，测试的题目均采用美国教育服务中心为其量身定做的考题。我们可以随机抽取员工平时模拟考试的几次分数求得其平均数并与进公司前的托业成绩进行相关分析，若相关系数呈正高度相关，则托业考试的预测效度就高。

四、结语

本文通过分析语言测试的相关理论，结合托业考试具体分析如何优化托业考试的预测效度。社会上其他英语语言测试亦是如此，只要我们认真分析研究问题，深思熟虑并对所研究测试的预测效度进行多方面考虑，控制各种可能影响到结果的变量，也就能较为理想地测量语言测试的预测效度。当然预测效度会受到各种因素影响，我们的结果可能有误差，但时代在进步，研究的步伐不会停止，未来英语语言预测效度研究会更加科学，更加完善。

［1］J.B.Heaton. Writing English Language Tests［M］.Shanghai： Foreign Language Education Press，2009：159-162.

［2］Bachman. Fundamental Considerations in Language Testing［M］. Shanghai：Foreign Language Education Press，1997，250-254.

［3］Robert Wood. Assessment and Testing：A Survey of Research［M］. Beijing: Foreign Language Teaching and Research Press，2001.234.

［4］Weir，C.J. Language Testing and Validation［M］.New York：Palgrave Macmillan，2009.11-17.

［5］韩宝成.外语教学科研中的统计方法［M］.北京：外语教学与研究出版社，2011.1-180.

［6］武尊民.英语测试的理论与实践［M］.北京：外语教学与研究出版社，2010.16-19.

［7］许之所，张丽芳.高考英语试卷预测效度实证研究［J］.武汉理工大学报（社科版），2004，（2）：1-4.

［8］张继红.高三英语模拟考试的预测效度研究［J］.中国校外教育，2011.1-3.