艺术类专业学生TEP口语测试的信度与效度分析

白　静，郭平建

(北京服装学院 外语系，北京 100102)



艺术类专业学生TEP口语测试的信度与效度分析

白静，郭平建

(北京服装学院 外语系，北京 100102)

北京服装学院外语系以实施大学英语应用能力测试(TEP)研究项目为契机，对艺术类专业学生进行了为期2年的教学改革与实践，在此期间先后对被试学生进行了从初级到高级分别为C、B、A三个级别的口语测试。2年的测试项目结束后，又对通过A级口语考试的被试学生进行了为期2年的跟踪研究。从TEP口语测试的内容与形式、考官的情况、被试学生英语综合能力的提高三个方面，探讨艺术类专业学生TEP口语测试的信度与效度。

艺术类专业；大学英语应用能力测试(TEP)；信度；效度

语言学习中听说能力培养的重要性不言而喻。改革后的大学英语四级考试已经将听力测试的比重从20%提高到35%。语言测试很难，因为“语言既是测试的目标又是测试的工具”[1]。基于这种考虑，2012年底我校(北京服装学院)申请加入“大学英语应用能力测试” (Test of English Proficiency，TEP)研究项目的第二批建设单位，旨在加强大学英语教学中对非英语专业学生英语实际应用能力，尤其是听说交际能力的培养[2]。在项目负责人郭平建教授的总体规划和指导下，对我校2012级艺术类专业学生进行了为期2年的教学改革与实践，在此期间对学生进行了从初级到高级分别为C、B、A三个级别的TEP口语测试，正式测试再加上前测(摸底模考)和后测(强化训练后的补考)，共计10余次。每次测试结束后都有针对性地开展问卷调查，对测试结果进行定量和定性分析，及时总结并调整教学内容和教学方法[3]。为期2年的大规模口语测试结束后，又对通过A级口语考试的学生进行了2年的跟踪研究，调查学生的英语综合能力，特别是口语水平的变化。本文从TEP口语测试的内容与形式、考官的情况、被试学生英语综合能力的提高三个方面，来探讨艺术类专业TEP口语测试的信度与效度问题。

一、 TEP口语测试的内容及形式与口语课程所传授的内容和实践形式相关联

为了保证TEP口语测试的内容与形式不与口语课程的训练和实践相脱节，我们秉承“以测试促教改、以实践促实效”的原则，在现有英语授课总课时不变的前提下，调整精读与口语课的学时配比，在课上进行与TEP内容及形式相关联的口语训练。TEP口语测试的内容与形式如表1所示。

表1　TEP口语测试的内容与形式

TEP的C级有描述图片部分。我们结合测试内容与艺术类专业学生的绘画特长，开展了12个教学周的“自画自述”活动，深受学生喜爱。具体安排是，要求学生事先手绘一幅图或多幅连环画，内容不限，但必须故事性强，有话可说。课堂上用5分钟进行口语练习，2人一组讲述自己创作的故事，再交换图片，讲述对方描绘的故事。由“自画自述”切入，可保证不会出现无话可说的状况，这对引导与培养学生的自信心效果显著。同时，学生一次次的练习也为我们后期进行TEP实践教学积累了数量可观的图片素材。

TEP的A级有辩论部分。我们对被试学生进行8学时“辩论录像、课上点评、课后观摩”的强化训练。这对学生来说是一个不小的挑战，但实践证明也是很好的锻炼。具体实践步骤为：(1)教师提前布置辩论题目，学生可以根据个人情况自己选择辩手组合；(2)辨论展示环节，每组辩手到讲台上作5分钟的辩论展示，教师主持辩论并全程录像；(3)课后教师通过QQ、微信平台将辩论视频发给学生共享，让大家相互评分并借鉴学习；(4)教师参考学生的互评结果进行课堂综合点评。通过强化练习，学生很快就熟悉了辩论的程序、技巧以及TEP的要求[3]。

通过实践我们感到，光说不练不行，盲目练习也不行，一定要结合TEP的各级测试内容来进行有针对性的、高效的、大量的口语练习。同时，这也有效保证了TEP的信度与效度。

二、 考官的高素质保证了TEP口语测试的信度与效度

TEP项目组专门印发了考官手册，其中明确规定了考官的基本资格要求、工作要求与沟通技能、口试考官在口试过程中的行为要求，并分别明示了主、副考官的工作规范。我们请来参加TEP的考官均是我校外语系持有剑桥通用英语考试(MSE)口语考官证书的教师。每年一次的剑桥口语测试网上定标、一年多次的当面培训，以及每年多次的英语入门考试(Key English Test，KET)、初级英语考试(Preliminary English Test，PET)、第一英语证书考试(First Certificate in English，FCE)等口语考试担任考官的经验，保证了考官的专业、严谨、高素质。为进一步确保TEP口试的效度和信度，我们对所有主、副考官均进行考前培训，制定了详细的口试办法及评分细则。为减少TEP口语测试的主观性，每次考试的主考官负责考试环节与考生交流和给出总体评价分，副考官负责按照交际效果、语音语调、语法和词汇，以及结合C、B、A级的内容和组织项(如描述图片、话题陈述、辩论等部分的内容和组织)分别打分。主、副考官给出的分数分别占考生总成绩的40%和60%。总之，合格的高素质考官、详细的口试办法及评分细则保证了TEP口语测试的效度与信度。

三、 TEP口语测试对艺术类学生英语综合应用能力的影响

2年的TEP各级测试以及教学改革实践结束后，我们继续对2012级通过A级口语考试的口语实验班15名学生和对照班13名学生进行了为期2年的后续跟踪研究。结果发现，这28名学生中，除2名学生因个人原因放弃考研之外，其余26名全部考研成功。其中18名学生考取了本校的研究生，并且研究生入学口语测试成绩均在各专业名列前茅。笔者参加了2016年本校造型艺术系研究生入学英语复试工作。在参加英语复试的20名考生中，笔者欣喜地发现有8名是之前参加TEP口语测试的学生。测试中，这8名学生无论是口语表达能力，还是临场应变能力均表现一流，平均口试成绩为8.5分(满分10分)，远远超过其他没有参加口语测试的学生。另外，参加本校研究生入学复试的10名服装设计和艺术设计专业的学生也表现优异，平均口试成绩为8.5分，有2名学生甚至得到了9.5分的高分。有8名考研成功的学生选择了出国留学深造。其中，1名学生在大三时雅思就考到6.5分，先作为交换生去了英国的伦敦艺术大学，后成功转学，现在本科即将毕业，正在申请美国的研究生院。1名学生大三时开始学习法语，即将去法国巴黎国立高等装饰艺术学院深造。其余6名学生分别拿到英国南安普顿大学、利兹大学及比利时安特卫普皇家艺术学院等学校的录取通知书，他们的雅思成绩平均为6.0分，口语成绩平均为6.5分。这对于艺术类专业学生来说实属不易。

与这些学生访谈后了解到，TEP口语测试以及平时大量的口语练习给他们带来的最大收获就是自信。通过一次次的前测、正式测试、后测，他们积累了大量的口语测试经验；通过平时大量的口语练习，如“自画自述”、话题讨论、辩论训练等，他们的语言知识转换能力、英语思维能力、应变能力都得到了有效提高。由此可见，这些经过有效训练的学生能够成功告别“聋哑英语”，切实提高英语听说能力及英语综合应用能力。这也正是我们开展TEP口语测试的初衷。

四、 结语

四年来，无论是前期的TEP口语测试和配套教学改革与实践，中期的对于测试结果的定性定量分析，还是后期的对被试学生的追踪研究，我们投入了大量的时间与精力。虽然还存在种种问题，比如最初挑选的被试样本不够大，仅用高考、大学英语水平考试和平时的期末考试来对比分析TEP口语测试结果是否可行，在总课时不变的情况下通过减少精读课时间来增加口语练习是否合理等等。但实践结果表明，我校针对艺术类专业学生进行的TEP口语测试从内容与形式、考官的情况，以及被试学生英语综合能力的提高方面分析，都反映出TEP口语测试具有较高的信度与效度。

[1] BACHMAN L F．Fundamental considerations in language testing[M].Oxford：Oxford University Press，1990．

[2] 白静，郭平建. TEP框架下纺织服装专业学生英语口语教学改革初探[J]. 纺织服装教育,2014, 29(2):180-182.

[3] 白静，郭平建. TEP对艺术类专业学生英语教学的反拨作用[J]. 纺织服装教育,2015,30(3): 244-246.

北京高等学校教育教学改革重点项目(2014-lh03)；北京高等学校教育教学改革面上项目(2014-ms151)；北京服装学院大学英语教学改革创新团队项目(JGTD-1406)；2016年度北京服装学院教育教学改革项目

白静(1976—)，女，山东济南人，副教授，硕士，研究方向为中外服饰文化比较及应用语言学。 E-mail:baijingbift@163.com

G642.0

A

2095-3860(2016)04-0326-03