基于Bachman的测试使用论证理论的外语写作能力研究

孙琪，张威

（东北大学，辽宁沈阳 110819）

Lyle Bachman教授是语言测试方面的专家，他的测试使用论证理论（Assessment-use-argument）为外语测试提供了指导，具有里程碑式的意义。外语教师在设计外语测试时，应该具备一定的测试素养（test literacy）。AUA理论可以用来指导外语教学测试，为受试者的外语水平提供更加科学的评估。该研究设计选取在通过大学英语四级后进行学术英语写作训练的大学二年级学生作为研究对象，通过将学期初和学期末的写作测试中的构念对比，发现了学术英语写作过程（procedure）对英语写作能力的提高。

1 研究背景

学术英语是大学英语教学转型的重要内容之一，其目的在于培养学生的学术素养，提高学术论文的写作水平。学术英语教学包括几个模块，其中包括学术写作的过程、学术阅读技巧、听讲座的能力，做笔记（Note-taking）的技巧等内容。其中涉及听说读写译的相关能力，以及由通用英语向学术英语过渡的认知和比较 （孙琪，2017）。这样一个庞杂的系统的核心是什么？是学术英语写作。教学的大部分的内容围绕着学术英语写作的过程而进行。另外，学术英语写作和雅思写作从内容和形式上极为相似。其中的图表写作和雅思写作的Task1完全一致。学术英语写作的过程包括对题目进行分析、找出关键词、阅读相关的文献、主旨阅读、做阅读笔记、组织观点、列提纲、起草论点论据、修改内容等步骤。其中还夹杂着使用正确的时态、典型表达、从句等语法内容。该研究是基于在学术英语教学的过程中进行的一项历时研究。历时研究是语言研究中常用的一种研究方法。

2 理论依据

Bachman&Palmer于2010年提出测试使用论证（AUA）的理论框架。此理论是Bachman吸收Messicak等人的“效验即举证”的思想，并扩展Kane等人基于论证的效验方法，提出了适用于行为测评及其他测试或测量的“基于论证的效度构建框架”这一框架把测评行为和基于测评结果做出的决策联系在一起，形成一个AUA框架链（徐启龙，2012）。测试效度论证包括如何运用质化和量化的各种方法，运用恰当、有效的测试工具对受试的语言能力进行测量，并能对测试表现做出合理的解释和使用，即效验理论。效度论证主要包括六大要素:主张(claim)：对受试能力的解释;依据(data):受试在测评过程中的行为及测评过程的特征;理据(warrant):陈述基于数据的观点的合理性;支撑依据(backing):用来支撑根据的理论或现有的证据；反驳(rebuttal):与预期结论相反的解释;反驳依据(rebuttals):用于反证的证据。

在《语言测评实践：现实世界中的测试开发与使用论证》一书中提到，测试的主要目的是收集信息用于决策，这些决策一定对测试利益攸关者带来影响。衡量一项测试的使用是否达到了预期目的，无非就是衡量测试使用者所做的决策能否为相关人员带来“有益影响”这些决策依照什么得出？要依照对考生语言能力的“解读”，这些解读要参照测试记录，二测试记录由考生的完成的语言测试任务的作答表现得出，因此，形成了一个完整的链条。这就是AUA理论的雏形（韩宝成、罗凯洲，2015）。这五个环节之间的关系是逐层推理、紧密联系的，每一层都需要经过“主张-证据”论证，上一轮推理过程的“主张”经过理据与反驳的验证即成为下一轮推理的“证据”，其中测试表现本身不需要论证，只是为测试论证过程提供证据(戴瑜、李廉，2018）。

辜向东（2008）用图表解释了测试使用论证和测试效度论证之间的关系。测试的设计与开发要建立在受试的能力之上，这种主张要有一定的理据，测试的结果是对考生能力的解释，这种解释也要有意义性、关联性、充分性、无偏性、概括性，然后测试能够推广到目标语言使用域（TLU）。

3 研究设计

该研究在设计时，以Bachman使用论证理论为设计依据，考虑到理论指导实践的原则，指出了AUA理论的六要素在该文中的应用。该部分由研究问题、受试、研究材料的收集以及研究步骤几部分组成。

3.1 研究问题

（1）学术英语写作过程中的要素是否在此次考试中得以考查？我们对学生的学术英语写作能力的推断是什么？

（2）受试对测评任务反应的交互性如何？测评任务在多大程度上涉及了拟测能力？

（3）测试结果的概化域是什么？测试能够推广到目标语言使用域？

（4）受试者在接受测评任务时的反应是否是真实的？与接受现实世界任务是的反应是否是一致的？

3.2 受试

东北大学学术英语一授课对象来自不同专业四个班级的175名大学二年级本科生，在此之前他们都通过了大学英语四级测试，且分数都在425～560分之间。根据前测的成绩分别将一高一低的组合组成了实验班和对照班，使实验对象处于同一水平，同时，由于基于写作平台iwrite 2.0进行了水平前测，因此测试的结果比较可信（主张）。

3.3 研究材料的收集

通过收集学期初的基于iwrite平台中的写作语料对比期末考试系统中学生写作的语料，并对比主要客观因素的差异包括：平均分、错误类型统计（主谓一致错误，拼写错误，搭配错误，语用错误）、客观特征统计:（型符（token）、字符(type)、词群(family)，TTR(Type Token Ratio)，LTTR(Local Type Token Ratio)，Lemma(词型还原)作为衡量学生写作水平的要素。平台自动标记错误数量，并得出所占百分比。主谓一致错误是指，主语的单复数搭配动词原型第三人称单复数的错误，例如And the lowest percentage are between 18 and 25 at about 16%。主语单词应该搭配系动词的单数形式is。搭配（collocation）是学术英语教学中的语法重点，学术写作中的搭配包括动词副词的搭配和形容词名词的搭配。如图表作文中用于描述图形变化的短语：rise sharply，steady rise，drop slightly，slow decrease etc.语用错误包括连词缺失、惯用语错误等。客观特征统计中Lemma指英文单词的权威、词典及引用形式。如went的词元是go.这一统计量，常用于语料库研究中的频率统计；TTR:类符/形符比，它是衡量文本中词汇密度的常用方法；LTTR:Local TTR，本地化的类符/形符比（依据）。

3.4 研究步骤

步骤一：笔者布置两篇作文，一篇为图表作文，题目是British People Giving Money to Charity by Age Range for the Years 1990 and 2010。另外一篇是Describe the Process of Writing Academic Essay.这两篇作文一篇在学期初完成，一篇在学期中完成。作为前测研究，分析学生在写作方面的水平，是历时研究的起点。笔者选取外研社的iwrite2.0写作平台进行写作测试，让四个班分别通过两种方式进行，其中的实验班要求使用学术英语的写作步骤进行，而对照班的学生则不提出任何具体的要求。观测学生写作水平的差异（理据）。

步骤二：通过一个学期的学术英语水平训练，让学生在期末考试中再完成一篇作文，以观测学生的期末写作成绩的变化。通过比较研究和历时研究追踪学生的英语写作水平的变化。

4 研究结果

两次作文通过iwrite写作平台得到的实验班和对照班的平均成绩都为10.5分 （满分15分）。因此将错误统计中的拼写错误和标点错误作为主要统计量，拼写错误和标点错误占比越高说明犯得低级错误越多，则表明写作水平较差。研究结果表明实验一班的拼写错误和标点错误占比72%，实验二班82%，对照班则为70%和71%。因此，通过写作指导并不能拉开学生之间的分数差距（反驳）。

期末测试的写作是基于学术英语一题库中出现的一系列写作题目展开的，其中的题目围绕着科学、教育、社科、生活等热点话题如government overspending of space exploration;addiction to online shopping。但是出现差异的原因是什么还有待于进一步探索。例如，笔者在课堂教学中发现对照班的课堂氛围并不是很活跃，相反实验班有较好的课堂气氛和学习热情（反驳的理由）。因此，下一步的研究应该包括学习热情或学习气氛对英语成绩的影响。测试过程中的交互性较好，通过对写作文本的观察，所有的受试均能较好地完成任务，测试内容与教学实际高度趋同，因此并在很大程度上测试了拟测能力。

根据学生的期末成绩分数统计表明学生经过一个学期的学术英语训练，成绩都有所提高，但是提高的幅度稍有差异，对照班成绩明显高于实验班，证明学术英语的各个学习环节能够有效地提高学生的写作水平。测试内容与测试构念高度相关，测试的内容和形式不偏袒任何考生，每个考生的机会均等。测试反应的交互性良好，所有考生都完成了测试，考试平台的反馈真实。测评反映和现实世界任务中的反应一致，测试有可能推广到目标语言使用域。