论俄语测试中的语料库应用问题

崔 卫

（天津外国语大学 语言符号应用传播研究中心，天津 300204）

论俄语测试中的语料库应用问题

崔 卫

（天津外国语大学 语言符号应用传播研究中心，天津 300204）

基于语料库的语言测试研究已经成为当前语言测试研究的主要发展趋向之一。国内有关研究主要集中于英语界，结合目前俄语测试研究的发展现状，我们对语料库在俄语学业测试和水平测试两个方面的应用问题更为关注，具体可应用于精读、阅读、听力、写作和翻译及专业俄语四、八级统测等方面。

语言测试；俄语测试；语料库；学业测试和水平测试1

一、语言测试与语言测试中语料库应用研究

本文所说的“语言测试”是指外语测试，它作为了解、检查和鉴定外语学习者掌握外语水平的一种手段，也是外语教学组织过程的一个重要组成部分。语言测试的作用主要在于：评定教学效果,在评定基础上评价制约和决定教学效果的各种因素和各项措施,选拔和考核各类外语人才,评估标准正规化等。学生们常说：“考考，老师的法宝”。这句话从另一个侧面说明了“语言测试”这个“法宝”本身也是外语教师专业知识和素养的重要内容。在西方发达国家，语言测试是外语教师培训和教育的主课，它从属于教师教育评价技能，在形成性评价或终结性评价过程中必不可少。而反观我国外语教师教育评价技能的形成体系，极少有语言测试这门课的影子，大多数外语教师对于考试的考核评价是熟悉的，但绝大多数外语教师都没有经过系统的测试理论培训，这种所谓“熟悉”也基本上是一种感性认识，属于凭经验组织考试，对外语测试的原理、设计原则、标准和评估都缺乏较全面的了解。因此，充分了解并掌握语言测试的一些基本理论，了解语言测试的主要发展趋向，以提高命题水平和提高考试质量，也应该是外语教师们业务水平发展的重要方面之一。

国内的语言测试研究以英语界为主，相关的现代语言测试研究始发于20世纪90年代，大多集中于大学英语四六级考试和专业英语四八级考试等方面，研究的内容主要涉及英语测试的信度、效度、题型、测试类型、反拨作用、测试的问题与改革等方面。此外，还在计算机适应语言测试（Computer Adaptive Testing，简称CAT）的研究方面也取得了一定的成果。

按照国内语言测试领域学者的观点来看，目前语言测试发展的总趋向是：（1）基于任务的语言测试，具体地说，就是从部分到整体、从间接到直接、从单一到综合、信度和效度结合；（2）计算机适应性语言测试；（3）基于语料库的语言测试（黄齐东，2008:60-61）。学者们（补爱华，2011；薛荣，2008）认为，从部分到整体的语言测试发展趋向就是，从孤立测试个别语言技能转向测试多项技能；从间接到直接的语言测试发展趋向就是，在注重测试接受性语言技能的同时，更加注重检测产出性语言技能，注重直接检测语言的运用，强调情景的真实性，提倡以任务为基础的语言测试，例如人机测试或考官考生面对面口语测试的大规模运用；从单一到综合的语言测试发展趋向就是，从单一的终结性评估到形成性与终结性评估相结合；信度和效度相结合的的语言测试发展趋向就是，过去，语言测试对信度的重视程度较高，当前，测试效度的重要性愈来愈突显，例如主观题型的增加和多样化的任务题型等都是为了进一步提高考试效度。计算机适应性语言测试正是语言测试向以受试者为中心方向发展服务的尝试，我们所熟知的GRE、GMAT、TOFEL等都已实现机考化，量体裁衣式测试（CALT）这一术语也逐渐为人们所知晓，它指的是利用计算机根据每个考生的不同能力生成不同试题，从而在指定时间内精确地测量出每个考生的真实能力和水平。基于语料库的语言测试的最典型、最成功的例证就是TOFEL和GRE，它们在有效性、可靠性和可行性方面都能够较好地满足语言测试机考化的要求。

那么，我国俄语测试研究是否符合上述趋向，研究现状又如何呢？

我国俄语测试问题的研究开始于上世纪90年代，但当时成果寥寥。进入新世纪后，特别是近十年来，随着俄语专业四、八级考试热度不断提高，高等教育俄语测试研究的成果逐渐丰富。据中国知网不完全检索，约有64篇关于（高等教育）俄语测试的研究论文，其研究内容分布图为：

从上述分布图可以看出，关于专业俄语四、八级测试的研究成果占近一半，大学非专业俄语四、六级考试的研究占20.30%，还有一些介绍俄罗斯国家俄语考试的研究成果及其他方面测试的学术论文。在上述研究成果中，特别是关于专业俄语测试的学术论文中，对于上面提及的基于任务的测试问题、对于俄语语言测试的信度和效度等问题，通过问卷调查、试卷统计、分析对比等方法都有一些研究尝试，有的学术成果提出了许多针对俄语教学和俄语测试颇有见地的建议和对策。只有1篇论文部分涉及计算机适应性测试问题，1篇论文涉及题库问题，也就是说，在我国俄语学界的相关研究领域内，基本上没有涉及基于语料库的俄语测试方面的研究。应该说，国内俄语学界在紧跟当今语言测试理论发展动向方面还有很长的路要走。

语料库对语言测试的作用可以体现在三个方面：作为研究的工具和数据源，帮助测试的开发和制作，用于评估和验证测试本身的质量（王永庆，2014）。国内有关语料库在语言测试中应用问题的研究主要集中于英语界，其研究方向集中以下几方面：语料库在测试应用中的理论依据（肖依虎 潘翠琼，2002；孔文 邹申，2007；张文星，2013）；语料库与试题设计、试题编写、评阅和成绩评估（史顺良 冯跃进，1997；邹申 杨任明，2008；卢磊，2008）；检验教学大纲、监测考试过程、测试反拨作用的实证研究以及在词汇等测试方面的研究（张文星，2013；邱磊，2008；张晓华，2008；赵有华 聂龙，2005）；各类英语测试语料库的建立问题（贾绍东等，2010；邹申，2012）等。

综上所述，不论是语言测试一般问题的研究，还是基于语料库的语言测试研究，似乎都把外语水平测试作为研究的重点，对成绩测试（或称学业测试）研究重视得远远不够。这可能与水平测试代表着学校、学生的“脸面”不无一定关系，孰不知学业测试（成绩测试）才是我们日常外语学习中最为常见的测验形式。因此，我们将从学业测试和水平测试两个方面来谈谈基于语料库的俄语测试问题。

风影突然感到浑身冰凉，冷得发抖。女人真是奇怪，不可理喻！他像是从很深很深的水底里飘浮上来，又像是从很高很高的天空中坠落下来，他听到了呼呼的风声，却不知道来自何方。刹那间，他处在莫名的烦躁与悲凉之中，想到了佛前的莲花，佛前的明灯，可依然无法将内心的这股邪火熄灭下去。他似乎看到了她在另一个男人的身下扭动、呻吟，用手指和声音抚摸着他。那男人像一条疯狗一样趴在她的身上，动作粗暴，十分亢奋，得到了原始的满足，然后将最肮脏的污物留在她的体内。当然，这只是风影的想象，也许师父说得对，山下的女人是老虎，不仅是老虎，还是母狗，毒蛇，狐狸精，不仅要啖他的肉，还要啃噬他的心。

二、俄语成绩（学业）测试中语料库应用问题

（一）试题库（阅读、精读、听力）

应当先纠正这样的偏颇认识：即认为测试语料库就是试题库，试题库就是语料库。应该说，试题库是语言测试中语料库运用的一个重要方面，但不能把它看作是测试语料库的全部。

2007年，教育部将“基于计算机和网络的大学英语四、六级考试大型题库和考试系统建设”列入“高等学校本科教学质量与教学改革工程”项目，刘润清、韩宝成（2012）也提出，应建立各种外语测试题库，题库建设要有一定的理论指导，可以按照经典测试理论来建库，也可以按照现代教育测试理论来建库。题库可以使重要的测试标准化，最终使全国性的外语测试向评分机器化方向发展。

目前，国内个别学校乃至个人和公司正在进行俄语试题库的建设，从大的方面来说，不管是出于教育改革现代化的需要，还是提高办学效率和实现考试标准化的需要，但真正的出于现实迫切性方面的动因还是很小的。我们认为，俄语试题库发展最主要的推手有两条：一是目前“教考分离”的要求，二是商业利益的驱动。要实现教考分离，就必需建设和实现标准化试题库，否则教考分离的评估环节就会出现问题。而目前，一些教研机构所做的俄语试题库，还是商业利益驱动更多一些，真正符合现代测试理念并十分科学的试题库还未见到。现有的试题库大部分是以水平测试为主要目的，该类试题库最能发挥作用的时候一般在俄语专业水平考试前的练习上，但目前尚存在一定弊端，主要是：（1）平时用处不大；（2）商业化严重；（3）与课程结合度低；（4）可替代性强（市面上的各种教辅考试用书基本上可以替代试题库）。我们平时所进行的大部分考试（如期中、期末考试），是检验学生对所学课本知识的掌握情况和知识完备程度。因此，学业考试（成绩测试）试题库既是试题库建设的薄弱环节，也应该是试题库建设的重点。本文认为，学业考试试题库的最大优点在于，一门课程教与学质量可以通过标准化题库来检验，而不是仅凭教师的个人判断。作为一线外语教师，我们都有这样的切身体会，某一班或某一届的学生质量较好，那么学业考试出题的难度就会相应增加，反之，如果学生质量较差，则出题的难度就会相应降低。这样，就会带来一个问题：两届或两班学生平均成绩、成绩分布差不多，但学生整体水平却有很大差异。从教师个人把关的角度来说，似乎很难解决上述问题。这就是考试的信度问题。因此，规范、标准化的试题库可以有效防止此类现象的出现。

包括笔者在内的不少教师曾于十几年前便在高校开始俄语综合试题库的实践研究工作。结合我们的实践经验和一些学者的研究成果（王晓冬，2011；郅友昌等，2008），下面提出一个俄语综合试题库题型与比例表，以供批评和参考：

题 型 测试内容 测试目的 所占比例听 力 句、对话、短文等 掌握正确听辨能力、信息接收能力，培养耳手结合能力，克服心理障碍25%阅读理解 短文和长文，选择题为主，简答题次之 锻炼语篇能力，捕捉关键信息，提高阅读能力，培养阅读策略30%翻 译 以教材中词组、句子、段落、短文为主的俄汉-汉俄翻译掌握语言使用能力，提高翻译能力 10%写 作 主题作文：看图作文、提纲作文、应用文写作 锻炼语言应用能力，提高外语思维能力 15%语法与国情 语法点、国情知识点 巩固语法知识，丰富知识储备 20%口 语 日常对话和讨论 提高口语表达水平和跨文化交际能力 形成性测试

但从我们自身实践来看，也暴露出了一些问题：（1）建设试题库的动力不足。似乎只有等到相关阶段性政策要求时，才会想起试题库建设，反复建设，浪费时间和精力；（2）题库试题的信度、效度存在一定问题。主要是，有人负责建设，但没人负责检查。不少试题存在充数现象，结果造成了某些考试信度和效度大受影响，这也直接影响了教师使用试题库的积极性；（3）缺乏资金支持，技术维护不到位。建设试题库是个费时费力的工作，教师们基本上是无酬劳的个人劳动，教师大多也不懂技术，需要专业技术人员维护。这些都在一定程度上影响了教师建设试题库的热情。

上述问题对于欲建设俄语综合题库或相应题库的单位来说应是共性问题。针对这些问题，我们提出以下建议：（1）题库建设切忌求全求大，可以先从容易的开始做起。从课程类型上说，阅读、精读、听力课程是最易建设题库的课型。可以先从一个单元做起，然后进行适当规模的测试验证，切实符合信度、效度要求了，再推行下去；（2）题库建设应和政策挂钩。教考分离、考试标准化是大势所趋，建设题库必须有明确的政策要求，作为教师和教学评估的重要参照指标；（3）题库建设必须有好的顶层设计，从题型确定、试题数量到试题评估都需要一套完整规范体系，在体系未确定的情况下，最好不要匆忙开始题库建设；（4）题库建设应有相应的激励机制，同时需要一定的资金支持，否则题库建设难以持久下去。

（二）试题评估（写作）

过去写作测试研究的重点在于测试信度，许多理论和实证研究都是围绕信度展开，如写作题目预测、写作评分员挑选及培训、双人评阅、评分标准及评分样卷等（邹申，2012）。在俄语专业四、八级考试阅卷时所采取的做法，如作文的双人评阅，超出标准误差之后的第三人评阅，乃至第四人评阅等，都是为了保证考试的信度。随着测试理论的发展，测试效度问题越来越成为人们关注的焦点。效度包含四个方面：考分解释、考试用途、实证基础和结果基础。与之相关，国外学者Bachman和Palmer（1996）提出了考试有效性模型：信度、构念效度、真实性、交互性、影响度和可操作性。就写作测试而言，就是写作能力构念的界定、写作任务的设计、评分标准的制定、评分信度、考试分数的解释和使用等。研究写作考试效度可以重点研究下列因素：写作任务、学生作文、评分标准、评分员特征、考生特征等。其中，写作考试效度研究中的重要因素——学生作文的相关研究目前明显不够。而随着语料库研究的不断发展，基于语料库的学生作文文本分析有了实现的可能，由此所获得的数据可为写作效度验证提供新的实证数据来源。具体做法是：建立俄语写作教学语料库，系统收集俄语专业学生的写作语料，对语料进行人工标注，目的是探讨俄语学习者写作能力发展规律、写作教学策略，完善外语教学理论与实践。写作语料库标注赋码体系需考虑三个重要方面：体裁、年级和水平。体裁应按年级不同可分为描述文、记叙文、应用文、论说文。年级应包括大学1-4年级。水平应以基础阶段（四级）和提高阶段（八级）为准。赋码体系具体内容包括：切题度（是否符合体裁要求）、篇章结构（段落等指标）、句子类型（如长短句、句法结构、用词准确度、情态类型等）。至于语法错误则不在赋码之列。将学业写作考试效度与俄语专业四、八级考试写作效度挂钩，可以直接考察它们之间是否存在一定的相关关系，这样可以更好发挥测试的反拨作用。

（三）学业数据（翻译）

语料库在学业测试中还有一个重要作用就是记录学业数据。以俄语翻译考试为例，将学生翻译课考试中的俄汉—汉俄翻译错误“登记入册”，建立学生误译语料库。语料库赋码体系应考虑三个维度：用词、词序和句型。俄译汉和汉译俄语料应分别建库。该类语料库可以提高翻译课练习的指向性，甚至多数语料都可用于学生的改错练习。除了翻译课，像精读、阅读、写作课等都可建立学生的答题语料库。

三、俄语水平测试中语料库应用问题

水平测试通常是用来衡量考生相应阶段的外语水平，因此，从学生到教师以及语言测试研究都把水平测试作为关注的重中之重，具体到俄语，就是专业俄语四、八级统测（刘素梅，2007；张惠芹、于春芳，2007）。史铁强（2008）曾指出，四、八级统测的一个重要目的，就是使参加测试的学校对本身的教学情况有个比较客观的评估，以便进一步提高教学质量和完善教学体系。如何更好发挥水平测试的正反拨作用，始终是语言测试研究的重要方面。其中，语料库应用于水平测试也是其中一个值得研究的重要课题。而俄语水平测试中的语料库应用问题目前还未引起业界教师和学者们的足够重视。本文也仅是对此提出一些构想，抛砖引玉，以引起同行们对这一问题的深入思考。

（一）专业俄语四、八级题库

从GRE、TOFEL以及国内某些英语水平测试的实践来看，机考是权威性外语水平测试的发展趋势。机考的前提是必须建立起大规模的科学的外语水平测试题库。目前看来，我国专业俄语四、八级题库的建立还不现实，但可以先搞好顶层设计，对于题库的硬件保障、软件设计、独立专家委员会构成、题库分类、试题数量、评估方式等方面进行预研。外语教学与研究出版社和北京外国语大学联合开发的iTEST俄语专业测试与训练系统目前提供了部分用于专业四、八级考试前的模拟测试题库。

（二）试题效度分析

全国的四、八级俄语水平测试中心和各校各单位可以对各年度水平测试试题，结合学生成绩分布、批卷情况等，利用像SPSS等统计软件和语料库软件进行年度试题效度分析，根据科学数据来指导未来水平测试的出题和备考工作，从而发挥水平测试的正反拨作用。

（三）俄语学习者写作语料库和翻译语料库

充分利用大规模的学生试卷资源，建立起相关语料库。基于语言测试而生成的上述语料库可以反过来对俄语测试的研究和应用起到积极的推动作用，这些作用可以体现在诸如试题开发、考试质量评估及相关测试研究等方面。这些水平测试语料库可以是单科的，如写作、翻译，也可以是综合的，甚至推而广之，可以把俄语学业测试结果也建立相应语料库。相关的全国性的大型语料库创建比较复杂，可以先从单科、学业测试语料库做起。

最后需要补充说明的是，现有的俄语语料库，如俄语国家语料库（www.ruscorpora.ru），对于大型水平测试的试题开发制作、俄语水平测试设计和自动评分系统开发都能起到一定的辅助作用。有时，这种辅助功能可以起到替代外教在测试题开发中的作用。

[1] Bachman, F. & Palmer, S. 1996. Language Testing in Practice [M]. Oxford: Oxford University Press.

[2] 补爱华. 2011.语言测试方法论[M]. 上海：上海交大出版社.

[3] 黄齐东 季敏. 2008.语言测试的理论模式与发展取向[J]. 河海大学学报（哲学社会科学版）,(1):58-62.

[4] 贾绍东 王林 柯育强. 2010.基于CAT大学英语学业测试语料库建设的探讨[J]. 海南大学学报（人文社科版）,(4):111-115.

[5] 孔文 邹申.2007.语料库在语言测试中的应用[J]. 外语电化教学, (4):47-51.

[6] 刘润清 韩宝成. 2012.语言测试和它的方法（修订版）[M]. 北京：外语教学与研究出版社.

[7] 刘素梅. 2007.俄语测试网上阅卷系统与主观题的误差控制[J].中国俄语教学,(2):53-56.

[8] 卢磊. 2008.论语料库在语言测试中的应用[J]. 理论界,(11): 134-135.

[9] 邱磊. 2008.基于语料库的英语词汇测试[J]. 科技信息，(27): 330-334.

[10] 史顺良 冯跃进. 1997.语料库在语言测试中的应用[J]. 山东外语教学,(4):1-5.

[11] 史铁强. 2008.测试对教学的导向作用—俄语专业四、八级考试改革的思路[J]. 中国俄语教学,(2):24-29.

[12] 王晓冬. 2011.基于语言测试理论优化大学英语试题库建设[J].东北农大学报（社科版）,(5):113-116.

[13] 王永庆. 2014.计算机技术、语料库与语言测试[M]. 北京：科学出版社.

[14] 肖依虎 潘翠琼. 2002.语料库在语言测试中的应用[J]. 外语教学, (6):93-96.

[15] 薛荣. 2008.当代语言测试：理论发展与未来趋势[J]. 外语与外语教学,(10):44-47.

[16] 张惠芹 于春芳. 2007.从俄语八级水平测试看高年级教学[J]. 中国俄语教学,(3):37-41.

[17] 张文星. 2013.语料库语言学与语言测试的接口研究[J]. 重庆科技学院学报社科版,(11):121-124.

[18] 张晓华. 2008.语料库在词汇测试中的应用[J]. 语文学刊, (10):85-87.

[19] 赵有华 聂龙. 2005.论基于语料库的语法测试的重要性[J]. 海南师范学院学报社科版,(3):138-140.

[20] 郅友昌 樊明明 李绍哲. 2008.俄语综合试题库建设的理论与实践[J]. 中国俄语教学,(3):28-31.

[21] 邹申 杨任明. 2008.语料库在试题设计和验证中的应用研究[J].外语电化教学,(5):10-15.

[22] 邹申. 2012.基于语料库的写作测试效度研究——以《英语专业写作教学语料库》为例[J]. 外语电化教学,(1):16-21.

博雅大学堂——2016韩国语课程研讨会暨高级研修班会议纪要

2016年4月22日—24日，由北京大学出版社主办的“博雅大学堂——2016韩国语课程研讨会暨高级研修班”在北京大学召开。来自国内外几十所高校的韩国语系负责人、骨干教师、知名韩国语培训机构负责人积极参会，与同行交流教学经验，研讨课程教学。北京大学出版社刘乐坚副总编出席开幕式并致开幕辞。

本次研讨会邀请到了国内韩国语教育界的泰斗级人物——“大韩民国总统奖”获得者安炳浩教授、北京大学朝鲜（韩国）语言文化系主任、中国韩国(朝鲜)语教育研究学会副会长王丹教授、北京大学朝鲜（韩国）语言文化系张敏教授、山东大学韩国学院院长牛林杰教授、大连外国语大学陈艳平教授、韩国忠南大学金宣希教授等十位专家做了精彩的主题发言。

本次研讨会主要通过主题演讲、教学研讨、示范课等形式进行韩国语教学方法的研讨。与会教师可以通过课上互动、课下讨论等方式与主讲教师及其他参会教师展开交流。大会气氛融洽，讨论热烈，取得了预期的成效。

与会老师都纷纷表示，通过本次研讨会不仅听到了专家精彩的主题发言、还与业界同行增进了沟通加强了交流，及时地了解到目前国内韩国语教育的前沿信息，是一次成功的大会。

On the Applications of Corpora in Russian Language Testing

The study of corpus-based language testing has become one of the trends in the current language testing research. The domestic related researches are mainly carried out in the English teaching. Combined with the current development status of Russian testing researches, this paper pays more attention to probing into the application of Corpora in two aspects, namely the Russian Achievement Test and the Proficiency Test. The selevant findings may helpfully be applied to tests of intensire reading, extensive reading, listening, writing, translation as well as TRM-4 and TRM-8.

Language Testing; Russian Testing; Corpora; Achievement and Prof i ciency tests

H08

A

2095-4948（2016）02-0060-05

崔卫，男，天津外国语大学语言符号应用传播研究中心教授，博士生导师，研究方向为话语分析、信息化与外语教学、语言对比。