英语词汇自适应测试系统中词汇难度的判定*

胡一平　高佳佳　陆　宏（山东师范大学 传媒学院，山东济南 250014）



英语词汇自适应测试系统中词汇难度的判定*

胡一平高佳佳陆宏[通讯作者]
（山东师范大学 传媒学院，山东济南 250014）

摘要：针对英语词汇自适应测试系统中词汇难度如何量化的现实需求，文章提出了从词频、长度、语音书写和谐程度这三个维度来量化英语词汇难度的具体方法，并以普通高中英语词汇为例展示了其量化过程。经过对各个难度子区间的词汇频次进行统计后发现，其结果近似呈现正态分布。

关键词：英语词汇；自适应测试；词汇难度；项目反应理论

一　问题提出的背景

任何一门语言的掌握和应用都离不开词汇。词汇学习是英语学习的一个重要组成部分，是进行语言交际的前提和核心。并且，词汇能力对语言能力有很强的预测性，因为词汇能力的发展与语言能力的发展是紧密相关的[1]。基于此，对词汇能力的测试成为了语言学研究的重点。

随着计算机技术和网络技术的飞速发展，以及项目反应理论（IRT）在测试领域受到的广泛关注，英语词汇能力测试可借助基于IRT的计算机自适应测试（CAT）得以高效、便捷地实现。基于IRT的英语词汇自适应测试系统最重要的部分就是题库建设，而一个优质的题库系统是CAT系统得以成功实施的前提。但题库系统是否优质，在很大程度上取决于对英语词汇难度的量化是否合理，这关系到整个CAT系统的性能。在自适应测试的过程中，CAT系统作为测试的“决策者”，不论它采用何种选题策略（如最大信息量选题法、a分层选题法等），其最终目的都是从题库系统中选出与被试能力相匹配的试题，因为只有这样的试题对于被试来说才有价值，而对最终选题结果起决定性作用的正是词汇难度值。此外，词汇难度值对后续估计被试的词汇能力也起到了至关重要的作用，它会对被试最终能力水平的判定产生直接影响，而这关系到测试的可靠性。因此，如何合理地量化英语词汇难度值，就成为了研究者们关注的焦点。

二　相关研究综述

基于IRT的英语词汇自适应测试具有广阔的前景，这一点毋庸置疑。然而，由于采用的新型教育测量理论涉及相对繁杂的数学运算，且其测验理念并未完全深入人心，故目前相关的自适应测试系统仍处于一种相对匮乏的状态。但通过分析有限的案例，可以帮助研究者理清研究脉络，从中发现问题以便改进。

赵传海等[2]设计了一个基于IRT的大学英语词汇在线自适应测试系统，并依据相关理论研究成果，提出英语词汇自适应测试应在广度测试的基础上进行深度测试——然而在广度测试中，起决定性作用的词汇难度值却未得到充分重视。台湾学者Chen等[3]基于IRT和学习记忆周期理论，设计了个性化英语词汇移动学习系统，并在系统建设中对每个单词的难度系数进行标度时，对影响词汇难度的长度因子和发音因子的权重指定为0.7和0.3——但文中对这种标度的科学性和理论依据，却未加解释。此外，陆宏等[4]开发的高中英语词汇自适应学习系统对词汇难度的量化进行了改进——然而在对具体的难度影响因子参数的计算上过于简单，如在统计单词字母与音节的不和谐程度时，简单地将其划分为三个不同的等级，不能较好地体现不同词汇间不和谐程度的差异，进而直接影响到词汇最终难度值的合理性。

在词汇难度定义方面的缺陷，必然会导致整个词汇自适应测试系统在为用户选词、对用户能力进行评价时不够精确和科学，其实用价值也会大打折扣。基于此，本研究在文献查阅的基础上，提出了一个量化英语词汇难度的具体方法，使其更具科学性和实用性，并以普通高中英语词汇为例展示了其量化过程。

三　词汇难度的判定

本研究选用普通高中英语词汇作为题库目标词。《全日制高级中学英语教学大纲》和《普通高中英语课程标准（实验）》中规定了高中阶段学生应该学习和掌握的词汇，经统计共3823个，去除129个暂不予以考虑的词汇（包括body-building等合成词51个、AIDS等缩写词12个、table manners等短语66个），共得题库目标词3694个。

1词汇难度影响因子

一般来说，一个词汇的难度取决于它是否易于被学习者记忆或认出。对于将英语作为第二外语（ESL）的学习者来说，词汇的难度受很多因素的影响，如词频、单词的长度、语音与书写的和谐程度、学习者心理特质、文化影响以及母语的负迁移等。这些因素可归纳为两大类：词内因素和词外因素。由于本研究关注的仅仅是词汇自身的一些特征对词汇难度产生的作用，而词外因素具有难把握性、个体差异性和不可操作性，故本研究将重点放在了影响词汇难度的客观词内因素上。本研究试图通过文献查阅的方式，抽取出对词汇难度影响较大的因子，从而为量化英语词汇难度奠定理论基础。

词汇难度一直是语言学研究者们关注的重点。研究表明，对于ESL学习者来说，难词在很大程度上是指词形上难的词，即容易造成拼写错误的词[5]。而引起拼写困难的主要原因，是字母或字母组合与其发音间的不一致、误读以及单词过长[6]。吕文澎[7]针对我国英语学习者的特征，指出一些固有的长词以及那些至少包含一个不发音字母的单词都可被视为难词。Carroll[8]早在2000年就通过音素监察法，验证了词频对于词汇掌握和理解的重要作用。此外，李永康[9]在对词汇难度因素的分级研究中指出，词汇的难易可以用词汇频率、双语语义共享、上下文限制、语音/书写特征和谐等四种因素来表征。纵观国内外学者的观点，同时考虑到最终的词汇难度值需要依据各个影响因子进行具体量化，故本研究最终提取出最具代表性且同时具有可操作性的三大影响因子：词频、单词的长度、语音与书写的和谐程度。

（1）词频

词频可以被看作是词汇难度的统计学特征，即在一定数量的真实语料中词汇重复出现的次数。它决定了词汇的常用程度和学习者对词汇的熟悉程度，因此是量化词汇难度的重要影响因子。一般来说，单词的使用频率越高，对学习者来说就越常见，在记忆时的难度就会减小；相反，单词的使用频率越低，学习者对它的熟悉程度就会越低，在记忆时的难度就会增加。早在20世纪40年代中期，桑代克等语言学家就开始评估词频和词汇难度之间的关系，在计算机技术成熟之前经过人工分析，他们于1944年首次提供了大规模的词汇频次表。自那时起，许多词汇表都是基于单词的词频来设计的，用来指导第二语言词汇及课程的编纂。目前，以大规模语料库为基础的词频表已如雨后春笋般出现，并且借助于人工智能技术日渐繁荣。如西方的American Heritage Word Frequency Book、COBUILD Wordlist等词频表在国外应用十分广泛，国内的《新世纪大学英语四、六级词典》也同样基于词频编纂；我国台湾地区著名的General English Proficiency Test（GEPT）共分为初级、中级、中高级、高级、优级等五级测验，且每一级测验都规定了词汇考察范围，而这五个等级的词汇划分也参考了词汇的使用频率。由此可见，词频对词汇难度的影响不容忽视。

（2）单词的长度

单词的长度是单词的主要内部特征之一，对单词的认知与记忆影响很大——认知与拼写单词时，单词越长，初学者越容易犯错误，母语为非拼音文字者尤其如此。量化英语词汇的长度可从组成词汇的字母的个数、音节的数量、词素的数量等三个角度进行，其中字母个数产生的影响较大[10]。基于此，本研究选用单词中所含字母的个数来表征单词的长度。一般而言，单词越长，音节的结构和拼写变化就越多、越复杂，学习者的记忆负担就会相应加重，出错的可能性也较大，出错的次数也会增多——这也就是我们通常所说的“词长效应”。如果将词长与其它影响词汇难度的因素妥当分离，那么词长效应将会更加明显。

（3）语音与书写的和谐程度

语音与书写的和谐程度是指单词的发音与拼写之间的一致程度，而单词发音的正确程度与学习者对单词的理解、记忆和表述直接相关。吕文澎[7]在对词汇难度进行研究时指出，至少包含一个不发音字母、易引起吞音现象是难词的重要特征，这样的单词语音与书写的和谐程度较低。如单词“accident”和“straight”，两者均含8个字母，前者读作/'æks?dənt/，后者读作/stre?t/，而“straight”中的“gh”是不发音的，这对于利用发音记忆单词的学习者来说无疑增加了难度。相对而言，语音与书写和谐程度较高的“accident”更容易记忆。

2词汇难度判定公式

本研究确定了影响词汇难度的三大因子为词频、词汇长度、语音与书写的和谐程度，就可借助数学的方法来定义词汇难度判定公式（见公式1），进而可定量计算出每一个词汇的难度值。

其中，b是词汇难度值，F是词频参数，L是词汇的长度参数，H是词汇的语音书写和谐程度参数；W1、W2、W3分别是这三个参数的权重，其计算运用了层次分析法——这种用于决策的新方法由美国运筹学家Saaty提出[11]，该方法在处理复杂决策问题时所具有的优越性使得它的应用遍及教育、管理等众多领域。本研究邀请了20位从事英语教学和研究的专家参与其中，他们根据自身的专业知识和经验，按照这三大影响因子两两之间的相对重要程度，并依循1—9标度法在权重评议表上打分。研究者对评议表回收、审核后进行汇总，计算出三大影响因子中某一因子相对于其它因子的相对重要性权重值，得出词频、长度、语音书写和谐程度这三个因子的权重分别为0.44、0.30、0.26。为确保最终权重结果的可靠性，还需进行一致性检验，求得随机一致性比例CR=CI/RI=0.093<0.1（CI代表判断矩阵一致性指标，RI代表随机一致性指标），说明权重结果可靠且合理有效。因此，本研究得出的词汇难度判定公式见公式2：

3 各因子参数的计算方法

（1）英语词汇词频参数F的计算

本研究中词频参数的计算与英国国家语料库（BNC）常用15000词词频排序表（以下简称词频表）中相应单词的词频密切相关。BNC由牛津大学出版社、大英图书馆等合作开发建立，是迄今为止最具代表性的现代语料库之一。BNC取样的文章类型十分广泛，对文本的来源、语言的难易层次均有明确的规定与比例限制，其词频排序颇具代表性和科学性。词频表按照单词的使用频率高低对单词进行排序，它所收录的每一个单词都有一个词频序号，使用频率最高的单词词频序号为1；随着使用频率的降低，单词的词频序号不断增大。

如前文所述，本研究的题库目标词有3694个，然而在词频表中检索后发现gruel等328个单词并没有收录在词频表中，故应去除这328个词，而将剩余的3366个单词作为最终的题库目标词。为了计算词频参数，需要在词频表中检索所有目标词的词频序号。根据词频序号的查询结果，将词频序号最小的单词的词频参数定义为0，将词频序号处于中间水平的单词的词频参数定义为50，而将词频序号最大的单词的词频参数定义为100。然后按照一定的映射关系，就可计算出所有单词的词频参数，具体的计算公式见公式3：

其中，F是词频参数，VF是词频序号，VFmin代表目标词中词频序号最小的值，VFmid是指目标词中处于中间水平的词频序号值，VFmax是指目标词中词频序号最大的值。

（2）英语词汇长度参数L的计算

在进行长度参数计算之前，首先要做的准备工作是将目标词的长度分别统计出来。定义长度参数的方法与之前定义词频参数的方法类似，即将所含字母个数最少的单词的长度参数定义为0，将所含字母个数处于中间水平的单词的长度参数定义为50，将所含字母个数最多的单词的长度参数定义为100。同样经过一定的转换，每一个目标词的长度参数就可通过公式4得到：

其中，L是词汇的长度参数，VL是单词所含的字母个数，VLmin、VLmid、VLmax分别代表目标词中最短、长度居中、最长的单词所包含的字母个数。

（3）英语词汇语音书写和谐程度参数H的计算

语音书写和谐程度参数可显示一个单词读音与形态的一致性程度，这里用H来表示。为了计算H的值，需首先定义一个单词的长度与该单词音标长度的比，表达式见公式5：

其中，PR是单词的字母个数与音标个数的比，VL是单词包含的字母个数，PN代表单词包含的音标个数。根据PR的定义，可以计算出所有目标词的PR值。显然，当PR=1时，该单词读音与形态的一致性程度最高；不论是PR>1还是PR<1，都表明该单词的字母与音标不能一一对应，这样势必会造成拼写困难。在所有目标词中将PR值与1差值的绝对值最小的单词H值定义为0，差值的绝对值处于中间水平的单词H值定义为50，差值的绝对值最大的单词H值定义为100，每一个目标词的语音书写和谐程度参数就可通过公式6计算得出：

其中，H是单词的语音书写和谐程度参数，PR是单词的字母个数与音标符号个数的比，|PR-1|代表PR与1差值的绝对值，|PR-1|min、|PR-1|mid、|PR-1|max分别是所有目标词中PR与1差值的绝对值的最小值、中间值、最大值。

需要说明的一点是，由于各因子参数的定义范围均为[0,100]，因此按照难度判定公式直接计算出的词汇难度取值范围同样是[0,100]。而在IRT中，一般情况下词汇难度取值范围是[-3,3]，所以为了获得相应范围的难度值，就需做进一步转换，即将词汇难度从[0,100]映射到[-3,3]的范围中。具体的转换方式见公式7：

其中，b’是指取值范围在[-3,3]上的词汇难度，即最终难度值；b是指利用难度公式直接计算出来的词汇难度，即初始难度值；bmin、bmax分别是指初始难度值的最小值、最大值。

四　词汇难度值计算过程举例

前文已经定义了词汇难度的判定公式以及各因子参数的计算方法，下文将通过举例使计算过程更加清晰明了——以单词climb/kla?m/为例，来说明其词频参数F、长度参数L、语音书写和谐程度参数H、初始难度值b以及最终难度值b’的计算过程。

1词频参数的计算

通过对本研究中3366个高中英语词汇在词频表中的词频信息进行统计后可知：VFmin=1，VFmid=3000，VFmax=14958。单词climb的词频序号VF=3882>VFmid，那么它的词频参数F的计算过程如下：

2长度参数的计算

通过对目标词的长度信息进行统计后可知：VLmin=1，VLmid=8，VLmax=15。单词climb的长度VL=5

3语音书写和谐程度参数的计算

4初始难度值的计算

计算出单词climb的词频参数F、长度参数L、语音书写和谐程度参数H后，就可以根据词汇难度判定公式来计算climb的初始难度值b：

5最终难度值的计算

对climb的初始难度值b进行一定转换后，就可以获得难度范围在[-3,3]间的最终难度值b’。统计完所有目标词的初始难度值后可知：初始难度值的最小值为bmin=0.029343114、最大值为bmax=78.23107603，那么最终难度值b’的计算过程如下：

根据以上词汇难度计算公式和计算过程，就可得出本研究所涉及的3366个词汇的词频参数、长度参数、语音书写和谐程度参数以及每个词汇的难度值。将词汇难度取值范围[-3,3]平均划分为12个子区间，分别统计在各个难度子区间上目标词出现的频次，结果如图1所示。从图1可以看出，词汇难度频次近似呈现正态分布，这就验证了本研究提出的词汇难度计算方法的科学性。

图1　词汇难度频次分布

基于IRT的CAT系统为英语词汇测试注入了新鲜血液，其优势突出。系统的科学性、高效性是CAT得以大规模推广的前提之一，而在英语词汇CAT系统中，对系统科学性起决定作用的正是词汇难度值。本研究结合文献梳理结果及我国英语词汇的教学实际，提出了从词频、长度、语音书写和谐程度这三个维度来量化英语词汇难度的具体方法，其量化过程不涉及繁杂的数学运算，具有实用价值。

参考文献

[1]段士平.二语词汇能力及其测试[J].解放军外国语学院学报,2009,(2):51-54.

[2]赵传海,吴敏,叶艳.基于IRT的大学英语词汇在线自适应测试系统的设计[J].现代教育技术,2008,(12):87-90.

[3]Chen C M,Chung C J.Personalized mobile English vocabulary learning system based on item response theory and learning memory cycle[J].Computers & Education,2008,(2):624-645.

[4]陆宏,赵艳萍.高中英语词汇自适应学习系统的研制[J].现代教育技术,2014,(11):47-52.

[5]Nation I S P.Beginning to learn foreign language vocabulary: A review of the research[J].RELC Journal,1982,(1):14-36.

[6]侯宁海.常考易混英语疑难对词手册[M].南京:河海大学出版社,1994:15-17.

[7]吕文澎.英语难词记忆法:调查与分析[J].外语教学,2001,(3):75-80.

[8]Carroll D W.Psychology of language[M].Beijing: The Foreign Language Teaching and Research Press,2000:34-36.

[9]李永康.第二语言词汇难度定义的整合研究[J].安徽工业大学学报(社会科学版),2003,(5):122-123.

[10]陈士法,彭建武,杨洪娟,等.英汉心理词典中英语单词存储的词长效应研究[J].外语教学,2011,(5):45-51.

[11]郭金玉,张忠彬,孙庆云.层次分析法的研究与应用[J].中国安全科学学报,2008,(5):148-153.

编辑：小米

Assessing Lexical Difficulty in English Vocabulary Adaptive Testing System

HU Yi-pingGAO Jia-jiaLU Hong[Corresponding Author]
(School of Communication,Shandong Normal University,Jinan,Shandong,China 250014)

Abstract:Focusing on realistic demand how to quantify lexical difficulty in English vocabulary adaptive testing system,the paper put forward a new approach to assess lexical difficulty in terms of word frequency,word length as well as harmony degree of phonetic and orthographic features and displayed the quantization process of high school English vocabularies.According to the statistically analysis of the vocabulary frequency at each difficulty subinterval,the result shown a normal distribution.

Keywords:English vocabulary; adaptive testing; lexical difficulty; item response theory

收稿日期：2015年9月29日

作者简介：胡一平，在读硕士，研究方向为计算机教育应用，邮箱为hypfamily@163.com。

*基金项目：本文为2013年山东省高等学校科技计划项目“基于项目反应理论的英语词汇自适应学习系统的研制”（课题编号：J13LN12）的阶段性研究成果。

【中图分类号】G40-057

【文献标识码】A 【论文编号】1009—8097（2016）03—0100—07 【DOI】10.3969/j.issn.1009-8097.2016.03.015