词汇丰富性研究方法及现状
2018-01-30王艺璇
王艺璇
(北京语言大学对外汉语研究中心,中国北京100083)
词汇是测量二语学习者语言水平的有效指标(Linnarud,1986;Astika,1993;DeBoer,2014)。现有研究主要使用“词汇丰富性”(Lexical Richness)作为研究和测量的重要方法(Laufer&Nation,1995;John Read,2000:201;Lu,2012;王艺璇,2017)。
在汉语作为第二语言的词汇丰富性研究中,多数为使用该方法测量学习者的语言水平(吴继峰,2016;丁安琪、肖潇,2016等),系统的介绍性文章较少。赵守辉(2008)简要介绍了词汇丰富度和词汇个性。张艳、陈纪梁(2012)总结了词汇多样性和词汇复杂性的测量方法。
词汇丰富性是一个总括性的概念,下辖多个维度,以上研究并没有将之完全覆盖。同时,相较于汉语作为第二语言的研究,有关英语和其他语言的词汇丰富性研究成果丰硕。因此,我们将对词汇丰富性各维度的研究方法做系统的梳理并介绍已有成果,以期为汉语作为第二语言的词汇丰富性研究提供参考和借鉴。
一、词汇丰富性
“词汇丰富性”主要有两种含义:一种是总称性的,如Read(2000)“词汇丰富性”框架中包括词汇变化性(Lexical variation)、词汇复杂性(Lexical sophistication)、词频概貌(Lexical frequency profile)、词汇错误(Lexical errors)和词汇密度(Lexical density);另一种是词汇变化性的别称,计算及观察方法与词汇变化性相同(Fiona&Baayen,1998)。不同研究对于作为总称的“词汇丰富性”所辖维度有不同的界定,主要分为以下两种。
其一,Laufer(1991)将词汇丰富性概括为词汇独特性(Lexical originality)、词汇密度、词汇复杂性和词汇变化性。随后,Laufer&Nation(1995)提出“词频概貌”,认为该维度可以避免以上四者的缺陷并将其纳入到词汇丰富性的测量方法中。
其二,Read(2000:203-205)将有关词汇丰富性下设的考察维度总结为词汇密度、词汇复杂性、词汇变化性、词频概貌和词语错误(Occurrence of errors)。此后,大部分研究都采用了该框架,例如Lu(2012)。
本文使用总称性概念,对下辖的词汇变化性、词汇复杂性、词频概貌、词汇密度和词汇独特性等维度及相关研究做系统介绍[1]。
二、词汇变化性
词汇变化性亦被称作词汇多样性(Lexical diversity)(Malvern et al.,2002;Yun,2010等),是指学习者在语言使用中所展现出的词汇变化程度。
通过对有关词汇变化性研究的总结,将现有成果概括为以下两方面:
(一)计算公式和测量方法
从Yule(1944)词汇统计中有关词汇变化性的研究开始(转引自Laufer&Nation,1995),学界分别从概念界定和计算方法上展开讨论。其中,有关计算方法的研究较多。
类符和形符的比(Type-Token Ratio,TTR)是使用最广泛的计算公式(Templin,1957)。但是传统的TTR受到样本长度的影响,即如果文本中词数过多,TTR就不能对其进行有效评价(Arnaud,1984;Richards,1987)。为此,之后的一些研究尝试通过代数变换的方法,对TTR公式进行不断修改以消除文本长度对词汇变化性测量效度的影响。例如Guiraud(1960)中提出的Root TTR(T/);Carrol(1964)中的计算词汇变化性的CTTR公式,即corrected TTR);Herdan(1960)的Log TTR(logT/logN);Sommers(1966)中使用的 S=log(log t)/log(log n);Sommers(1966)的 M法,M=log n-log t/log2n;Dugast(1978)提出的 U法,U=log2n/(log n-log t);Tuldava(1993)的 T法,T=log(log t)/(log(log n/t+A))5(转引自 Joan Torruella&Ramon Capsada,2013)。
除以上研究外,近年来传统TTR测量方法得到进一步发展。Malvern&Richard(2002)为了克服TTR及其变体公式受到文本长度的影响,提出D值法。该方法通过数值模拟(mathematically modeling)呈现出词语是如何进入长度逐渐增加的语言样本(language samples)中的,并通过使用VOCD软件计算文本中的词汇变化性。有研究者将文本等长切分以避免计算结果受到文本长度的影响,如Johnson(1944)提出的MSTTR,即将文本以100个字符长度作为切分节点再计算TTR(转引自Joan Torruella&Ramon Capsada,2013);McCarthy(2005)使用的MTLD法,该方法与MSTTR部分相同,即都对文本长度加以控制,不同的是MTLD对长度的控制更加严格,每一段文本的TTR值首先要达到0.72,然后再使用公式L/n计算MTLD值,其中L为文本长度,n为文本被切分后的总段数;还有HD-D法,即随机截取文本中的42个字符,最后数值是通过超几何概率分布(Hypergeometricprobability distribution)计算得出(转引自 Joan Torruella&Ramon Capsada,2013)。
Joan Torruella&Ramon Capsada(2013)回顾了以上方法中的11种计算方法,使用语料库文本,考察现有公式在不同体裁和长度的文本中的测量信度。研究认为TTR、RTTR、CTTR易受文本长度的影响,Mass、MSTTR、MTLD等对文本长度的敏感度较低,可以作为测量词汇变化性的备选方法。
(二)应用研究
词汇变化性的应用研究主要是考察词汇变化性与语言水平的关系以及使用该方法对比一语和二语产出性词汇的差异。
有关词汇变化性与语言水平关系的研究,学者们根据被试产出的文本,探究该维度与语言水平的关系或使用词汇变化性公式作为测量方法,考察被试的语言水平。
大部分的研究显示,词汇变化性是有效的测量维度。Danielle S.McNamara et al.(2010)采用语料库语言学的方法,从密西西比大学语料库(MSU corpus)中抽取母语为英语的大学生完成的120篇作文,考察词汇多样性与作文成绩的相关性。研究表明二者相关,即词汇多样性可以作为预测文本质量的语言指标(linguistic indicate)。
Engber(1995)通过考察就读于美国大学英语强化班的中高级水平的英语学习者的作文,发现词汇多样性与整体写作质量极为相关。Pilar Durán et al.(2004)通过使用D值法,考察年龄在18到42个月的母语为英语的儿童在5年间词汇发展情况。研究发现,随着年龄增长,儿童在表达中的词汇多样性逐渐提升。因此,词汇多样性可以作为衡量学习者语言水平的有效工具。Serpil Demir-Vegter et al.(2014)直接将词汇变化性作为衡量文本质量的标尺,并据此考察学习者的语言水平。
但也有研究持不同观点,如Vermeer(2000)使用词汇多样性的若干测量方法,观察幼儿园(4到5岁)和小学一年级(6岁)的儿童在自发性口语产出中的差异,考察学习者语言水平和自发性口语产出质量与词汇多样性的关系。研究显示,现有的统计方法,包括类符数(number of types)及TTR在内的相关方法并不能有效反映两组被试间的差异。因此,研究认为词汇多样性无助于反映学习者的语言水平。
对比研究主要是比较一语和二语者在言语产出中词汇多样性的差异。
Linnarud(1986)对比年龄为17岁、学习英语时间为9年的瑞典二语学习者与同龄的英语母语者在词汇多样性、词汇错误和词汇独特性等方面的差异。研究表明,两组被试在词汇多样性上差异显著,在名词的使用上最小,在副词和形容词的使用上差距最大。
Birgit Harley&Mary Lou King(1988)对比母语为法语的英语学习者在动词多样性上的不同。Judit Kormos(2011)对比一语者和二语者在写作文本中所用词汇的变化性,并认为该维度可以有效区别一语和二语写作文本。但也有研究如Foste&Tavakoli(2009)通过使用Malvern.D和Richards.B(2000)的统计方法对比一语和二语学习者作文中的词汇多样性,研究显示二者并没有区别。
通过对词汇变化性(词汇多样性)研究的梳理,我们可以看到,现有成果十分丰富,主要集中在如何创建和改良词汇多样性的计算方法以及该维度与学习者词汇发展关系上,但对于该方法的有效性还存在一定争议。
三、词汇复杂性
Read(2000/2010:203)指出“复杂”词语又可称为罕见词语(Lexical rareness),是指在文本中出现的常用度较低的词(Unusual word)或高级词(Advanced word)。研究认为,所用的复杂词语比重越高,文本质量和学习者的语言水平就越高(Linnarud,1986;Vermeer,2000;刘东虹,2003;McNamara et al.,2010;万丽芳,2010;Fan,2012等)。
计算词汇复杂性的方法有以下几种。Linnarud(1986)和Hyltenstam(1988)通过计算复杂词汇的数量与总词数的比来考察文本中的词汇复杂性(具体公式见下,下同),Laufer(1991)在此基础上进行了微调;Harley&King(1989)将范围缩减为复杂动词,即复杂动词的类符数与动词总数的比值;Chaudron&Parker(1990)在Harley和King的基础上,将公式调整为平方版本(Squared Version);Wolfe-Quintero et al.(1998)根据Carroll(1964)的研究,对corrected type-token ration公式进行调整,提出计算动词复杂性的公式。具体为:
除此之外,还有研究是基于词频表并通过软件统计,直接计算词汇复杂性。如Judit Kormos(2011)使用的是Coh-Metrix2.0程序,对文本的词汇复杂性进行考察,尽管在具体的研究方法上不同,但该文的主体思路与以上研究相同,都是针对其所确定的复杂词语进行考察。
Vermeer(2000)指出,与以TTR为代表的词汇变化性相比,词汇的复杂性更能体现出学习者在用词上的能力。鲍贵(2008)认为,词汇复杂性是区别不同水平学习者的最佳维度,无论使用何种具体计算方法,都始终保持着线性增长的趋势。Danielle S.McNamara(2010)将词汇复杂性作为区别不同语言水平学习者的依据,该研究显示,写作分数与文本中的复杂词语使用极为相关。Judit Kormos(2011)对所收集到的一语和二语者的语料进行对比,发现二语者在词汇复杂性上远远低于一语者,认为词汇复杂性可有效区分不同语言水平。朱慧敏、王俊菊(2013)研究表明,文本中的词汇复杂性随着学习者年级的升高而增加,而且相邻两个年级间的词汇复杂性存在显著差异。
从结论来看,以上研究无一例外都认可词汇复杂性的有效性,但问题是,如何判定一个词对被试来说是“复杂”的?
对于不同语言水平和教育背景的学习者来说,“复杂”是一个相对概念,没有一个固定范围。例如,同样是考察词汇复杂性,但不同研究需要针对不同语言水平的被试划定不同复杂程度的词汇等级。Vermeer(2000)研究中的被试是幼儿园和一年级的儿童,而East(2006)的实验参与者是17到18岁的高中生,Judit Kormos(2011)的研究样本则来自于学习英语的匈牙利大学生。除了被试在年龄和教育水平上的差距外,学习者的知识背景也会影响词汇复杂性的确定,比如同样是中级水平的二语学习者,其中一个被试由于某些原因频繁接触某个或某些常用度较低的词并习得,那么尽管学习者在输出中使用了该词,但不能说明他在用词上的复杂性高于不能使用该词的其他被试。诚如Laufer&Nation(1995)所指出的,“词汇复杂性依赖于对复杂词汇的界定,同样的文本会得出不同的词汇复杂性分析结果。……如果想对不同教育体系下的被试组进行对比,就需要对高级词汇或复杂词汇进行标准化的界定。”
综合上述研究,可以发现,词汇复杂性可有效反映学习者的语言水平,但词汇的复杂性要根据学习者的水平进行调整,因此,所谓的“复杂”是相对的,也是难以统一标准的。
四、词汇密度
关于词汇密度的研究开始于Ure(1971)。Ure认为,某一文本中词汇词(Lexical word)在总词数中的比重即为词汇密度。Halliday(1985)发展了Ure的公式,通过计算文本中的实词数和小句总数的比,来计算文本的词汇密度。Laufer(1991)、Laufer&Nation(1995)则在以上公式的基础上进行了一定调整,具体见下。
词汇密度主要应用在两个方面:其一,测量文本质量,其二,区分不同体裁的文本。
研究者认为,与语法词(Grammatical/Function words)相比,词汇词在文本中主要承担表义功能(Engber,1995;McNamara et al.,2010;Demir-Vegter et al.,2014等)。因此,认为计算出的数值越大,学习者的语言水平或文本质量越高。
Ure(1971)、Halliday(1985)和Stubbs(1986)等研究发现,口语产出中的词汇密度低于写作文本,并且认为词汇密度是区分不同体裁文本的有效指标。
词汇密度作为区分不同文本体裁的工具,其有效性已得到学界认可,但是通过词汇密度测量写作质量则存在争议。Linnarud(1986)和Engber(1995)指出词汇密度与二语写作成绩无关,在整体评分(holistic rating)中不能对分数产生影响。Lu(2012)使用Ure(1971)中的公式考察二语学习者在口语测试中的表现,研究发现词汇密度并不能反映出学习者的语言水平。但朱慧敏&王俊菊(2013)通过使用Halliday(1985)中的公式考察中国英语专业一到四年级大学生词汇发展情况,结果显示词汇密度整体呈上升趋势。
为何词汇密度在体现学习者写作质量上存在争议?我们认为,词汇密度或可反映出学习者的语言水平,因为词汇水平是二语者语言水平的一部分。语法词是一个封闭类,成员主要是高频词;而词汇词是一个开放的类,内部成员众多纷杂,常用度、典雅度等各有不同,对词汇词的使用反映出学习者的语言能力。因此,可以作为观察语言水平的一个维度。但是,语言水平或写作质量并不能单单依靠词汇词的堆砌来提升,王艺璇(2015)的研究表明,文本中复句的数量影响作文成绩。复句的构建需要连词等非词汇词,即语法词的衔接,如果语法词在文本中数量过少,在一定程度上反映出文本中复句数量少,简单句较多,作文成绩因此会受到影响。诚如Laufer&Nation(1995)所指出,“一篇作文中的功能词(语法词)较少,可能反映出该文本中的从句、分词短语和省略的使用水平太低,这些并不是词汇词,而是作文的结构特性。”
五、词频概貌
“词频概貌”(Lexical frequency profile,LFP)是指在某一文本中常用度不同的词语的使用情况,其反映了所用词语在各词频等级中的比重(Laufer&Nation,1995)。Batia Laufer和Paul Nation是在词汇复杂性基础上提出词频概貌这一观察维度的,主要依据词语在本族语中的使用频率对词汇进行等级划分并据此考察学习者的词汇水平和语言水平。词频概貌和词汇复杂性虽然都是根据词语的常用度进行判断,但与词汇复杂性不同的是,词频概貌不仅仅是考察常用度等级低的词语,而且还对文本中出现的每一个词进行常用度判断,最后以数值的方式呈现出学习者的用词情况,也就是所用词语词频等级的大“概”面“貌”。有关词汇复杂性的研究已表明,相对于水平较低的语言学习者,高水平的二语者在表达中更倾向于使用低频词。除此之外,词频概貌还将呈现其他词频等级中词语使用的趋势和特点。
Laufer和Nation在1995年的研究中指出,与词汇丰富性中其他观察维度相比,LFP有以下优点:1)与词汇独特性相比,LFP是基于大环境而非被试组,因此更客观。2)与词汇密度相比,LFP独立于句法和文本中的结构,关注词语,因此更适合作为考察词汇丰富性的工具。3)与词汇复杂性相比,LFP呈现出了更为详尽的各词频等级词语的使用情况,同时,由于词汇复杂性中复杂词语的确定是根据学习者的语言程度,而LFP是基于词频词表进行判断,因此更适合比较不同程度的被试。4)与词汇多样性相比,LPF可以展示出学习者所用词语的不同词频等级,而不是像前者所简略呈现的那样,在有限的词汇量基础上,变换使用不同词语进行表达。在之后Laufer&Paribakht(1998),Laufer(1998)和James Muncie(2002)等相关研究中,LFP也显示了较好的信度。
Meara(2005)使用Monte Carlo模拟的方法,结合自己的研究经验及成果(Meara,1993;Meara et al.,1997)对LFP进行分析后,从四个方面提出质疑:首先,不同语言水平的学习者的LFP是否有显著区别?(Meara认为低频词在文本中使用的数量有限且相对较少,可能无法产生显著差异)其次,同一学习者在词语水平测试中所得分数,与其作文中的LFP是否显著相关?再次,同一学习者产出的两组作文,在LFP上是否存在显著的相关性?最后,两组作文间,同一学习者所用的不同词频等级词语的比重是否高度相关?
Laufer在同年同刊发文,以Lexical Frequency Profile:From Monte Carlo to the Real World—A Response to Meara为题,针对Meara提出的四点质疑逐一回复并对LFP的相关问题做了进一步阐述。例如,Meara认为学习者产出的低频词过少,不能清晰显示出学习者的水平,但Laufer认为,正是由于低频词的产出较少,所以每一个低频词背后所体现的意义才更大,才更能反映出学习者的水平。同时,Laufer以自己和Nation在研究中所采集到的真实数据作为佐证,认为Meara基于计算机产生的模拟数据不足以作为推翻LFP的证据,并指出Meara所模拟的数据(以及经验上的)与现实中学习者产出的情况相去甚远,因此,基于该数据所得到的结论不能作为批评LFP的依据。Laufer在文章最后指出Meara(2005)对LFP存在的误解,例如,Meara认为LFP包括词语错误,影响其信度,但事实上,Laufer指出在计算LFP前已去除词汇错误。
尽管Laufer(2005)对Meara(2005)的质疑进行了有针对性的回击,并将LFP的相关问题加以阐述和清晰化,但并不代表LFP是无懈可击的。
首先,Laufer(2005)并没有提出如何有效解决低频词所占比重较少,不利于客观反映学习者词汇产出情况的解决方案。由于LFP在观察中加入了其他词频等级的词语,导致低频词在整体上的显著度被降低。因为无论学习者语言水平多高,都不能避免使用作为日常表达基础的高频词语。虽然Laufer(1995)中提供了简化版“Beyond 2000”,但是如此一来模糊了Advance word中不同词频的词语界限,反而不利于细致观察高水平学习者的词汇产出情况。
其次,LFP受到文本长度影响,Laufer已意识到LFP会受到影响,因此在其1995年的研究中指出LFP应用在长度为200到400词的文本中似乎更有效。但是对于长度低于200和超出400的文本将如何处理?Laufer没有提供解决方案。
最后,LFP仅能呈现出学习者词汇使用的“概貌”,无法精细到每部分的具体情况,在一篇文本中,学习者使用同一个词10次和使用处于相同等级的10个不同的词所呈现出的LFP是一样的。
还有一些研究是针对LFP中的问题做进一步探讨。如Meara和Bell(2001)针对LFP易受到文本长度的影响提出P-Lex法。操作方法为将自然文本分解为以10个词为一个言语片段的单位,然后对其中不同词频等级的词进行统计,并基于此制作曲线图。除此之外,Kojima(2011)和Masumi Kojima、Junko Yamashita(2014)提出和使用的S法等。
六、词汇独特性
在一组被试中,针对某一题目,学习者所用的异于他人的词汇越多,所得数值越大,说明他的词汇广度越大,词汇知识越丰富,相应的语言水平或写作质量也应高于旁人(Linnarud,1986;Laufer,1991)。但是,词汇独特性依然存在不足。
首先,数据的有效性有限。由于受到被试组成员的限制,因此某一具体研究中所得数据并不具有普适性。正如Laufer&Nation(1995)指出的,“如果被试组发生变化,词汇独特性指数也将发生变化。也就是某篇作文的词汇独特性是不稳定的,因为这一数据不仅仅由作文本身质量决定,还受制于被试组成员。因此,该方法的信度会受到影响。”Read(2000:204)也指出,“(与衡量词汇丰富性的其他维度相比)很明显,这种测量方法并不稳定,它是由对照组中其他被试的语言能力决定的。”就是说,词汇独特性是相对的,并非是一个可以横向比较的数据。
其次,应用范围有限。从应用角度来看,该方法仅限于小规模样本的测量,如随堂考试或课后作业,无助于大规模的考试阅卷评分以及据此为学习者提供有关应试的适切建议。大型考试中试卷的批改主要是流水作业,所需评分的试卷数量极大,这也就使得相关词语出现的可能大大增加,学习者在这种情况下使用旁人没有使用过的词,可能性较小。即便学习者使用了“独特”的词汇,但由于其数量有限,能否引起阅卷者的注意也是一个问题。其应用范围较小,因此,词汇独特性的普适性还需考量。
“词汇独特性”(Lexical originality)亦称词汇个性(Lexical individuality)(Linnarud,1986),Birgit Harley&Mary Lou King(1989)将之称为词汇特殊性(Lexical specificity)。词汇独特性,顾名思义是指文本中用词的独特之处,这种“独特”主要通过统计该文本中异于他人所用之词来体现(Laufer&Nation,1995)。具体方法为:统计被试组中的某一被试所用的异于该组中其他被试所用词语的比重(Rod Ellis,1984转引自Laufer,1991)。代表性计算公式为:
七、余 论
有关词汇丰富性研究成果可概括为两大类:
其一,公式及方法探讨。研究主要集中在公式有效性的探讨,最终大部分的成果应用于计算机自动评分。例如Noam Ordanet al.(2010)、RieKoizumi&YoIn’nami(2012)对有关词汇多样性公式的讨论;Joan Torruella&Ramon Capsada(2013)对前人提出的词汇多样性公式进行汇总并加以比对;David Malvern&Brian Richards(2002)使用数学建模,通过软件计算和观察大量样本,在TTR基础上提出计算D值的方法等都可归入这类研究。
其二,相关性研究。考察词汇丰富性(或其中的若干维度)与文本质量或语言水平之间的关系。例如Batla Laufer&Paul Nation(1995)使用词频概貌的方法测量学习者写作水平并根据词汇使用情况观察其写作水平的发展。Engber(1995)根据收集到的66篇文本,考察词汇变化性、无误词汇变化性(Error-free variation)、词汇错误比重(Percentage of lexical error)以及词汇密度与作文成绩的关系。
在两类研究中,前者的目的在于寻找可靠的测量公式,基于语料进行反复测试以探求考察写作水平的方法,所得结论一般服务于计算机自动评分而不是直接应用于教学;后者则是通过使用前者提出的统计方法对学习者产出的文本进行测量,使之成为考量学习者语言发展或区分不同水平学习者的一个方法。
与英语作为第二语言的研究相比,当前汉语作为第二语言的研究中有关词汇丰富性的研究相对较少且方法单一,主要为直接或对比使用词汇丰富性中各维度的计算方法测量学习者的词汇及语言水平,例如吴继峰(2016)、丁安琪等(2016)。涉及探讨适用于汉语的词汇丰富性计算方法的研究较少,仅见王艺璇(2017)。
词汇丰富性是观察学习者词汇和语言水平发展的有效切入点,如何借他山之石,攻己之玉,即如何将之应用于汉语第二语言词汇习得研究中,是今后探讨的重要方面。
注释:
[1]本文没有对“词汇错误”做详细介绍,是因为词汇错误虽隶属于词汇丰富性研究框架,但其为人所熟知,故不再占用篇幅赘述。
丁安琪、肖 潇:《意大利学习者初级汉语口语词汇能力发展研究》,《世界汉语教学》,2016年第2期。
万丽芳:《中国英语专业大学生二语写作中的词汇丰富性研究》,《外语界》,2010年第1期。
王艺璇:《HSK作文成绩与句子长度、复杂度及语法错误的相关性》,《汉语应用语言学》,2015年第4辑。
王艺璇:《汉语二语者词汇丰富性与写作成绩的相关性——兼论测量写作质量的多元线性回归模型及方程》,《语言文字应用》,2017年第2期。
吴继峰:《英语母语者汉语写作中的词汇丰富性发展研究》,《世界汉语教学》,2016年第2期。
赵守辉:《词汇能力测评立体观》,《暨南大学华文学院学报》,2008年第2期。
张 艳、陈纪梁:《言语产出中词汇丰富性的定量测量方法》,《外语测试与教学》,2012年第3期。
朱慧敏、王俊菊:《英语写作的词汇丰富性发展特征——一项基于自建语料库的纵贯研究》,《外语界》,2013年第6期。
Birgit Harley&Mary Lou King.Verb Lexis in theWritten Compositions of Young L2 Learners.Studies in Second Language Acquisition,1989,11(4).
Carroll,J.B.Language and Thought.Englewood Cliffs:Prentice-Hall,Inc.Francais Moderne,1964.
Chaudron,Craig&Parker,Kate.Discoursemarkedness and structuralmarkedness:The acquisition of English noun phrases.Studies in Second Language Acquisition,1990,12(1).
Demir-Vegter,Serpil,Rian Aarts&Jeanne Kurvers.Lexical richness in maternal input and vocabulary development of Turkish preschoolers in the Netherland.Journal of Psycholinguistic Reseach,2014,43(2).
Durán,Pilar,David Malvern,Brian Richards&Ngoni Chipere.Developmental trends in lexical diversity.Applied Linguistics,2004,25(2).
Dusková,Líbuše.On sources of errors in foreign language learning.International Review of Applied Linguistics in Language Teaching,1969,7(1).
East,Martin.The impact of bilingual dictionaries on lexical sophistication and lexical accuracy in tests of L2 writing proficiency:A quantitative analysis.Assessing Writing,2006,11(3).
Engber,Cheryl A.The relationship of lexical proficiency to the quality of ESL compositions.Journal of Second Language Writing,1995,4(2).
Fan,Fengxiang.A quantitative study on the lexical change of American English.Journal of Quantitative Linguistics,2012,19(3).
Fiona.JTweed&Baayen,R Harald.How variablesmay a constantbe Measures in lexical richness in perspective.Computer and the Humanities,1998,32(4).
Foster,Pauline&Parvaneh Tavakoli.Native speakers and task performance:Comparing effects oncomplexity,fluency,and lexical diversity.Language Learning,2009,59(4).
Guiraud,P.Problèmes etMéthodes de la Statistique Linguistique.Paris:Presses universitaires de France,1960.
Haliday,M.A.K.An Introduction to Functional Grammar.London:Edward Arnold,1985.
Harley,Birgit&Mary Lou King.Verb lexis in the written compositions of young L2 learners.Studies in Second Language Acquisition,1989,11(4).
Herdan.G.Quantitative Linguistics.London:Butterworth,1960.
Hyltenstam,Kenneth.Lexical characteristics of near-native second-language learners of Swedish.Journal of Multilingual&Multicultural Development,1988,9(1-2).
Judit Kormos.Task complexity and linguistic and discourse features of narrativewriting performance.Journal of Second LanguageWriting,2011,20(2).
Kojima,Masumi.An argument-based approach to validate S:A newly developmentmeasure of lexical richness.Poster presented at the Corpus Linguistics:Birmingham,2011.
Kojima,Masumi,Junko Yamashita.Reliability of lexical richnessmeasures based on word lists in short second language productions.System,2014,42(1).
Laufer,Batia.The developmentof L2 lexis in the expression of the advanced learner.Modern Language Journal,1991,75(4).Laufer,Batia.The development of passive and active vocabulary in a second language:Same or different?Applied Linguistics,1998,19(2).
Laufer,Batia&Paribakht,T.S.The relationship between active and passive vocabularies:Effects of language learning context.Language Learning,1998,48(3).
Laufer,Batia&Paul Nation.Vocabulary size and use:Lexical richness in L2 written production.Applied Linguistics,1995,16(3).
Laufer,Batia.Lexical Frequency Profiles:From Monte Carlo to the real world:A response to Meara.Applied Linguistics,2005,26(4).
Linnarud,Moira.Lexis in Composition:APerformance Analysis of Swedish Learners’Written English.Lund,Sweden:CWK Gleerup,1986.
Lu Xiaofeng.The Relationship of Lexical Richness to the Quality of ESL Learners’Oral Narrative.The Modern Language Journal,2012,96(2).
Malvern,David&Brian Richards.Investigating accommodation in language proficiency interviews using a new measure of lexical diversity.Language Testing,2002,19(1).
McCarthy,Philip.M.An assessmentof the range and usefulness of lexical diversitymeasures and the potentialof themeasure of textual,lexical diversity(MTLD).Unpubilshed doctoral dissertation,university of Memphis,2005.
McNamara,DanielleS.,ScottA.Crossley&Philip M.McCarthy.Linguistic features of writing quality.Written Communication,2010,27(1).
Meara Paul.Tintin and theworld service:a look at lexical environments.IATEFL:Annual Conference Report,1993,32-37.Meara Paul.Lexical Frequency Profiles:A Monte Carlo Analysis.Applied Linguistics,2005,26(1).
Meara Paul&H.Bell.P-Lex:A simple and effective way of describing the lexical characteristics of short 12 texts.Prospect,2001,16(3).
Meara Paul,Lightbown Patsy M.&Halter Randall.Classrooms as lexical environments.Language Teaching Research,1997,1(1).
Muncie,James.Processwriting and vocabulary development:comparing Lexical Frequency Profiles across drafts.System,2002,30(2).
Ordan,Noam,Victoria Itskovich,Miriam Shlesinger&Ido Kanter.Lexical richness revisited:Blueprint for amore economicalmeasure.Journal of Quantitative Linguistics,2010,17(1).
Read,John.Assessing Vocabulary,Beijing:Foreign Language Teaching and Research Press,2010.
RieKoizumi,YoIn’nami.Effects of text length on lexical diversity measures:Using short texts with less than 200 tokens,System,2012,40(4).
Sommers,H.H.Statisticalmethods in literary analysis.In J.Leeds(Ed.),The Computer and Literary Style,128-140.Kent,OH:Kent State University,1966.
Stubbs,M.Lexical density:a computational technique and some findings.In M.Coulthard(ed.),Talking About Test(p.27-48).Birmingham:English Language Research,University of Birmingham,1986.
Ure,J.N.Lexical density and register differentiation.In G.E.Perren&J.L.M.Trim(eds.)Applicationsof Linguistics:Selected Papers of the Second International Congress of Applied Linguistics,443-452.Cambridge:Cambridge University Press,1971.
Vermeer,A.Coming to grips with lexical richness in spontaneous speech data.Language Testing,2000,17(1).
Wolfe-Quintero,Kate,Inagki,Shunjin.&Kim,HaeYoung.Second language development in writing:Measures of fluency,accuracy,and complexity.Honolulu:University of Hawai’i,Second Language Teaching and Curriculum Center,1998.