基于NoteExpress和CiteSpace的国内外语测试研究概述(2001-2020年)

■曾素萍,米保富

(南昌大学外国语学院,江西 南昌 330000)

语言测试作为应用语言学的一个分支,对语言教学有着重要的启示作用。自20世纪80年代,国内外语测试研究不断发展,尤其在近20年间,该领域在理论构念及实证研究等方面都受到学者重点关注。为客观呈现近20年国内外语测试研究发展特征,本文利用NoteExpress及CiteSpace软件对2001至2020年间相关研究性论文作计量可视化分析,从发文时间、发文作者、高被引文献、高频关键词四方面,探析该领域研究热点及发展趋势,旨在帮助学者厘清该领域知识结构与发展脉络,把握学科研究热点与前沿主题,进而对其进行相关研究提供参考与借鉴。

一、研究方法

(一)数据来源

本文以CNKI(中国知网)为数据平台,在高级检索中选择期刊检索,以“2001年至今(2020年10月)”为搜索年限,并分别以14本国内外语类期刊(《解放军外国语学院学报》《外国语(上海外国语大学学报)》《外国语文》《外语测试与教学》《外语电化教学》《外语教学》《外语教学理论与实践》《外语教学与研究》《外语界》《外语学刊》《外语研究》《外语与外语教学》《现代外语》《中国外语》)为文献来源,对测试类研究性论文进行检索。其中,《外语测试与教学》虽为非核心期刊,但其为国内唯一一本以外语测试理论及方法为主要研究方向的期刊,对国内外语测试研究的发展起了一定的推动作用,且2019年复合影响因子达0.984,因此该期刊也纳入文献来源。为保证本研究的相关性,结合CNKI的出版物检索,对所选文献进行逐一核对,经人工筛查删除会讯、书刊评介、稿约通知等不相关文献,最终共返回有效检索结果892篇文献作为本研究的数据来源,并分别以NoteExpress和Refworks格式导出样本文献,将文档统一命名为CiteSpace所要求格式“download_XXX.txt”。

(二)研究工具

本文借助NoteExpress文件管理软件和CiteSpace信息可视化软件,分别对样本文献进行计量分析和可视化分析,以揭示国内外语测试领域近20年的发展特点。

NoteExpress为一款专业级别的文献管理软件,具有在线检索文献功能,其还支持将本地题录导入自建数据库中,用户可利用软件的分类、排序、统计等功能进行文献计量分析,快速了解某一研究方向的最新进展[1]。CiteSpace是由美国德雷塞尔大学陈超美博士应用Java语言开发的信息可视化分析软件,用户利用软件的知识图谱绘制功能可客观解释某一领域的发展现状,预测领域发展前景[2]。

二、结果与分析

(一)发文时间

对国内外语测试研究的发文量时间分布进行分析,能够直观揭示该领域的历时发展特征。本文利用Note-Express的“文件夹统计信息”功能进行年份统计,并借助Excel表格工具绘制发文量时间分布走势图(见图1)。

图1 发文时间分布走势(2001—2020年)

由图1可知,近20年来,国内外语测试研究发文量整体呈波浪式发展,其发展大致可划分为三个阶段。2001年至2008年,该领域研究处于低缓发展阶段,总发文量为205篇,年均发文量约25篇。20世纪80年代国内学者开始投入外语测试研究,至20世纪初期,该领域总体发文基数仍较小,但单年发文量呈现逐年增长态势,说明学者对该领域研究关注度有所提高。国内外语测试研究在2009年至2012年进入繁荣发展阶段,总发文量达217篇,年均发文量约为54篇,同时单年发文量于2012年达到峰值。2011年《外语测试与教学》创刊,在一定程度上推动了外语测试研究的发展,促使这一阶段发文量得以快速增加。2013年至今,这一领域研究持续发展,总发文量高达441篇,说明学者对该领域的关注度不断增加。同时,自2015年起年度“语言测试与评价国际研讨会”的召开,也促进了国内外语测试研究趋向规范化、体系化发展。

(二)发文作者

对发文作者及作者间合作关系作可视化分析,有助于了解学科发展的主要推动力。本文借助CiteSpace进行作者合作关系分析,将样本文献导入软件,年份切片设置为1,节点类型选择作者,运行程序后得到发文作者合作网络图谱(见图2)。由于初始图谱节点分布较零散,图2中显示信息为该领域发文量达3篇及以上的学者合作关系网络。

图2 发文作者合作关系网络图

图2中圆圈(即节点)代表发文作者,节点直径和字号大小与学者发文频次呈正相关,节点直径及字号越大,则其代表的学者发文量越多。图2反映出国内外语测试研究领域主要学者有李清华、孔文、刘建达等。此外,笔者借助CiteSpace作作者突现分析发现,杨惠中、李清华、邹申三位学者分别为该领域发展三个阶段的代表人物,对相关研究影响较为深远。

图3 发文作者突现分析

图2中节点之间的连线代表作者间合作关系,连线的粗细程度与合作次数呈正相关。由图2可知,国内该领域的主要作者多以合作形式发文,其中以李清华、孔文为主要代表,这或与语言测试的学科性质有关。作为一门综合性学科,语言测试研究主要以语言学理论、语言能力理论、语言习得与教学理论、测量学理论为理论基础[3],而语言测试的主要作用则为以量化的工具和方法对学习者的语言水平进行有效且客观的考察。换言之,在进行相关研究时,学者不仅需要具备多学科的理论知识,还需要考量语言测试工具及方法的效度、信度、可行性等众多因素。因此,语言测试研究的难度或在一定程度上巩固了该领域学者间的合作关系。

(三)高被引文献

高被引论文是指在某一统计时段内,被引用次数排在前列的论文,其在一定程度上反映了该学科的研究进展[4]。因此,对高被引文献进行分析,有助于了解学科发展过程中的热点主题。笔者先将各文献的被引次数手动输入NoteExpress题录中,再将文献按被引次数从高至低进行排序,对高被引文献进行整理后绘制如附表1。

附表1 高被引文献前10篇

从文献类型看,附表1中10篇高被引文献主要为综述评介类文章。从文献主题看,根据测试类型的不同,10篇高被引文献大致可分为两大类：一为基于试卷的分析研究,且主要为大规模测试研究,如高考、英语四六级考试等,其中学者重点探析测试的反拨作用；二为课堂评估研究,评估方式包括形成性评估、同伴互评等,且学者主要关注将此类评估方式应用于外语写作教学中。结合发文时间可推断,测试的反拨作用一直为国内学者的一大研究重点,通过测试考察学生学习状况,以对国内外语教学与测试改革提供启示。此外,近年来,国内学者还逐渐关注以多元化测评方式考察学习者的外语水平,从多维度对学生外语学习过程进行评价。从附表1中高被引文献的关键词看,国内学者还重视对测试的信度与效度进行研究,以完善测试的有效性与可靠性。

从被引次数看,黄大勇、杨炳钧于2002年发表的“语言测试反拨效应研究概述”[5]一文被引次数最高,该文概述了90年代国外反拨效应的理论研究与实证研究成果,并总结了国外学者对于提高正面反拨效应的观点与主张。在21世纪初,国内相关研究还处于起步阶段,黄大勇、杨炳钧的这篇综述将国外相关测试研究成果引入国内学界,让更多的国内学者关注到反拨效应研究在语言测试领域的重要性。

(四)研究热点

关键词集中体现论文的核心内容及精髓,利用大数据计量工具对文献关键词进行提取并统计各关键词出现频次,可直观反映某研究领域的发展动向和研究热点[6]。本文利用CiteSpace作文献关键词共现分析,将数据导入CiteSpace,年份切片设置为1,节点类型选择关键词,每个时间切片提取前50个出现频次最高的关键词,运行程序后得到关键词共现分析网络图谱(见图4)。图4中节点标签阈值设定为3,即图谱显示出现频次为3及以上的关键词信息。

图4 关键词共现图谱

图4中圆圈代表一个关键词,关键词出现频次越高,圆圈直径越大,说明其在该领域的研究热度也就越高。由图4可知,在国内外语测试研究领域内,“效度”这一关键词出现频次最高,其次为“语言测试”“信度”及“反拨效应”,这也再次体现国内学者对外语测试的信度、效度及反拨作用之重视。此外,“中国英语能力等级量表”也为该领域重点关键词。

效度是衡量一项测试是否达到其预期测量目的的标准,信度则是衡量测试结果是否具有稳定性的标准[7]。效度与信度是确保测试有效性及可靠性的重要标准,也是语言测试中不可或缺的要素,因而一直受到学者的重点关注,主要体现就具体测试的效度与信度进行分析,如大学英语四六级考试、专业英语四八级考试、高考英语考试。

基于对测试效度与信度研究的重视,学者还注重相关理论发展,以探寻科学的方法与模型进行测试的效度与信度验证,如项目反应理论及其之下的多层面Rasch模型。此外,学者还利用Rasch模型进行评分员效应研究,进而不断提高国内外语测试评分标准的客观性。

学者对外语测试研究的关注不断增强,不仅在于测试能以相对客观的方式量化学习者语言能力,更在于其对教学具有一定影响。因此,反拨效应一直为该领域一研究热点。国内反拨效应研究的发文主要为综述评介性论文以及具体测试的反拨作用分析性论文。

2014年,我国开始“中国英语能力等级量表”的制定工作,同时随着次年首届“语言测试与评价国际研讨会”的确立与召开,量表的制定与应用等相关研究逐渐受到国内学者的重点关注,该量表以语言使用为导向,旨在为我国外语能力测评体系建设提供统一标准,为我国英语教学与测评提供参考框架[8]。

(五)研究趋势

为深入剖析近年来国内外语测试领域的研究趋势,本研究还以CNKI数据库中“语言测试与评价国际研讨会”的征文通知[9]与会议综述[10-13]为参考,整理出各届会议的主要议题并绘制表格(见附表2)。该研讨会每年均邀请国内外该领域知名学者做主题发言,并就研讨会主题探讨国内语言测试研究发展新方向,因此,从历年议题中可窥见国内外语测试的研究趋势,为学者进行相关研究提供一定参考。

表2 “语言测试与评价国际研讨会”主要议题(2015—2019年)

由附表2可知,语言能力等级量表研究、测评标准研究、教学及考试改革研究均为近年国内学者所关注的主题,这也与“语言测试与评价国际研讨会”确立的初衷相关,即至2020年基本建成具有中国特色的现代外语能力测评体系。此外,近两年,学者还逐渐投入对评分员及教师测评素养研究中,以提高评分员评分一致性,保证测试结果客观性。

三、结语

本文以14本国内外语类核心期刊在2001年至今所刊载的测试类研究论文为数据来源,利用NoteExpress和CiteSpace软件进行发文时间、发文作者、高被引文献及关键词分析,发现20年间国内语言测试研究历程整体可分为三个阶段：低缓期(2001—2008),发文量较少,研究仍处于起步阶段；繁荣期(2009—2012),发文量快速增加,研究热度升温；持续期(2013—2020),发文量较稳定,研究逐渐学科化、规范化。这一学科的发展在一定程度上有赖于杨慧中、李清华、邹申等学者的推动,这些学者在低缓期就已投入该领域研究中,并常以合作形式进行发文,在该领域表现活跃,随着学科热度增加,该领域研究队伍不断壮大,研究成果也不断增多。

在众多研究主题中,国内学者主要关注测试的效度、信度及反拨作用,以提高测试的有效性与可靠性,进而对外语教学提供正面的影响作用。近年来,学者还加快建立规范的语言测评体系,制定科学的语言能力等级量表,促进国内各类外语测试改革。此外,评分员研究、教师测评素养研究等主题或将成为近期该领域的研究趋势,有待学者对其进行深入挖掘与探讨。