眼动技术在汉语二语习得领域的综述
2024-08-06魏铭辉,周锦国
摘要:随着科学技术的发展,眼动技术应运而生。眼动技术先应用于心理学领域,后逐渐被应用于语言学领域。眼动技术应用于二语习得领域的时间较短,仍处于起步阶段。阅读是眼动技术应用于二语习得领域最早的阶段。随着研究的深入,汉语的二语习得尝试构建相应的理论体系。目前的研究主要涉及汉语阅读领域的研究、多模式的输入研究和汉语学习研究。眼动技术克服了过去使用问卷、访谈等调查形式存在的不足。该文通过回顾相关文献,梳理眼动技术的发展过程及其在二语习得领域尤其是汉语作为二语习得的应用历程,总结当前研究成果并对未来发展进行展望。
关键词:眼动技术;二语习得;汉语学习;阅读研究;多模式输入;个体差异
中图分类号:H09 文献标识码:A 文章编号:2096-4110(2024)05(c)-0189-05
A Review of Eye Movement Technology in the Field of Chinese Second Language Acquisition
WEI Minghui, ZHOU Jinguo
(School of Chinese International Education, Yunnan University, Kunming Yunnan, 650091, China)
Abstract: With the development of science and technology, eye-tracking technology has been applied to the field of second language acquisition, which overcomes the shortcomings of using questionnaires, interviews and other forms of investigation in the past. In recent years, eye-tracking technology has also made certain achievements in the field of Chinese second language acquisition, mainly in reading research. In this paper, we review the relevant literature, sort out the development process of eye-tracking technology and its application in the field of second language acquisition, summarize the current results and make a future outlook on the shortcomings.
Key words: Eye-tracking technology; Second language acquisition; Chinese language learning; Reading research; Multi-mode input; Individual differences
阅读研究是二语习得的重要领域。早期的研究受限于技术的发展,只能采取问卷调查、个人访谈等形式,具有较大的主观性和随意性,研究结果偏差较大,研究结论的信度和效度难以具有较强的说服力。随着科学技术的发展,眼动技术(eye movements或eye tracking)被应用于二语学习者阅读加工领域。眼动技术相比于传统的手段与方法,不仅可以对加工过程实时记录,而且有客观的数据作为支撑,大大提高了研究结论的信度和效度。
1 眼动研究的历史溯源
1.1 眼动技术的简介
眼动技术是通过对眼睛的注视点、在某一项目上的停留及相对应的不同运动轨迹从而对眼球的运动进行实时的记录。起初它在心理学领域发挥着重要的作用。眼动技术可以准确地捕捉被试者眼球的运动痕迹和过程,为研究者提供大量丰富的数据进行研究。眼动技术提供的数据主要包括注视点、注视的时长及扫视长度等。这些大量数据借助于分析软件,如EyeLink的Experiment Builder 和 Data Viewer进行数据分析。
相比于传统的问卷、访谈等形式,眼动技术的强大优势主要表现在两方面:一是眼动技术能够对被试者眼球运动的痕迹和过程提供实时的记录,可以有效弥补人为记录的疏忽及细枝末节不容易被忽视;二是大量的数据可以预先分析认知的复杂程度。此外它还可以根据研究者的不同需求提供相应的丰富数据。
1.2 眼动技术的研究历程
从19世纪开始,眼动的研究逐渐被人们重视。眼动的首次发现是在1878年,产生于阅读领域,发现者为雅瓦尔(Javal)。随后相关的研究逐渐兴起,先应用于心理学领域,后逐渐被应用于语言学学科。1891年,兰多尔特(Landolt)利用镜子观察人们阅读法文和德文的眼动情况。但人工记录难免会产生较大的误差。随着计算机技术的进步,眼动技术不断发展,记录方式也更加科学有效。在国内,最早关注眼动研究的是沈有乾。国内对于眼动的研究一开始大多也集中于心理学领域。《第二语言习得研究》期刊在2013年的时候推出专栏眼动记录在二语研究中的状况,此后眼动研究逐渐在二语习得领域展开更广泛的研究。
通过对相关文献的梳理,以2020年为界限。笔者把关于眼动技术的研究大致分为两个阶段。第一阶段,2020年之前的研究较少涉及教育教学领域;第二阶段,2020年之后的研究涉及了教育教学的各个领域,包括课堂教学应用、学科问题解决、学生自我效能、考试评价等。
在第一阶段,眼动技术被广泛应用于诸多领域。在译员培训和译者教育方面,王家义等认为翻译因素影响阅读加工,使得难度高于常规的阅读任务;不同的译员阅读效率不一样,主要取决于自身水平。这深化了我国对译员阅读机制的认识,为更好地培养译员提供了一定的启示[1]。在情绪与信息加工方面,宋之杰等认为,不同情绪下受试者对材料的记忆程度呈现出不同的结果,积极情绪的记忆效率最高,消极情绪的记忆效率最低,中性情绪居中[2]。此外,部分研究还涉及学龄前儿童机器人设计[3]、电视广告[4]、“虚拟现实”[5]等方面。
第一阶段的研究虽然较少涉及教育教学方面,但该阶段的研究为眼动技术应用于教育教学乃至二语习得领域奠定了基础。深化译员阅读机制的认识,为二语习得提供了启示。学习者习得一门陌生的语言需要承担更多的认知负荷,但通过不断提升自身的水平可以减轻认知负荷。语言因素的影响是有限度的。学习者在习得语言的过程中难免会产生一定的畏难情绪,这样消极情绪不利于提升记忆程度。消极情绪会使学习者产生明显的回避反应。这也引发了对学习者个体差异的关注。
在第二阶段,眼动技术被应用于教学的诸多领域。在高校课堂教学方面,杨东杰等认为依托于眼动技术的实时监控,教师能够及时了解学生的注意力分配情况。这可以为改进教学方法,提高课堂效率提供启示[6]。孙静等在此基础上聚焦化学专业的师范生,研究自我效能感与问题解决之间的关系,研究表明,自我效能感对问题解决起到良好的积极作用,这为完善师范生的培养提供了思路[7]。此外,部分研究还涉及“考试评价”[8]“个体认知能力”[9]等方面。
第二阶段的研究涉及教育教学的诸多方面,也为深化二语习得领域的研究奠定了坚实的基础。第二阶段的研究更多关注学习者个体的情况以及个体的差异,这一阶段的研究无疑大大促进了眼动技术在二语习得领域的应用。
2 眼动技术与二语习得
多媒体动态学习环境相比于单一的输入能够有效提高学习者的效率,且随着科技的发展,数字化学习环境被广泛应用。在学习过程中,学习者的注意力是人们关注的焦点之一。眼动技术被视为评估注意力的重要方法。借助计算机的帮助,眼动技术能够在短时间内提供大量的实时数据信息,又能够克服人工记录的主观性、随意性等不足[10]。因此,在二语习得研究中,这是一种普遍使用的方法,且取得一定成果。
眼动技术应用于二语习得领域,主要有两大类:一是研究受试者的阅读行为,通过注意力来理解受试者的认知模式;二是了解受试者词汇习得及认知情况,主要根据受试者母语背景和汉语水平。有观点认为,眼动数据反映了瞬间认知过程(Rayner,1998)[11]。有国外学者尝试通过雅思阅读理解测试验证这一观点,他利用眼动技术的同时辅助问卷调查,希望能全面了解受试者的阅读行为。实验结果表明,在某一项目上所花的时间的长短反映了受试者在处理过程中的注意力专注程度以及处理的努力程度。这个实验针对的是雅思的阅读理解测试,但可以借鉴作者的思路,设计更有针对性的实验过程。
针对眼动技术可以了解受试者词汇习得和认知情况,有学者认为,不同的眼动可以预测词语学习情况[12]。注意力的重要性不言而喻,是影响学习效果的主要因素之一。但现有的研究大多关注的是注意力的分布模式,很少涉及注意力的转移模式。但注意力转移模式更有助了解学习者的认知与思维的过程。基于此,严薇薇团队利用深度学习技术并结合可视化技术探究二语(英语)学习者学习过程中的注意力转移模式。结果显示,低龄二语学习者的注意力控制能力会对其学习表现产生巨大影响。因此,如果能对低龄二语学习者进行针对性的训练,就可以提升他们的整体感知能力[13]。在未来,该团队可以在此基础上针对同一实验对象开展相应的干预实验。
3 眼动技术与汉语二语习得
眼动技术应用于二语习得领域的时间较短,应用于汉语二语习得领域仍处于起步阶段。阅读是眼动技术应用于二语习得领域最早的阶段。一开始只能借助粗糙的仪器辅助记录,且未与受试者的心理加工联系起来。随着研究的深入,汉语的二语习得尝试构建相应的理论体系,并不断升级记录的设备。目前的研究现状主要涉及汉语阅读领域的研究、多模式的输入研究和汉语学习研究。
3.1 阅读领域的研究
在阅读知觉广度方面,有实验表明,汉语学习者的知觉广度左右区域有一定的差异。左侧区域的广度是注视点左边1 个汉字。右侧区域没有固定值,与学习者的个体差异相关,主要是学习者的母语状况和汉语水平[14]。但这一研究并未涉及阅读知觉深度方面,也缺乏相应的测试理论和实践。
在拼音阅读方面,有标注拼音的文本与阅读效率和阅读理解能力之间的关系是人们关注的重点。有研究发现,二语学习者不会过度依赖拼音来进行文本的阅读[15]。但也有研究发现,有拼音的文本能够减少被试者对文本的注视时间和注视次数[16]。随着被试者的汉语水平的提高,被试者对拼音的依赖性就会降低。
在词汇阅读方面,汉语词汇缺乏英语词汇那样的空格,使得词与词之间的界限不够分明。在阅读句子或文本的时候,对于词的识别与切分可能存在一定的困难。如果汉语词与词之间有明显的空格界限,那么是否有利于促进学习者的阅读效率?这方面的研究主要有三类观点:促进论、阻碍论和无效论[17]。其中促进论的支持者较多,中国的大学生与在中国学习汉语的外国留学生共同阅读三种不同空格条件(词与词之间的空格、字与字之间的空格及无空格)下的文本,研究结果表明被试者在阅读有空格的文本的时候注视的时间较短,注视的次数较少。中国的大学生阅读词间空格与字间空格的文本没有显著的差异,但外国留学生阅读词间空格文本的效率要高于字间空格文本。此外,词空格的促进作用对不同母语背景的受试者也存在一定的差异。母语为印欧语系的受试者更能够通过词空格提升阅读效率[18]。以上实验支持了词间空格促进论。但该实验也存在一定的不足,最主要的是受试者类型的单一。外国留学生受试者的母语都是英语,且都是来自苏格兰,文化背景和语言背景都趋同。该实验结果对母语为表音文字的汉语学习者有一定的适用性,但是否适用于其他母语背景的汉语学习者还有待进一步验证。
与研究词空格对文本阅读的影响相对应的是,人们还探索汉语二语阅读附带词汇学习的状况,主要研究的因素是词语大量的复现以及丰富的语境。该实验的受试者为汉语为母语者以及汉语为二语者且汉语水平为中级、高级。利用阅读过程中的眼动数据分析词语的大量复现和语境的丰富性是否产生影响、究竟起到怎样的影响,以及二者影响的占比问题。研究结果发现,两类受试者均能够在阅读过程中附带词汇学习,语境的丰富性对于词汇学习起到至关重要的作用,词语的大量复现影响占比较小。研究结果还表明,受试者都拥有较为相似的阅读路径,但母语者能更早地习得词汇的形式和意义[19]。这也启示我们在教学过程中要通过营造多样性的语境帮助学习者更好地学习词汇。但这个实验也存在一定的不足,汉语为二语的受试者的汉语水平为中级与高级,那么结论是否适用于初级汉语水平的学习者呢?这些中高级的受试者的母语背景也尚未统一,有可能对实验结果造成一定的偏差。总之,促进论、阻碍论和无效论究竟得出哪个结论,一方面取决于学习者母语的状况——是否为有词空格的语言,另一方面取决于学习者自身的汉语学习水平。
在语块阅读方面,相比于拼音和词汇阅读,研究者除了关注语言因素外,也考虑了学习者的因素。语块相比于词汇来说更为固定,是否能够促进二语习得呢?有研究表明,汉语水平较为良好的汉语学习者拥有一定的语块阅读优势,表现为对语块的注视时间以及次数更短、更少[20]。另一项研究着眼于频率,结果发现无论是一语者还是二语者,对高频语块加工效率均高于非高频语块[21]。此外还有研究涉及被试者母语与汉语的异同之处,母语中有强动结式结构的语言在学习汉语动结式的时候效果较为良好[22]。可以看出,合适的语块教学有利于提高学习者的学习效率。在日常教学中,除了常规的词汇、句子及文本教学外,语块教学也是不容忽视的重要部分。
在句子阅读部分,不同类型的句子是如何被加工情况及影响加工的因素是研究者考察的重点。不同母语背景的学习者有着不同的学习难点。母语为日语的学习者阅读主语关系从句要比阅读宾语关系从句容易。母语为英语的学习者阅读汉语的兼语句、宾语句、主语句难度依次递减[23],但以上结论也只针对汉语中级、高级的学习者,初级水平的学习者暂未纳入考察范围。现代汉语的语法单位包括语素、词、短语、句子,当前的研究暂未涉及语素跟汉字的研究。
在语篇阅读方面,语篇文体、主题熟悉度和文本阅读效率是考察的重点。研究者主要研究母语为韩语的学习者情况。韩国大学生阅读韩语的记叙文、说明文、议论文的表现均优于阅读汉语相应的文本。但如果对文本主题较为熟悉,也能在一定程度上弥补自身汉语水平的不足[24]。关于语篇阅读方面的研究还有许多值得深挖的空间。韩国与中国同属于儒家文化圈,从课本教材的内容来看,中小学阶段学习记叙文文本较多,议论文和说明文较少。而欧美国家的情况则不一样。对于韩国学生的实验结果是否适用于欧美学生还有待进一步的验证。当前的研究也暂未涉及语篇的难度和长度方面。这些影响语篇阅读的因素的占比情况该如何排序,因素之间的相互影响又是如何,目前尚未有统一的结论。
3.2 多模式输入研究
眼动技术还尝试研究视、听觉等多模式的输入。不同母语背景的学习者对于视觉输入和听觉输入反应不同。母语为表意文字的学习者更熟悉字形信息,对视觉输入更为敏感。母语为表音文字的学习者会激活字形和字音信息,对视觉、听觉输入一样敏感[25]。同时,研究则关注视觉情境范式。视觉情境范式最早应用于研究口语的加工过程,现在应用于音调加工。实验表明,双语者比单语者在语调加工方面更具有优势[26]。
3.3 语言学习研究
在这个研究领域,研究者们专注于探索词汇学习,尤其关注伴随性词汇学习的种种现象。他们的研究涵盖了4个关键影响因素:语境、词形信息、语义及个体差异。经过深入分析,研究发现,在强语境的环境下,学习者能更好地掌握词汇[27]。此外,词汇的笔画数、词长等特征也对学习过程产生一定影响,在学习的早期阶段,语义的透明度同样起到一定作用[28]。而个体差异主要体现在,具备较强语素意识的个体在词汇识别方面更具优势。这些研究结果揭示了词汇学习的复杂性,同时也为教学实践提供了有益的指导。
在线学习也是研究的热点之一,一些初级汉语学习者阅读中文文本,进行拼音抄写,并完成三道阅读理解题。研究者通过眼动仪记录相应数据,在完成题目后研究者通过远程互动了解受试者的理解情况。研究表明,受试者在阅读任务中更关注拼音。在互动任务中,受试者更关注姓名、表情等社交信息[29]。
综上所述,眼动追踪技术应用于汉语二语习得领域虽然起步较晚,但仍取得了一定的成果。这能够为更全面客观地理解汉语二语习得提供帮助,也能对教材编写、课堂教学等诸多方面提供有益的指导。但当前的研究也存在一定的不足。这些研究集中在汉语的形式和意义的学习上,即语言要素的学习,对于汉语的语言技能和交际能力的习得是否有影响还有待进一步的探索。
4 未来展望
通过对现有文献的梳理可以发现,眼动技术在汉语作为第二语言的阅读、多样化输入手段及学习过程的研究中已经取得了广泛的应用。其中,对于阅读的研究成果最多。当前理论研究和应用价值也在不断完善。未来还有许多值得挖掘的空间。
第一,眼动技术在二语听力学习中的应用还有很广阔的探索空间。目前,该技术在阅读领域的应用较为广泛,但不同领域之间的相互作用,以及不同领域学习顺序对学习效果的影响还有待进一步的挖掘。
第二,可以借鉴现有研究英语的实验方法和手段,探索适用于汉语的实验方法和技术,以此加强汉语二语习得理论的建设。
第三,需要关注学习者在使用眼动技术过程中的个体差异,这有助于我们更好地理解不同学习者的学习特点,从而制定更个性化的教学策略。
总之,眼动技术在汉语二语习得领域的运用体现了科技不断发展能够较好地赋能其他学科。汉语二语习得领域也应该加强自身理论建设,拥抱科技,实现自身高水平发展。
参考文献
[1] 王家义,李德凤,李丽青,等.译员阅读加工的认知机制:基于眼动追踪技术的实证研究[J].外语电化教学,2018(4):84-90.
[2] 宋之杰,王娜,李爱影,等.情绪对突发事件信息加工过程的影响:基于眼动追踪技术[J].情报杂志,2017,36(8):76-80,149.
[3] 刘春丽,王爱红.基于眼动实验的学龄前儿童机器人设计[J].包装工程,2019,40(24):210-216.
[4] 王霏,吴蓉蓉,汪祚军.同一广告,不同视点:公益广告关注点的性别差异[J].心理学探新,2017,37(6):567-571.
[5] 苗岭.虚拟现实眼动系统在环境交互设计中的研究[J].包装工程,2018,39(22):274-281.
[6] 杨东杰,张岩,郑伟博.眼动追踪技术在高校课堂教学中的应用研究[J].现代教育技术,2020,30(2):91-96.
[7] 孙静,李淑萍,东婉莹,等.基于眼动追踪技术的化学师范生自我效能感对问题解决的影响研究[J].化学教学,2022(8):24-30.
[8] 宋方昊,胡雯彧,刘燕.基于眼动追踪技术的有纸化与无纸化考试对比实证分析[J].中国考试,2020(2):57-64.
[9] 陆润豪,张兴利,施建农.眼动技术在个体认知能力差异研究中的应用[J].心理科学,2021,44(3):552-558.
[10]张琪,武法提.学习分析中的生物数据表征:眼动与多模态技术应用前瞻[J].电化教育研究,2016,37(9):76-81, 109.
[11]RAYNER K. Eye movements in reading and information processing:20 years of research[J].Psychological Bulletin,1998,124(3):372-422.
[12]WILLIAMS R S,MORRIS R K. Eye movements, word familiarity, and Vocabulary acquisition[J].European Journal Cognitive Psychology,2004(16):312-339.
[13]严薇薇,旷小芳,肖云霞,等.基于深度学习技术的注意力转移模式的挖掘:以二语学习者的眼动数据为例[J].电化教育研究,2019,40(8):30-36.
[14]段力令.蒙古族大学生蒙古语和汉语阅读知觉广度的眼动研究[D].兰州:西北民族大学,2016.
[15]徐晶晶,江新.不同汉语水平的二语学习者注音文本阅读的眼动研究[J].世界汉语教学,2021,35(4):548-561.
[16]于秒,孙会,逄小婷.拼音对汉语二语初学者汉语阅读作用的眼动追踪研究[J].语言教学与研究,2022(4):20-30.
[17]余香莲,任志洪,叶一舵.词空格在汉语文本阅读中的作用:基于眼动研究的元分析[J].心理科学进展,2015,23(11):1894-1909.
[18]江新,张嫚,龚伶俐.词间空格对汉语母语者和二语者拼音文本阅读的影响:基于眼动的证据[J].华文教学与研究,2024(1):45-55.
[19]王意颖,徐贵平.重复暴露和语境丰富性在汉语二语阅读附带词汇学习中的作用:一项眼动追踪研究[J].世界汉语教学,2023,37(3):415-432.
[20]高珊.母语者和第二语言学习者汉语阅读中语块加工优势的眼动研究[J].世界汉语教学,2017,31(4):560-575.
[21]JIANG S,SIYANOVA–CHANTURIA A. The processing of multiword expressions in L1 and L2 Chinese:Evidencefrom reaction times and eye movements[J].The Modern Language Journal,2023(2):1-26.
[22]何美芳,鹿士义,张亚旭.不同语言类型的二语学习者汉语动结式加工的眼动研究[J].世界汉语教学,2019,33(2):244-257.
[23]穆润.基于眼动实验的美国汉语学习者零形回指认知研究[D].上海:华东师范大学,2018.
[24]于鹏,焦毓梅.中韩大学生阅读汉语说明文的眼动研究[J].天津师范大学学报(社会科学版),2008(3):68-71.
[25]徐晶晶,江新.汉语二语者汉字和拼音文本阅读的眼跳目标选择[C]//中国心理学会,中国心理学会.第二十一届全国心理学学术会议摘要集.[出版者不详],2018:1.
[26]QUAM C,CREEL S C. Mandarin-English bilinguals process lexical tones in newly learned words in accordance with the language context[J].Plos One,2017(1):e0169001.
[27]王永胜,罗雨娇,韩洋,等.语境线索在留学生阅读伴随词汇学习中的作用:来自眼动的证据[J].心理与行为研究,2020,18(5):618-623,651.
[28]贺斐.汉语新词词形信息在阅读伴随新词学习中的作用[D].天津:天津师范大学,2021.
[29]URSULA S, LIJING S. Eye movements of online Chinese learners[J]. CALICO Journal,2014,32(1):52-81.