汉语非字面语言认知神经心理系统
2016-08-07王小潞郭晓群
王小潞郭晓群
(1.浙江大学外国语言文化与国际交流学院,浙江杭州310058;2.西悉尼大学人文与传媒艺术学院,新南威尔士彭里斯2751)
主题栏目:汉语非字面语言认知的神经心理机制研究
汉语非字面语言认知神经心理系统
王小潞1,2郭晓群1
(1.浙江大学外国语言文化与国际交流学院,浙江杭州310058;2.西悉尼大学人文与传媒艺术学院,新南威尔士彭里斯2751)
【编者按】非字面语言,又称比喻性语言,主要形式包括隐喻、转喻、惯用语、幽默、反语等,其理解过程是人类认知复杂性的集中体现——句法和语义加工的矛盾、字面意义和比喻意义的争夺、词素和整词的不相关、抑制与激活的反复,这些都给非字面语言认知增加了难度。然而,作为语言中一种极为常见的形式,非字面语言在日常交际中扮演着重要角色,有助于交际者更加栩栩如生地表达自己的思想和情感。因此,非字面语言的神经机制研究是有关语言与思维关系的一项非常有意义的跨学科研究。
语言认知是一个复杂的大脑加工及神经心理过程。语言与脑紧密相连,通过对大脑的研究可探索语言复杂的处理机制,反之,对语言的研究可进一步了解人类大脑的功能构造。尽管非字面语言是在字面语言的基础上产生和发展的,然而两者的认知过程即大脑加工过程却不尽相同。要了解非字面语言的大脑加工过程,我们不仅要从语言层面认识其加工模型,而且还要从人的大脑神经机制中去探究非字面语言的心智解读,因为这些非字面语言的理解过程是人脑统一认知框架下的一种心智解读过程。
现代科技为我们创造了许多无创的了解大脑认知活动的手段,被研究者称为观察脑高级功能的窗口的事件相关电位、功能磁共振成像、眼动追踪等先进技术,被越来越多地应用于语言学研究之中。国外学者运用这些技术对语言的神经心理机制进行的探讨已经取得了丰硕的成果,但我国这方面的研究,特别是用这些先进手段进行的汉语研究还刚刚起步,相对落后。为了弥补空白,进入世界先进行列,与国外专家联手运用先进仪器进行汉语非字面语言神经心理机制的研究就显得十分必要,且意义重大。
本期和后续的几篇论文既有全面系统地研究汉语非字面语言认知神经心理系统的文章,也有对某一具体非字面语言认知神经心理机制的综述;既有从语言层面和哲学层面对这一问题的研究,也有运用fMRI实验手段进行的实证研究。这些研究不仅推动了跨国、跨学科之间的合作研究,而且大大促进了语言学的科学研究。
本栏目特约主持人:王小潞教授 唐孝威院士
非字面语言的理解是高级认知活动,是语言与思维更抽象层级的表现。非字面语言的理解受到语言内外的各种因素的影响,如语言形式本质属性、规约度等,到目前为止我们还很难找出一个能解释非字面语言加工所有方面的普遍模型,或提出一个能解释非字面语言所有形式的“万能理论”。非字面语言的大脑加工是一个完整的系统,我们不应仅停留在某一孤立的理论模型或假说上片面地概括和归纳汉语非字面语言认知的神经心理机制,而应对各种理论和假说加以整合和优化,在大脑统一认知的框架下根据不同语言形式、不同理解阶段,构建一个汉语非字面语言大脑加工的动态认知总模型。
汉语非字面语言;规约度;加工模型;加工脑区;神经心理系统
一、引 言
非字面语言(non-literal language),又称比喻性语言(figurative language),是各种语言形式的一个混合语言实体,超越了词的字面意义,需要话语字面义之外的加工,从而获得说话者在特定语境中所表达的意图[1]。非字面语言系统一般包含隐喻、反语、幽默、夸张、谚语、习语等语言形式,尽管每种形式各具特色,但它们同属一个体系,具有一些相同的特征:句法结构上相对稳定,意义建构上相对象似,心理加工上相对间接,意义解构上依赖主、客观语境等。人们往往用一些具体、生动、形象的非字面语言描述一些复杂、枯燥、抽象的概念,以促进日常交际的简洁化和生动化。非字面语言理解是人类认知复杂性的集中体现:句法和语义加工的矛盾,字面义和比喻义的争夺,词素和整词的不相关,抑制与激活的反复[2]。
在过去的几十年里,语言、认知、心理、神经等领域的学者为探求非字面语言理解加工机制,已进行了大量的理论和实证研究。由于语言认知加工的复杂性、语言表达的灵活性、文化民俗的依存性以及研究方法的局限性等的影响,早期研究以隐喻、惯用语等较为常见和较为规约的非字面语言为主,随着该领域研究的不断深入和技术手段的持续升级,非字面语言的研究视野不断从隐喻、惯用语拓展到反语、幽默、谜语等其他各种非字面语言形式。
然而,绝大多数学者都只研究了非字面语言系统中单一语言形式的具体认知,由于理论基础、实验范式和实验材料的差异,在相关理论、加工过程及研究结论等方面存在矛盾冲突,甚至是截然相反的观点,形成对隐喻、反语、幽默、习语等认知神经心理机制的不同解释。这虽有助于人们初步认识每种非字面语言形式的属性特征和加工神经机制,但这些结论都处于零碎、片面的状态,而未能将其置于一个统一、有序的非字面语言系统中,进而“只见树木不见森林”。
非字面语言系统的各种语言形式对丰富日常交际起到了重要的作用,其复杂的内在加工机制以及各子系统间的内在联系等越来越受到学界的关注,尤其是非字面语言系统理解的共性以及各子系统加工的差异性研究,现已成为近年来心理语言学、神经语言学和认知科学研究的热点。鉴于此,本文提出如下研究问题:(1)在时间进程上,语言形式的字面义是否与其非字面义具有相同的加工模式?如果相同,是一步加工还是两步加工?是串行加工还是并行加工?(2)在空间分布上,非字面语言的理解是否存在某些特定的神经组织,既能控制本义加工,又能区分非字面义加工?(3)各种类型的汉语非字面义从新颖到规约是否存在一个连续统?其内部的统一性和差异性是如何产生的?本文试图从时间和空间两个维度来检测和对比汉语字面语言和非字面语言的加工时程和加工脑区,以期建构汉语非字面语言大脑加工的统一动态认知总模型。
二、非字面语言加工的时间维度和空间维度
(一)非字面语言加工的时间维度
针对第一个研究问题,学者们基于不同的语言认知哲学观,提出了多种假说和理论模型来分别阐释隐喻、习语、反语、幽默等非字面语言的认知加工过程,得出了一些不尽相同甚至彼此冲突的结论。从认知加工的时间维度来看,各种结论归纳起来可以分为:分步加工模型、直接通达模型[3]和平行竞争模型。
1.分步加工模型
标准语用模型(standard pragmatic model)认为,非字面语言的理解有别于自动加工的字面语言,需要更多的认知努力[45]。即无论在何种语境下都要先进行字面义加工,如果字面义与语境一致,则认知活动结束;如果字面义与语境不一致,则认知活动继续,直至特殊的非字面义加工阶段结束。
Giora基于语言加工中语义激活的先后顺序提出了分级凸显假说(graded salience hypothesis)[68],该假说认为,与熟悉性、规约性及典型性相关的语义凸显程度决定了在语言认知加工中意义被提取的顺序,凸显意义总是首先被激活[3]。Giora等人采用启动方法(priming method)考察了字面义和反语义激活的优先性[910]。通过被试按键快慢来判断与反语义或字面义相关的探测词是否有意义,探讨探测词的促进效应,从而推断字面义、反语义的激活状态。实验结果发现,相对于反语,字面义先于反语义被激活,且字面义未被抑制,而是进入后期整合加工阶段。
Karli等人提出的幽默失谐-消解论的双阶段模型,着重阐释了幽默的加工过程:第一阶段先激活字面义,第二阶段发现与语境不符后再启动非字面义的加工过程,即探测失谐和重新评价并消解这一失谐的过程[11]。虽然这并不足以说明幽默加工的复杂过程,也尚存在观点分歧,但该双阶段模型也得到了诸多研究者的认可,可归属于分步加工模型。
Weiland等人采用混合隐蔽启动范式,对隐喻和转喻在不同语义启动条件下的认知加工进行了研究,发现在无语义启动条件下,隐喻呈现出双向N400晚期效应,而转喻只有N400效应[12]。语境预期引发初期的N400,随后语用调整产生概念再整合过程。在隐蔽实验中,隐喻的N400效应降低,转喻N400效应消失。这一结论尽管不同于直接通达模型,认为在只有字面义情况下才有促进效应,因而能预测N400的差异增加,但它同时也支持间接通达观点:无论在何种情况下,字面义都有促进效应,都存在相应的N400波幅的微弱差异。
随着研究的不断发展与深入,分步加工模型受到来自不同实证研究结论的挑战,因为它不能解释凸显度高的隐喻义加工与字面义加工在时间维度上的相似性。
2.直接通达模型
Gibbs提出了直接通达假说(direct access hypothesis),认为语境在词汇激活的初期就会起作用,与语境一致的意义(非字面义)直接被提取,与语境不一致的意义(字面义)则不会被激活[1314]。由此,人们可以直接提取非字面语言各种形式的非字面义。
关联理论(Relevancy Theory)认为,语境在非字面语言理解中起着非常重要的作用,可促进与语境最关联意义的直接提取,以此支持直接通达假说[1516]。无论是字面义还是非字面义,其加工时间相同,理解机制应该是一样的[17],只要符合语境意义便会被提取。赵玲轩在汉语三字动宾隐喻的ERP研究中,采用启动词—目标词—探测词的研究范式,探讨不同语境对隐喻初期加工的影响,结果显示在字面语境的启动下,相对应的低凸显字面义首先通达,隐喻义加工时间等同于字面义加工时间,与分级凸显假说有一定的出入,符合直接通达模型①赵玲轩《上下文语境对汉语三字动宾隐喻加工机制的影响——来自ERP的证据》,浙江大学2015年外国语言学及应用语言学硕士学位论文,第61页。。此外,相关实证研究结果也表明,其他非字面语言如反语理解所需要的时间短于或等同于字面义理解所需要的时间[13,18],都说明受话人无须激活和加工字面义便可直接理解反语义。
直接通达模型强调语境、凸显度等因素在非字面语言理解中的重要作用,不必激活字面义就可直接通达非字面义。这虽能解释凸显度高的非字面语言直接加工这一语言现实,但不能确切地指出不同熟悉度的非字面语言加工进程中的差异,也不能解释新颖隐喻等非字面语言的理解时间要长于对等字面语言的理解时间这一现象[19]。
3.平行竞争模型
联结主义神经网络(connectionist neural network)理论强调,诸多认知运算和认知过程的加工都是平行进行、同时操作的,因此基于此理论的模型也被称为平行分布加工(parallel distributed processing,PDP)模型。该模型认为,认知过程中被激活的各种线索和约束因素就如同神经网络中的各个节点,这些节点之间的联结形式、激活程度等因素以平行竞争、同步整合的形式不断地动态调节,直到整个神经网络达到一种平衡稳定的状态,从而完成整个认知加工过程[20]。近年来,该理论被越来越多地应用到语言理解加工研究中,尤其是探寻非字面语义加工过程模型的具体形式。
Bowdle和Gentner的隐喻生涯理论根据隐喻从新颖到规约的发展历程提出了不同喻体规约化程度产生的不同类型隐喻假说[21]:规约隐喻的比喻义在已有范畴中被直接提取,而新颖隐喻则在其字面义不能合理通达后还需再另辟蹊径进行比较理解。随着规约度的加深,隐喻理解机制从隐喻比较机制转变为隐喻范畴机制。隐喻生涯理论的观点高度局限于隐喻,一般不太适用于其他非字面语言类型,如转喻和反语等。但该观点与约束满足理论的核心内容高度一致,认为直接或间接理解非字面语言均需参考其他因素的影响。
Blank在明喻、隐喻两种句法形式中考察了隐喻理解中的句法一致性效应,通过规约隐喻和新颖隐喻的比较,发现规约隐喻的理解速度显著快于新颖隐喻,隐喻的规约化诱发了喻体的隐喻性抽象范畴指称[2223]。屈卫国对歇后语认知理解机制的研究表明,其意义激活加工方式是相互作用的混合模型,也即平行竞争模型②屈卫国《歇后语认知理解机制的研究》,湖南师范大学2010年基础心理学博士学位论文,第93页。。换言之,如果语境和歇后语的属性对意义的激活具有较强的促进作用,其显性度就高,意义理解就能直接提取;但如果语境和歇后语的属性对意义的激活具有较强的抑制作用,其显性度就低,意义提取的尝试就会失败,转而构造与语境关联的意义,因此,其构造的速度与语境和歇后语的属性对其意义构造的抑制作用大小相关。Katz等的ERP研究发现,反语通达发生在认知加工过程的早期,即被试在读完反语表达的最后一个词之前就已经获得了反语义[24]。
在非字面语言理解中,分步加工模型和直接通达模型对字面义是否参与认知加工这一分歧做出了相反的回答:前者认为必须首先激活字面义再进行后续认知加工,后者则强调不必激活字面义,在语境、凸显度等因素的作用下可直接通达非字面义。平行竞争模型并没有直接阐明字面义直接或间接参与加工的观点,而是更多关注非字面语言认知加工过程中各种因素(语境、规约度等)的影响,着重讨论语境在非字面语言认知理解过程中所起的作用,即语境在何时以何种方式参与认知加工。
(二)非字面语言加工的空间维度
针对第二个研究问题,已有的非字面语言脑区定位研究成果颇丰,但研究结果也众说纷纭,争论的焦点在于大脑左右半球在非字面语言加工中所扮演的角色,概括起来主要有“右脑说”、“左脑说”和“全脑说”这三种观点[25]136。
1.右脑说
学界传统的观点认为,右利手者及大部分左利手者的语言理解、产出能力主要依赖于大脑左半球,但在理解加工非字面语言和复杂语言形式时会较多地涉及大脑右半球[2628],具有右脑半球优势[2930]。很多研究已经证实,如反讽、双关、幽默、习语等非字面语言理解加工具有右脑加工优势[3136]。Faust和Mashal对隐喻进行了分半视野研究表明,被试的左视野比右视野(即右脑比左脑)对新颖隐喻的表达辨识更迅速、更准确[37]。Van Lancker和Kempler对脑损伤被试进行了习语解释句的连线任务,句子包括习语字面义和非字面义(比喻义)的解释。研究发现,左脑损伤被试对非字面义解释句的选择正确率显著高于右脑损伤被试[36]。研究者的后续研究进一步说明了左脑损伤不会引起被试对习语理解的损伤,而右脑对习语的理解有着重要的作用,体现出右脑加工优势[38]。Saban-Bezalel和Mashal在考察习语、反语大脑加工机制的行为实验中发现,正常成年人在习语非凸显义和反语的理解中都表现出了右脑半球优势[39]。王小潞在她的汉语隐喻认知的ERP实验中发现,右脑参与隐喻句加工大于本义句加工[40]198。
2.左脑说
然而,新近的一些研究对传统的右脑优势假设提出了挑战。一些研究者对不同类型非字面语言形式进行了研究,利用先进的脑成像技术设备,对脑损伤病人和正常被试进行了大量的临床观察和实证研究后发现,大脑左半球也积极参与了非字面语言理解加工过程。Oliveri等使用重复经颅磁刺激(rTMS)研究正常右利手被试,在其习语理解过程中对其右半球的额叶和颞叶与左半球对应脑区进行重复经颅磁刺激干扰,要求被试完成句—图匹配任务,句子包含习语和非习语表达。结果发现,仅对左脑额叶和颞叶进行干扰,就可使被试的反应时和错误率增加[41],这说明习语的理解需要句法加工的参与,即左半脑也参与习语非字面义的理解加工。Papagno等人的研究发现,左脑损伤者比右脑损伤者的习语理解的正确率更低[42]。对脑损伤病人和正常被试的研究均表明,大脑左半球也参与了非字面语言的加工,这对右脑优势半脑的说法给了重重的一击。
3.全脑说
与二分法范畴的左脑说和右脑说不同,全脑说认为,非字面语言理解不仅仅局限于单侧左右半球的孤立作用,而是根据语言形式、加工任务、加工难度的不同,表现出左右脑互动合作的过程。越来越多的实证研究表明,无论非字面语言的何种形式,都基于左脑对语言材料的加工和分析,也依赖于右脑对非字面义的联想和想象,需要左右脑协同参与,才能完成该项高级认知加工过程。
Kacinik和Chiarello采用分半视野范畴,对字面义和非字面义的启动效应进行研究,发现该效应出现在双侧视野中,即左右半脑都参与了字面义和隐喻义的加工[43]。Bartolo等人进行的一项幽默理解和评价的fMRI研究结果显示,在对幽默卡通材料加工时,左右半球都产生了激活[44]。Papagno等人使用重复经颅磁刺激研究正常右利手的被试发现,在习语理解中左右脑都存在激活[45]。而Lauro等人的习语fMRI研究也发现,习语理解过程中可能需调动左右两个大脑半球,同时前额区域也参与加工[46]。何代丽在她的汉语隐喻认知的神经机制研究中也发现,双侧大脑共同承担汉语隐喻理解任务,只要是语言加工就会涉及左脑,随着语义的无稽程度加深,右侧大脑会更多地参与到加工任务中①何代丽,″An fMRI Investigation into the Neural Mechanisms of Chinese Metaphor Comprehension,″浙江大学2012年外国语言学及应用语言学硕士学位论文,第69 70页。。尽管某些脑区对某些隐喻认知活动承担更多的加工任务,但它仍旧需要其他脑区的配合,进行全脑总动员,才能保证隐喻信息得到正确而又迅速的加工。
有关脑损伤被试及正常被试对不同非字面语言形式加工的临床观察和实证研究均表明,非字面语言的理解并非单个脑区的作用,而是整个大脑不同功能区的协同,是整个神经网络分布功能的整合与协调[47]。
(三)现有研究的不足
随着非字面语言认知神经心理机制研究的开展和深入,学者们从不同的视角,运用不同的研究方法,采用不同的先进技术手段考察了非字面语言各种形式的加工过程,虽然取得了丰硕的成果,但不同的实验结果无论是在时间维度上还是在空间维度上都不尽相同,甚至截然相反。造成这种不一致性的原因,归纳起来主要有以下几个方面:语言形式的孤立化、影响因素的片面化、理论框架的静态化和研究方法的单一化(表1)。
首先,非字面语言各种形式的孤立化研究。从研究对象上看,有关非字面语言认知神经机制研究大多针对某种具体形式,而像隐喻与反语[48]、隐喻与夸张[49]、隐喻与习语[50]、隐喻与其他非字面语言形式[26]等的整体性研究甚少。从研究成果上看,有关非字面语言神经机制系统性的研究成果几乎没有,都是较为碎片化的研究,研究结果不具有普遍性和推广性[51]。非字面语言系统具有多样性和复杂性,包含不同的语言形式,它们之间既有共性,又有特性,某一子系统的研究结果不能全盘照搬到其他子系统中去,而应在大脑认知的统一框架下区别对待。
其次,各种形式非字面语言理解的影响因素的片面化研究。很多研究者忽视具体非字面语言形式的本质属性,忽视社会对非字面语言运用的规约度,忽视认知个体对非字面语言接受的熟悉度,忽视不同模态的非字面语言的刺激方式等,因此研究结论也较为片面。
再次,缺乏综合动态的理论框架。以往的研究大都从静态层面上对具体的句法、语义及理解加工等特点进行详尽的描写,重视横向的结果导向分析,但对其纵向动态的形成过程则缺乏必要的剖析和阐述,如这些子系统与母系统之间的逻辑关系,各子系统之间的关联与差异等。此类问题如不引起足够的重视,并进行自觉的理论思考,我们就会走入一叶障目的死胡同,看不清汉语非字面语言加工的总体走向以及各种非字面语言形式之间的相互联系。
最后,在研究方法上,过往研究主要采用单纯的自下而上或自上而下的研究范式。有的虽较好地糅合了心理学、语言学、认识神经科学的理论和方法,但很多实验由于不在统一的认知框架下思考,造成理论框架、实验语料、实验方案、控制变量、技术手段等方面的差异,导致同样的研究手段得到不同的研究结果。很多研究虽然采用先进的技术手段,如ERP、fMRI、PET、眼动、近红外等,但并没有说明不同的实验手段如何服务于不同的实验方案,因此实验设计较为粗糙。除此之外,资源整合、精准度等方面也有待提高。
三、汉语非字面语言认知的神经心理机制
非字面语言系统主要形式包括隐喻、幽默、笑话、谜语、反语、惯用语、成语、谚语、歇后语、熟语等,是日常交际话语的重要组成部分,其生成和理解过程均是人脑高级智能及人类认知复杂性的典型反映。非字面语言大脑加工是认知个体从字面义出发,寻求语言符号在语境中通达真正意义的过程。从认知逻辑看,这一加工过程应该不同于字面语言加工,而是逐渐逼近字面语言加工的动态过程。隐喻是非字面语言的经典代表;幽默常常靠顿悟感受,是新颖度较高的非字面语言的代表;习语规约化程度较高,是非字面语言极端规约的代表;反语在语境的作用下直接从字面义走向反面义,是新颖度走向极端的非字面语言代表。本文以这些非字面语言形式为代表,来说明以规约度为导向的汉语非字面语言加工的连续统,在此基础上梳理统一认知框架下的汉语非字面语言加工的动态系统。
(一)规约度为导向的汉语非字面语言加工的连续统
隐喻生涯理论认为,隐喻是一个动态发展的过程,也是一个从新隐喻到死隐喻(dead metaphor)的规约化过程。隐喻、反语、习语、幽默等非字面语言具体形式虽有其自身独特的属性,如不同的规约度,但也并非孤立存在的,它们都是隐喻思维的不同表现形式,共同构成一个统一的非字面语言体系。规约度是指隐喻喻体与其隐喻性抽象范畴指称之间的联系程度,因此隐喻生涯理论将隐喻分为新颖隐喻、规约隐喻、死隐喻[21]。Titone和Connine把规约度定义为某一特定结构的词与某一特定的比喻意义之间关联的程度,即约定俗成的程度[52]。结合这两种定义,本文非字面语言系统的规约度特指某一固定非字面语言结构与其隐喻性范畴指称(特定非字面义)之间联系的紧密度和可接受度,紧密度、可接受度越高,约定俗成的程度就越强,归约度也就越强。不断涌现出来的新颖隐喻,其某一固定的非字面义被重复使用后就逐渐演变成了规约隐喻。
我们以规约度为轴心,将新颖隐喻(如幽默、反语等)向规约隐喻(如惯用语、习语等)的演变连成一个连续统。非字面语言系统中各子系统(各种语言形式)根据其语义规约化程度,分布在连续统区间上各个不同的位置。隐喻是一种经典的非字面语言,其加工过程代表一般非字面语言的加工过程,其中与字面语言相距较大的新颖隐喻加工会随着其规约度的增强逐渐过渡到接近本义语言的规约隐喻加工,贯穿规约化连续统的整个区间(图1)。以习语、惯用语等为代表的高规约度的子系统和以幽默等为代表的低规约度子系统分别处于连续统的两端。反语义不可能越过字面义到达反语义,语境是促使认知主体做进一步推理并且制约认知主体朝反方向解读字面义的关键因素[53]。因此,我们将反语作为一个极端代表也置于低规约度一端。不同规约度、不同的非字面语言在该连续统中的位置及其加工难度和复杂度的相关实证探索和验证,将另文研究。
图1 以规约度为导向的汉语非字面语言加工的连续统
(二)统一认知框架下的汉语非字面语言加工的动态模型
很多理论和实证研究结果的矛盾性表明,已有的经典理论、加工模式、神经机制假说等对某种非字面语言形式的解释范畴都具有一定的局限性。但从规约程度连续统的发展轨迹来看,整个非字面语言系统的规约化程度由低到高,单一的理论、加工模型或神经机制假说都可阐释非字面语言连续统上某一区域具体语言形式的某一阶段的认知加工,其解释力较为局限。目前还几乎没有一个理论能够对各种非字面语言形式的各个阶段都能有很好的概括和解释。但所有非字面义的加工模型都必须在大脑认知加工的框架下运行,不断对已有理论模型的有机整合和实证研究的修正完善将有利于揭示非字面语言连续统整体、统一的发展动态和规律,从而为众多研究成果之间的相互矛盾性提供一种新的解释视角。本研究主要从时间和空间两个维度上展开,在大脑神经心理机制的框架下勾勒汉语非字面语言大脑加工的动态认知总模型。
1.时间维度
从微观共时的角度来看,分步加工、直接通达和平行竞争模型对非字面语言规约度连续统的认知加工中的某一阶段都具有一定的解释力,如分步加工模型可解释低规约度一端的新颖非字面语言(幽默、新颖隐喻、反语等),直接通达模型对高规约度一端的规约非字面语言(习语、规约隐喻等)具有较强的阐释力,平行竞争模型可阐明处于两个极点间中等规约度的非字面语言在语境等因素作用下的认知加工。
从宏观历时的角度来看,这三种模型涵盖了非字面语言从低规约度向高规约度发展过程中理解加工机制的动态转换和有机整合,无论是分步加工模式还是直接通达模式,都着重阐释了非字面语言认知加工过程中字面义和非字面义的获得及其作用,对规约度极高和极低的非字面语言的认知理解都具有较强的解释力。而非字面语言在自然语境交际中的理解和加工却要复杂得多:非字面语言具体形式的多样性、非字面语言形式本质属性(规约度、熟悉度、透明度等)的差异性、非字面语言由新颖到规约的发展动态性、不同语境下不同的线索和约束因素、交际中认知个体显著的个体差异等等都对非字面语言的意义激活具有促进或抑制作用。系统、动态的平行竞争模型与分步加工模型、直接通达模型的差别在于,它强调语境在某个特定时刻以某种特定方式参与认知加工的动态过程时,可以在统一的认知框架下找到自己的位置,可以帮助人们在整体中考虑个别,更多地关注非字面语言认知加工过程中各种内、外在因素共同作用的影响,能较好地弥补分步加工模式和直接通达模式的局限性。三种模型既独立又关联,整体反映了不同规约度的非字面语言认知加工的动态发展过程,从而能够更加客观地反映非字面语言理解的复杂过程,系统地阐释这一高等认知活动的总体动态规律。
近年来,很多相关的非字面语言实证研究也表明,因规约度的不同,认知加工时程也随之不同,理解机制当然会显示出差异(图2)。Gentner和Wolff的研究结果表明,规约隐喻的加工要快于新颖隐喻,换言之,随着规约化程度的增高,其认知努力就会逐渐减少,相应的加工时间也就逐渐减少[54]。Arzouan等考察了希伯来语规约隐喻词对和新颖隐喻词对的认知加工,发现新颖隐喻词对的N400波幅显著大于规约隐喻词对,前者的理解加工难度大于后者[55]。在Vicky等的规约隐喻句和新颖隐喻句加工的ERP研究中,规约隐喻与字面表达的熟悉度和可解释性都非常相似,但相对于字面表达,规约隐喻加工需要更多的短暂认知努力;而新颖隐喻则与不规则表达类似,需要更多持续的认知努力[56]。此外,该研究还发现,规约度对理解加工有影响,具体体现在字面表达、规约隐喻、新颖隐喻的认知时间进程和ERP波幅的动态变化上。这一结果支持了分步加工模型,与隐喻生涯理论一致。还有很多研究发现,规约度极低的反语的理解所需要的加工时间显著长于字面义的理解[48,5758],这在一定程度上也支持了分步加工模型假说。
图2 以规约度为导向的汉语非字面语言理解加工机制
2.空间维度
非字面语言的理解加工,一方面大都以语言材料为基础,因此会涉及左脑语言功能区对基本的句法、语义的加工处理;另一方面,非字面语言认知无论其规约度高低,当字面义和非字面义不一致时,都需要通过想象、联想、类比等认知过程以获取恰当意义,这一过程会涉及右脑的神经机制。即无论非字面语言的哪种形式,其规约程度如何,都要解决两个问题:基本语言规则的认知加工和与字面冲突意义的获取过程。这进一步证明了非字面语言加工是一项复杂的高级认知活动,已不仅仅是左右大脑半球的孤立加工,也不仅仅是各个功能脑区加工的简单相加,而需要左右半球的共同参与,协同运行。
非字面语言加工系统的神经机制既有全脑总动员这一普遍性,同时每种具体语言形式加工的神经机制也有其特异性。一方面,不同的非字面语言材料(隐喻、反语、幽默、习语等)、不同的测试手段、不同的研究范式、不同的实验任务等因素,造成了当前非字面语言认知神经心理机制研究中脑区激活的多样性。另一方面,非字面语言具体形式的本质属性也是区别于其他形式特征的神经心理加工的重要影响因素,如习语的结构固定性、反语直接从字面义抵达反语义的极端性、幽默的顿悟性等。Isabel等用fMRI和PET技术对354名被试做了有关隐喻、习语、反语等不同的非字面语言形式的大脑神经机制的比较研究,结果发现隐喻和习语认知加工中都涉及左侧额颞区,反语的理解与中部结构(如额中回、前扣带回、楔叶/楔前叶)的激活相关,右脑只参与新颖隐喻的理解,这与分级凸显假说一致[50]。
总之,非字面语言的大脑加工是一个完整的系统,各种具体语言形式的大脑加工神经心理机制不仅停留在语言内语言结构层面的句法加工和语义加工,还涉及语言外的语境信息和个人认知背景层面的语用加工。我们可借助认知神经科学手段观察并采集加工过程指标(如加工时程和脑区分布),以考察非字面义加工的特征属性及与字面义加工的异同,这有助于我们构建从新颖隐喻到规约隐喻思维的汉语非字面语言大脑加工的动态总模型(图3)。从目前已有文献来看,还几乎没有在非字面语言集成性模型驱动下的研究。此类的实证研究将会在后续各种不同非字面语言形式的系列研究中展开,以佐证该模型的适用性和解释力。
四、结 语
综上所述,非字面语言的理解受到语言内外各种因素的影响,如语言形式本质属性、规约度等,到目前为止我们还很难找出一个能解释非字面语言加工所有方面的普遍模型,或提出一个能解释非字面语言所有形式的“万能理论”。一方面,非字面语言系统中的各种子系统大多以隐喻思维为基础,一般具有某种普遍的图式特征,如平行竞争模型、全脑协同参与等,因此,我们应该从系统整体的角度研究非字面语言的认知加工机制。另一方面,具体每种语言形式的规约度、本身的语言特征等的差异也会产生有别于其他非字面语言形式的理解加工机制,因此,我们还应该从系统内部的视角深入研究特定语言形式的神经机制,并进行与其他语言形式之间的比较研究。
图3 汉语非字面语言大脑加工综合流程图
至于汉语非字面语言理解到底是直接加工还是间接加工,到底是具有半脑优势还是全脑总动员这个复杂问题,现有研究在实验方法、操作定义、语料刺激、任务类型等方面的不一致,给有效解决半球差异假说之间的争论带来了严重的挑战[59],因而目前还不可能对非字面语言理解神经网络系统给出一个清晰而明确的结论。但我们不应仅停留在某一孤立的理论模型或假说上片面地概括和归纳汉语非字面语言认知的神经心理机制,而应对各种理论假说加以整合和优化,在大脑统一认知的框架下,根据不同语言形式、不同理解阶段,构建一个汉语非字面语言大脑加工的动态总模型。该模型既包含汉语非字面语言认知神经心理系统中各规约度的语言形式,又综合考虑影响大脑加工的各种因素,还能结合动态的加工时程和加工脑区所提供的与字面义加工相同、相似或相异的信息,灵活地阐释不同形式的语言和非语言信息在非字面语言认知加工的时间和空间维度上是怎样最终得以通达其非字面义的。这将有助于我们在汉语非字面语言大脑加工的大框架下找到某种语言形式的加工特征,并根据当时的语境给予更加合理的解释。
[1]A.M.Rapp &B.Wild,″Nonliteral Language in Alzheimer Dementia:A Review,″Journal of the International Neuropsychogical Society,Vol.17,No.2(2011),pp.207 218.
[2]马利军、张积家:《比喻性语言加工的脑机制》,《心理科学进展》2010年第9期,第1394 1402页。[Ma Lijun &Zhang Jijia,″The Brain Mechanism of Figurative Expression Processing,″Advances in Psychological Science,No.9(2010),pp.1394 1402.]
[3]黄彬瑶、王小潞:《“其言非其意”:反语认知的心理机制》,《心理科学进展》2013年第12期,第1 9页。[Huang Binyao &Wang Xiaolu,″Saying What You Don't Mean:Cognitive Mechanism of Verbal Irony,″Advances in Psychological Science,No.12(2013),pp.1 9.]
[4]H.Grice,″Logic and Conversation,″in P.Cole &J.Morgan(eds.),Syntax and Semantics 3:Speech Acts,New York:Academic Press,1975,pp.41 58.
[5]J.Searle,″Metaphor,″in A.Ortony(ed.),Metaphor and Thought,New York:Cambridge University Press,1979,pp.92 123.
[6]R.Giora,″Understanding Figurative and Literal Language:The Graded Salience Hypothesis,″Cognitive Linguistics,Vol.8,No.3(1997),pp.183 206.
[7]R.Giora,″On the Priority of Salient Meanings:Studies of Literal and Figurative Language,″Journal of Pragmatics,Vol.31,No.7(1999),pp.919 929.
[8]R.Giora,On Our Mind:Salience,Context and Figurative Language,New York:Oxford University Press,2003.
[9]R.Giora &O.Fein,″Irony:Context and Salience,″Metaphor and Symbol,Vol.14,No.4(1999),pp.241 257.
[10]R.Giora,O.Fein &D.Laadan et al.,″Expecting Irony:Context versus Salience-based Effects,″Metaphor and Symbol,Vol.22,No.2(2007),pp.119 146.
[11]K.W.Karli,J.M.Benjamin &M.A.John,″Brain Activation during Sight Gags and Language-dependent Humor,″Cerebral Cortex,Vol.17,No.2(2007),pp.314 324.
[12]H.Weiland,V.Bambini &P.B.Schumacher,″The Role of Literal Meaning in Figurative Language Comprehension:Evidence from Masked Priming ERP,″Frontiers in Human Neuroscience,No.8(2014),pp.1 17.
[13]R.W.Gibbs,″On the Psycholinguistics of Sarcasm,″Journal of Experimental Psychology:General,Vol.115,No.1(1986),pp.3 15.
[14]R.W.Gibbs,The Poetics of Mind,Cambridge:Cambridge University Press,1994.
[15]R.Carston,Thoughts and Utterances:The Pragmatics of Explicit Communication,Oxford:Blackwell,2002.
[16]D.Sperber &D.Wilson,″A Deflationary Account of Metaphors,″in R.W.Gibbs(ed.),The Cambridge Handbook of Metaphor and Thought,Cambridge:Cambridge University Press,2008,pp.84 105.
[17]D.Sperber &D.Wilson,Relevance:Communication and Cognition,Cambridge:Harvard University Press,1986.
[18]S.L.Ivanko &P.M.Pexman,″Context Incongruity and Irony Processing,″Discourse Processes,Vol.35,No.3(2003),pp.241 279.
[19]R.W.Gibbs,″A New Look at Literal Meaning in Understanding What Is Said and Implicated,″Journal of Pragmatics,Vol.34,No.4(2002),pp.457 486.
[20]S.J.Read &L.C.Miller,″On the Dynamic Construction of Meaning:An Interactive Activation and Competition Model of Social Perception,″in S.J.Read &L.C.Miller(eds.),Connectionist Models of Social Reasoning and Social Behavior,Mahwah,NJ:Lawrence Erlbaum Associates,1998,pp.27 68.
[21]B.F.Bowdle &D.Gentner,″The Career of Metaphor,″Psychological Review,Vol.112,No.1(2005),pp.193 216.
[22]G.D.Blank,″Metaphors in the Lexicon,″Metaphor and Symbolic Activity,Vol.3,No.1(1988),pp.21 36.
[23]龚玉苗、周榕:《隐喻生涯模型及其解释力》,《外国语文》2009年第3期,第65 70页。[Gong Yumiao &Zhou Rong,″The Career of Metaphor and Its Explanatory Power,″Foreign Language and Literature,No.3(2009),pp.65 70.]
[24]A.N.Katz,D.G.Blasko &V.A.Kazmerski,″Saying What You Don't Mean:Social Influences on Sarcastic Language Processing,″Current Directions in Psychological Science,Vol.13,No.5(2004),pp.186 189.
[25]王小潞、冯骏:《隐喻加工脑区的关联因素》,《浙江大学学报(人文社会科学版)》2014年第1期,第134 146页。[Wang Xiaolu &Feng Jun,″Factors Related to Metaphor-processing Areas of the Brain,″Journal of Zhejiang University(Humanities and Social Sciences),No.1(2014),pp.134 146.]
[26]C.Burgess &C.Chiarello,″Neurocognitive Mechanisms Underlying Metaphor Comprehension and Other Figurative Language,″Metaphor and Symbolic Activity,Vol.11,No.1(1996),pp.67 84.
[27]R.L.Mitchell &T.J.Crow,″Right Hemisphere Language Functions and Schizophrenia:The Forgotten Hemisphere?″Brain,Vol.128,No.5(2005),pp.963 978.
[28]S.Coulson &Y.C.Wu,″Right Hemisphere Activation of Joke-related Information:An Event-related Brain Potential Study,″Journal of Cognitive Neuroscience,Vol.17,No.3(2005),pp.494 506.
[29]S.Coulson &C.V.Petten,″A Special Role for the Right Hemisphere in Metaphor Comprehension?ERP Evidence from Hemifield Presentation,″Brain Research,No.1146(2007),pp.128 145.
[30]A.M.Rapp,D.T.Leube &M.Erb et al.,″Literality in Metaphor Processing:Lack of Evidence from Functional Magnetic Resonance Imaging for the Right Hemisphere Theory,″Brain and Language,Vol.100,No.2(2007),pp.142 149.
[31]M.Beeman,″Coarse Semantic Coding and Discourse Comprehension,″in M.Beeman &C.Chiarello(eds.),Right Hemisphere Language Comprehension:Perspectives from Cognitive Neuroscience,Mahwah,NJ:Lawrence Erlbaum Associates,1998,pp.255 284.
[32]M.J.Beeman &C.Chiarello,″Complementary Right and Left Hemisphere Language Comprehension,″Current Directions in Psychological Science,Vol.7,No.1(1998),pp.2 8.
[33]S.W.Briner,J.L.Motyka &S.M.Virtue,″Hemispheric Processing of Sarcastic Text,″Journal of Neurolinguistics,Vol.24,No.4(2011),pp.466 475.
[34]S.Coulson &E.Severns,″Hemispheric Asymmetry and Pun Comprehension:When Cowboys Have Sore Calves,″Brain and Language,Vol.100,No.2(2007),pp.172 187.
[35]P.Shami &D.T.Stuss,″Humor Appreciation:A Role of the Right Frontal Lobe,″Brain,Vol.122,No.4(1999),pp.657 666.
[36]D.R.van Lancker &D.Kempler,″Comprehension of Familiar Phrases by Left but Not Right-hemisphere Damaged Patients,″Brain and Language,Vol.32,No.2(1987),pp.265 277.
[37]M.Faust &N.Mashal,″The Role of the Right Cerebral Hemisphere in Processing Novel Metaphoric Expressions Taken from Poetry:A Divided Visual Field Study,″Neuropsychologia,Vol.45,No.4(2007),pp.860 870.
[38]D.Kempler,D.R.van Lancker &E.Bates,″Idiom Comprehension in Children and Adults with Unilateral Brain Damage,″Developmental Neuropsychology,Vol.15,No.3(1999),pp.327 349.
[39]R.Saban-Bezalel &N.Mashal,″Hemispheric Processing of Idioms and Irony in Adults with and without Pervasive Developmental Disorder,″Journal of Autism and Developmental Disorders,Vol.45,No.11(2015),pp.3496 3508.
[40]王小潞:《汉语隐喻认知与ERP神经成像》,北京:高等教育出版社,2009年。[Wang Xiaolu,Chinese Metaphorical Cognition and Its ERP Imaging,Beijing:Higher Education Press,2009.]
[41]M.Oliveri,C.Papagno &L.Romero,″Left but Not Right Temporal Lobe Involvement in Opaque Idiom Comprehension:A Repetitive Transcranial Stimulation Study,″Journal of Cognitive Neuroscience,Vol.16,No.5(2004),pp.848 855.
[42]C.Papagno,R.Curti &S.Rizzo et al.,″Is the Right Hemisphere Involved in Idiom Comprehension?A Neuropsychological Study,″Neuropsychology,Vol.20,No.5(2006),pp.598 606.
[43]N.A.Kacinik &C.Chiarello,″Understanding Metaphors:Is the Right Hemisphere Uniquely Involved?″Brain and Language,Vol.100,No.2(2007),pp.188 207.
[44]A.Bartolo,F.Benuzzi &L.Nocetti et al.,″Humor Comprehension and Appreciation:An fMRI Study,″Journal of Cognitive Neuroscience,Vol.18,No.11(2006),pp.1789 1798.
[45]C.Papagno,M.Oliveri &L.Romero,″Neural Correlates of Idiom Comprehension,″Cortex,Vol.38,No.5(2002),pp.895 898.
[46]L.J.R.Lauro,M.Tettamanti &S.F.Cappa et al.,″Idiom Comprehension:A Prefrontal Task?″Cerebral Cortex,Vol.18,No.1(2008),pp.162 170.
[47]C.Papagno,P.Tabossi &M.Colombo et al.,″Idiom Comprehension in Aphasic Patients,″Brain and Language,Vol.89,No.1(2004),pp.226 234.
[48]H.L.Colston &R.W.Gibbs,″Are Irony and Metaphor Understood Differently?″Metaphor and Symbol,Vol.17,No.1(2002),pp.57 80.
[49]P.Rubio-Fernández,C.Wearing &R.Carston,″Metaphor and Hyperbole:Testing the Continuity Hypothesis,″Metaphor and Symbol,Vol.30,No.1(2015),pp.24 40.
[50]C.B.Isabel,A.Ulrike &A.M.Jacobs,″Looking at the Brains behind Figurative Language:A Quantitative Meta-analysis of Neuroimaging Studies on Metaphor,Idiom and Irony Processing,″Neuropsychologia,Vol.50,No.11(2012),pp.2669 2683.
[51]E.R.Cardillo,C.E.Watsion &G.L.Schmidt et al.,″From Novel to Familiar:Tuning the Brain for Metaphors,″Neuroimage,Vol.59,No.4(2012),pp.3212 3221.
[52]D.A.Titone &C.M.Connine,″On the Compositional and Noncompositional Nature of Idiomatic Expressions,″Journal of Pragmatics,Vol.31,No.12(1999),pp.1655 1674.
[53]王小潞、黄彬瑶:《汉语篇章阅读中反语认知的心理机制:反语表达对肯定/否定数量词“聚焦效应”的影响》,《外国语》2016年第1期,第12 22页。[Wang Xiaolu &Huang Binyao,″Cognitive Mechanism of Irony in Chinese Text Reading:Influence of Irony on the Focusing Effect of Positive/Negative Quantifiers,″Journal of Foreign Languages,No.1(2016),pp.12 22.]
[54]D.Gentner &P.Wolff,″Alignment in the Processing of Metaphor,″Journal of Memory and Language,Vol.37,No.3(1997),pp.331 355.
[55]Y.Arzouan,A.Goldstein &M.Faust,″Brainwaves Are Stethoscopes:ERP Correlates of Novel Metaphor Comprehension,″Brain Research,Vol.1160(2007),pp.222 231.
[56]T.L.Vicky,C.Tim &M.Lise,″Comprehending Conventional and Novel Metaphors:An ERP Study,″Brain Research,Vol.1284(2009),pp.145 155.
[57]S.Dews &E.Winner,″Obligatory Processing of Literal and Nonliteral Meanings in Verbal Irony,″Journal of Pragmatics,Vol.31,No.12(1999),pp.1579 1599.
[58]R.Filik &L.M.Moxey,″The On-line Processing of Written Irony,″Cognition,Vol.116,No.3(2010),pp.421 436.
[59]K.Kristina,″Hemispheric Differences in Figurative Language Processing:Contributions of Neuroimaging Methods and Challenges in Reconciling Current Empirical Findings,″Journal of Neurolinguistics,Vol.26,No.1(2013),pp.1 21.
Neuropsychological System for Chinese Non-literal Language Processing
Wang Xiaolu1,2Guo Xiaoqun1
(1.School of Foreign Language and Culture and International CommunicationInternational Studies,Zhejiang University,Hangzhou310058,China;2.School of Humanities &Communication Arts,Western Sydney University,Penrith NSW2751,Australia)
The previous studies on non-literal language mechanism did not treat different forms of non-literal language as an entire and coherent system,but as segmented and isolated entities.Besides certain deficiencies in methodologies,those researches failed to distinguish the similarities and variances of processing mechanism between different non-literal language forms.Non-literal language understanding,one of the advanced cognitive activities,presents a more abstract performance of language and mind.Taking conventionality as the axes,this study tries to place conventionalized metaphor(such as conventional metaphor,idioms)and novel metaphor(such as humor,irony)on a continuum of conventionality.The features of a particular non-literal language form as well as the comparisons with other forms in the non-literal language system from both temporal and spatial dimensions have been discussed and analyzed,so as to bring light on the continuum of Chinese non-literal language mechanism and to build a model of Chinese nonliteral language cognitive processing.
In terms of temporal dimension,there are three models,namely the multi-step model,the direct access model and the parallel competitive model for non-literal language processing.The multi-step model and the direct access model give extreme answers to the debate of whether literal meaning is activated in the non-literal language understanding.The former holds that literal meaning should be activated initially,while the latter believes that regardless of literal meaning activation,non-literal meaning could be accessed with the contribution of context,salience,etc.The parallel competitive model does not illustrate the direct or indirect processing of literal meaning,but focuses much on the factors influencing the process,discussing the context effect in terms of time and means of processing in understanding.
Regarding spatial dimension,the right brain theory,the left brain theory and the whole brain theory are the three main prevailing views on the argument of the role the brain plays in non-literal language processing.The right brain theory argues that most right-handed and some left-handed people's language comprehension and production rely heavily on left hemisphere,but their understanding of non-literal language and other complex language forms mainly depends on their right hemisphere.On the contrary,the left brain theory goes against this view by insisting in the left hemisphere's participation in non-literal language processing.Different to these dichotomous categories,the whole brain theory suggests that corresponding to different language forms,processing tasks and processing difficulties,the bilateral hemispheres cooperate and interact with each other instead of limiting to the isolated performance of either left or right hemisphere.
Since the non-literal language processing is a whole system,instead of staying in some particular model or hypothesis to conclude non-literal language processing mechanism segmentally,we should integrate and optimize the different theories in terms of differentunderstanding stages to build a general and dynamic model under a uniform cognitive frame.Besides running through different non-literal language forms in terms of the degree of conventionality and synthesizing various influence factors,this model could incorporate information similar to or different from the processing system for literal meaning provided by time course and spatial regions to flexibly explain how non-literal language be understood from the temporal and/or spatial dimensions.This study will be helpful for our attempt to find the processing features of particular forms of non-literal language under the cognitive framework,and to give a reasonable explanation for these features in a particular context.
Chinese non-literal language;conventionality;processing model;brain area;neuropsychological system
10.3785/j.issn.1008-942X.CN33-6000/C.2015.12.051
2015 12 05[本刊网址·在线杂志]http://www.journals.zju.edu.cn/soc
[在线优先出版日期]2016 10 31[网络连续型出版物号]CN33-6000/C
国家社科基金重大项目(14ZDB155)
1.王小潞(http://orcid.org/0000-0002-8775-3130),女,浙江大学外国语言文化与国际交流学院、语言与认知研究中心教授,博士生导师,澳大利亚西悉尼大学人文与传媒艺术学院兼职教授,主要从事认知语言学、心理语言学、神经语言学等方面的研究;2.郭晓群(http://orcid.org/0000-0002-8565-0402),女,浙江大学外国语言文化与国际交流学院博士研究生,主要从事神经语言学研究。