口语理解中韵律信息的作用及其脑机制研究

任桂琴， 邵红涛， 秦铭培

(辽宁师范大学 心理学院，辽宁 大连 116029)

从广义上讲，口语交流是对话者之间面对面的、发生于特定现实情境中的交流(1)邱丽景,王穗苹,关心.口语理解的视觉——情境范式研究[J].华南师范大学学报(社会科学版),2009(1):130-136.；从狭义上讲，口语交流是一种认知过程，在该过程中，听者需要识别说话者所表达的词汇意义，理解各词汇之间的句法关系，把握说话者的表达意图(2)BERKUM J J A V, BROWN C M, HAGOORT P, et al. Event-related brain potentials reflect discourse-referential ambiguity in spoken language comprehension[J]. Psychophysiology, 2003, 40(2):235-248.。与阅读理解相比，口语理解还需要听者对语音信息进行加工，包括语音识别以及对口语韵律信息的感知，即对语流轻重缓急的感知。韵律是言语的整体特性，主要包括重读、语调以及韵律边界等几个方面(3)杨玉芳.心理语言学[M].北京：科学出版社，2015：214-227.。

语言的每个音节都包含两个语音单元：音段信息和超音段信息。音段信息即元音和辅音。超音段信息是指由音位或音位群负载，包括音高、强度、时长等声音线索，如声调、重音等。超音段信息也被称作词汇的韵律信息(4)于泽,韩玉昌,任桂琴. 音段与超音段信息在不同语境条件下加工的时间进程[J]. 辽宁师范大学学报(社会科学版),2016，39(6):43-48.。在正常口语交流中，听者需要正确理解说话者传达的韵律信息才能准确地把握说话者的表达意图。由于对口语理解存在独特的作用，近年来韵律信息的作用引起了众多研究者的关注。本文分别从重读、语调、韵律边界三个方面阐述韵律信息在口语理解中的作用及其脑机制研究。

一、重读对口语理解的作用

重读是韵律的主要特征之一，通常表现为对词、词组、短语以及句子中某些成分进行重读的现象，是通过调节音长、音高、音强的变化来实现的(5)LI X Q, YANG Y F, HAGOORT P. Pitch accent and lexical tone processing in Chinese discourse comprehension: an ERP study[J]. Brain research, 2008, 1222(3):192-200.。单词的重音位置不同，所表达的语义也不同(6)高晗,任桂琴,沈莉,等. 口语加工中的韵律信息[J]. 中国健康心理学杂志,2015(6):960-962.。比如“white house”，重音在“white”的时候表示白宫，重音在“house”的时候则指白色的房子。

重读对口语理解的作用通常体现在两个方面。

一方面，重读会影响口语理解句子的信息结构(7)杨玉芳,李晓庆. 重读在口语语篇理解加工中的作用[J]. 心理学报,2004,36(4):393-399.(8)GUSSENHOVEN C. Focus, mode and the nucleus[J]. Journal of linguistics, 1983, 19(2):377.。信息在传递过程中有一定的结构，比如新旧信息、背景和焦点等(9)JACKENDOFF R. Précis of foundations of language: brain, meaning, grammar, evolution[J]. Behavioral and brain sciences, 2003, 26(6):651-707.。Halliday最早提出了新旧信息的概念：新信息是指语境中之前没有出现过的信息，通常需要重读；旧信息则是指语境中出现过的信息，说话者认为听话者已经理解的信息，一般不被重读(10)HALLIDAY M A K. Notes on transitivity and theme in English: part 2[J]. Journal of linguistics, 1967, 3(2):199-244.。Wang等人考察了焦点与新旧信息对口语理解的影响。结果发现，当负载焦点的新信息被重读时，促进了语义加工(11)WANG L, BASTIAANSEN M, YANG Y F, et al. The influence of information structure on the depth of semantic processing: how focus and pitch accent determine the size of the N400 effect[J]. Neuropsychologia, 2011, 49(5):813-820.。王蓓采用语料库样本分析的方法发现，在汉语双线模型中，高音线与重音的变化相关，低音线与韵律层级结构相关。重读音节的声学表现是高音点的提高和时长的加长，而在信息结构上的表现是新信息被重读的程度高于旧信息被重读的程度(12)王蓓. 汉语韵律知觉的研究[D]. 北京：中国科学院心理研究所,2002.。之后，李晓庆和杨玉芳对汉语中新旧信息和重读的关系做了进一步研究，将重读分别放在新旧信息上，并把新信息上的重读称为一致性重读，旧信息上的重读称为不一致性重读。结果发现，相较于不一致性重读，一致性重读促进了口语理解(13)李晓庆,杨玉芳. 一致性重读在口语语篇临场加工中的作用[J]. 语言科学,2005,4(5):36-41.(14)李晓庆,杨玉芳. 不一致性重读对口语语篇加工中信息激活水平的影响[J]. 心理学报,2005(3):285-290.。Li等人采用ERP 技术，系统考察了重读与信息结构在口语理解中的作用。研究发现，在口语理解中，不仅语义违反会引发N400效应，口语中不可预测的信息也会引发N400效应，比如旧信息重读比新信息重读会引发更大的N400效应。研究表明，在口语语篇理解过程中，听者能快速地提取出与之前语境相关的重读语义(15)LI X Q, HAGOORT P, YANG Y F. Event-related potential evidence on the influence of accentuation in spoken discourse comprehension in Chinese[J]. Journal of cognitive neuroscience, 2008, 20(5):906-915.。

另一方面，重读可以通过调控人们的注意资源来影响口语理解加工(16)CUTLER A. Phoneme-monitoring reaction time as a function of preceding intonation contour[J]. Perception & psychophysics, 1976, 20(1):55-60.(17)WANG L, MARCEL B, YU F Y, et al. Information structure influences depth of syntactic processing: event-related potential evidence for the Chomsky illusion[J]. Plos one, 2012, 7(10):e47917.。Li等人对口语理解中重读如何调控以及何时调控时间选择性注意进行了研究(18)LI X Q, REN G Q. How and when accentuation influences temporally selective attention and subsequent semantic processing during on-line spoken language comprehension: an ERP study[J]. Neuropsychologia, 2012, 50(8):1882-1894.。以汉语句子为实验材料，实验材料中关键词与句子存在语义一致和不一致两种关系。根据关键词被重读的程度，实验条件分为不重读、一般性重读以及重度重读三个水平。结果发现，在语义不一致情况下，不被重读的关键词没有引发N400效应，重度重读引发广泛的N400效应，并且重度重读比一般性重读的N400效应早500 ms左右。该研究结果表明，在口语理解过程中，重读可以调节时间选择性注意，并且随着重读程度的加强，语义加工的深度和速度也得到了提高。赵海燕等人也对口语理解中重读的注意调控作用进行了研究(19)赵海燕,李晓庆. 重读对口语理解中时间选择性注意分配的影响[J]. 心理科学,2016,39(1):13-21.。结果表明，在口语理解的早期阶段，即语义加工和行为反应之前，重读就开始调控注意资源的分配了，并且重读调控注意的作用不受词汇声调的影响。

二、语调对口语理解的作用

语调指口语音高轮廓的变化，即通过音高和音长变化突出话语中的某些部分，将话语分割成多个有意义的单元，从而为语流分配特定的旋律，使语句表现出轻重缓急和抑扬顿挫的变化(20)HOUSE J. Constructing a context with intonation[J]. Journal of pragmatics,2006,38(10):1542-1558.。语调在口语交流过程中有着多重的作用。

首先，语调能够反映句子的信息结构(21)GUSSENHOVEN C. Types of focus in English[M]∥LEE C，GORDON M，BURING D. Topic and focus. Springer, 2007:83-100.(22)沈莹. 英语语调在口语语篇连贯中的作用[D]. 上海：上海师范大学, 2006.。Chen等人采用眼动追踪研究范式，在电脑屏幕上呈现两个音素相关的物体，一个为目标物(如comb)，另一个为竞争物(如coat)，将不同的重音分别放在两句指示语内容上(23)CHEN A, DEN OS E, DE RUITER J. Pitch accent type matters for online processing of information status: evidence from natural and synthetic speech[J]. Linguistic review,2007,23(2/3):317-344.。结果显示，当语调通过重音恰当地标识新信息时，促进了口语理解。Ruiter等人考察了德国儿童在叙事话语中如何使用语调来表达信息地位(24)RUITER D E, LAURA E. How German children use intonation to signal information status in narrative discourse[J]. Journal of child language, 2014, 41(5):1015-1061.。实验材料为图片(图片传达的信息是故事情节的发展变化)。被试包括成人和儿童，要求被试叙述图片的含义。研究显示，儿童与成人一样，对新的参照物(如“海鸥”第一次出现)进行了重读，但没有重读已有的参照物(如“海鸥”第二次出现)。同时，相对于成人组，儿童组不能产生句子末尾的上升轮廓，年纪越小的儿童越不能很好地控制语流变化。该研究表明，某些语调功能的获得出现得比较晚。

其次，语调与语法有着密不可分的联系。强普遍主义假说认为，句子音高升调标志着疑问语气，音高降调标志着陈述语气(25)LADD D R. On intonational universals[J]. Advances in psychology, 1981, 7:389-397.。林茂灿对汉语中陈述句和疑问句的音高模式进行了分析，发现边界语调对语调的识别有重要的作用，边界语调所包含的信息可以起到区分疑问和陈述的作用(26)林茂灿. 汉语语调与声调[J]. 语言文字应用, 2004(3):57-67.。Bao等人对普通话的陈述语调和疑问语调进行了研究，发现疑问句的末尾音节持续时间越长，所携带的疑问信息越多(27)BAO W, LI Y, GU M L, et al. Combining prosodic and spectral features for mandarin intonation recognition[C]. The 9th International Symposium on Chinese Spoken Language Processing, 2014.。

另外，在声调语言(如汉语)中，语调和声调相互作用。语调是由音高变化产生的，而声调的产生也与音高的变化有关(28)任桂琴,韩玉昌,周永垒，等. 汉语语调早期加工的脑机制[J]. 心理学报, 2011, 43(3):241-248.。杨玉芳等人指出，声调是音节基频变化的时间模式，具有区别语义的功能，而语调是语句层次的基频变化模式，可以体现句法结构(29)杨玉芳，黄贤军，高路. 韵律特征研究[J]. 心理科学进展, 2006, 14(4):546-550.。研究者普遍认为，语调影响声调的感知(30)BECKMAN M E. The phonology of tone and intonation (review)[J]. Language, 2008, 84(3):641-643.(31)HAO Y C. Intonational interference on the perception and production of mandarin chinese tones by English-speaking second language learners[J]. The journal of the acoustical society of America, 2008, 124(4):2595.。Ma等人使用声学和感知实验考察了粤语声调和语调的相互作用(32)MA J K Y, CIOCCA V, WHITEHILL T L. Effect of intonation on cantonese lexical tones[J]. Journal of the acoustical society of America, 2006, 120(6):3978-3987.。该研究对疑问句和陈述句的起始、中间和最后位置声调的声学模式进行了测量。结果发现，语调对语音的F0级和轮廓线都有影响，而声调的持续时间则随语调语境中位置的变化而变化。该结果表明，虽然语调能够为声调的正确识别提供线索，但由于语调引起F0的变化并不总是能够被感知到，因而语调的存在增加了被试对粤语声调的错误识别反应。Kung等人进一步指出，语调和声调是相互作用的，当语调和声调产生冲突时，增加了口语理解难度，从而导致词汇错误识别率的增高(33)KUNG C, CHWILLA D J, SCHRIEFERS H. The interaction of lexical tone, intonation and semantic context in on-line spoken word recognition: an ERP study on cantonese chinese[J]. Neuropsychologia, 2014, 53(1):293-309.。

不仅如此，语调还具有跨语言的共性，能够被不同母语的听者所理解。研究者将母语为汉语普通话、荷兰语和匈牙利语的单语被试分成三组，用一种鲜为人知的语言作为刺激材料，实验中的语言只在音高模式上进行变化(34)GUSSENHOVEN C, CHEN A. Universal and language-specific effects in the perception of question intonation[C]. The 6th International Conference on Spoken Language Processing (ICSLP), 2000.。结果发现，无论使用哪种语言，所有被试均能对语调的这种变化做出正确的反应，能够将峰值较高、较晚的音高模式刺激的语句判断为疑问句。该结果反映了语调对非言语音高产生的影响。House利用关联理论对语调的作用进行了解释，认为听者能够根据语调的多种信息构建语境，从而有效地理解说话者传递的口语信息(35)HOUSE J. Constructing a context with intonation[J]. Journal of pragmatics, 2006, 38(10):1542-1558.。

三、韵律边界对口语理解的作用

韵律边界即韵律单元的分界处，通常用停顿进行标记(36)陈默. 美国留学生汉语口语产出的韵律边界特征研究[J]. 世界汉语教学, 2013(1):95-104.。韵律边界将语流切分成大小不同的韵律单元，如韵律词、韵律短语、语调短语等，与此相关的声学线索是时长和音高(37)杨玉芳. 心理语言学[M].北京：科学出版社，2015：217-221.。Paula等人指出，言语节奏将相关的语音信息分割为语音流，并将其组合成有意义的语言单元，这些单元与其他语言信息，如语义和语法等一道，为听者理解口语提供了丰富的信息(38)PAULA R D M, MAREN S K, KOTZ S A, et al. Speech rhythm facilitates syntactic ambiguity resolution: ERP evidence[J]. Plos one, 2013, 8(2):e56000.。

研究发现，韵律边界影响句法加工，对句法歧义消解有着重要的作用(39)NAGEL H N, SHAPIRO L P, TULLER B, et al. Prosodic influences on the resolution of temporary ambiguity during on-line sentence processing[J]. Journal of psycholinguistic research, 1996, 25(2):319-344.(40)SPEER S R, KJELGAARD M M, DOBROTH K M. The influence of prosodic structure on the resolution of temporary syntactic closure ambiguities[J]. Journal of psycholinguistic research, 1996, 25(2):249-271.。Snedeker等人采用视觉范式考察了韵律边界和词汇信息对句法分析的影响，探讨了儿童和成人使用韵律边界和词汇信息消除介词短语歧义的认知加工过程(41)SNEDEKER J, YUAN S. Effects of prosodic and lexical constraints on parsing in young children (and adults)[J]. Journal of memory & language, 2008, 58(2):574-608.。结果显示，即便语境和词汇线索不一致，韵律边界也能够对歧义消解产生促进作用。Steinhauer等人采用ERP技术考察了自然言语加工中韵律边界对句法歧义消除的影响(42)STEINHAUER K, ALTER K, FRIEDERICI A D. Brain potentials indicate immediate use of prosodic cues in natural speech processing[J]. Nature neuroscience, 1999, 2(2):191-196.。实验结果显示，当韵律线索与句法不匹配时，会稳定地诱发N400成分和P600成分。该结果表明，韵律边界在句法分析的早期阶段就开始起作用了。研究者还发现，在语调短语边界处诱发了一个较大的正成分，即闭合正偏移(closure positive shift, CPS)。为了进一步明确回答CPS的产生是由于韵律短语边界加工导致的还是由于停顿加工导致的这一问题，研究者移除后两种条件下句子中的停顿，同时保留其他的韵律线索。结果显示，在移除停顿后，CPS成分仍然会稳定出现。这一结果表明，CPS成分反映的是韵律边界的加工，并非停顿的加工。Li等人采用ERP技术探讨了韵律边界在句法加工过程中如何起作用，以及何时与语篇语境相互作用的问题(43)LI X Q, YANG Y F, LU Y. How and when prosodic boundaries influence syntactic parsing under different discourse contexts: an ERP study[J]. Biological psychology, 2010, 83(3):250-259.。该研究以汉语问答对话句为刺激材料。对答的话语都是语法上模棱两可的短语，是通过改变前面的问题语境或答案句中关键词的韵律边界得到的。结果显示，当韵律边界与建立在语篇语境上的句法解释不一致时，会产生一种左前额叶分布的LAN效应或LAN与N400的结合效应。该结果表明，韵律边界对句法分析的影响发生在边界的右侧，发生的时间可能在句法分析的初始阶段。

四、韵律信息对口语理解作用的脑机制

以往研究探讨了韵律加工的大脑偏侧化问题，但对于大脑两半球使用什么线索来进行分工的，目前仍存在争议。研究者针对这一问题提出了不同的理论解释。功能假说认为，声音的心理功能决定了大脑半球会参与言语加工的过程，承载更大语言负荷的声音(如声调)主要在大脑左半球处理，承载较小语言负荷的声音(如语调)主要在大脑右半球处理(44)PELL M D, BAUM S R. Unilateral brain damage, prosodic comprehension deficits, and the acoustic cues to prosody[J]. Brain & language, 1997, 57(2):195-214.(45)WONG P C M. Hemispheric specialization of linguistic pitch patterns[J]. Brain research bulletin, 2002, 59(2):83-95.。Gandour等人采用fMRI技术考察了大脑是如何加工言语信息中的频谱和时间线索的(46)GANDOUR J, WONG D, LOWE M, et al. A cross-linguistic fMRI study of spectral and temporal cues underlying phonological processing[J]. Journal of cognitive neuroscience, 2002, 14(7):1076-1087.。实验要求母语为泰语和汉语的被试判断泰语声调和元音长度。结果显示，对泰语声调进行辨别判断时，只有泰语被试的左下额叶皮层得到激活。然而，在过滤了言语信息的音高条件后，泰语和汉语被试表现出了相似的额叶激活。这表明大脑对语言中的特定因素更敏感。Wong采用PET技术进一步考察了汉语(声调语言)被试和英语(语调语言)被试加工母语和非母语中音高信息时的差异(47)WONG P C M. The role of the insular cortex in pitch pattern perception: the effect of linguistic contexts[J]. Journal of neuroscience, 2004, 24(41):9153-9160.。结果发现，当汉语被试加工汉语声调时，大脑左半球的脑岛前部皮层被激活，加工英语中的音高信息时，则与英语被试加工英语音高信息时所激活的脑区相似。该实验结果为功能假说提供了实验依据。

然而，声音假说则认为，听觉刺激的声学结构决定了言语音高信息加工的大脑偏侧化及其相应的脑区：体现频谱变化的声音在大脑的右半球得到加工，体现时间变化的声音在大脑的左半球得到加工(48)ZATTORE R J. Structure and function of auditory cortex: music and speech[J]. Trends in cognitive sciences, 2002, 6(1):37-46.。任桂琴等人采用ERP方法,结合LORETA源定位分析技术，考察了汉语语调早期自动加工过程(49)任桂琴, 韩玉昌, 周永垒，等. 汉语语调早期加工的脑机制[J]. 心理学报, 2011, 43(3):241-248.。实验材料为单音节汉字和由三字组成的汉语句子。结果显示，被试在加工句子音高信息时，大脑右半球顶叶的多个区域均得到了激活。该结果为声学假说提供了实验证据。

近年来，有研究者提出了韵律加工的动态模型，如两阶段模型和整合模型。两阶段模型指出，在前注意阶段，大脑右半球最初是把言语当作一般的声学信号进行加工的，而不是当作具有特定功能的言语信号进行加工的，在随后的注意阶段，则由大脑左半球对言语信号中的语义信息进行表征(50)LUO H, NI J T, LI Z H, et al. Opposite patterns of hemisphere dominance for early auditory processing of lexical tones and consonants[J]. Proceedings of the national academy of sciences of the united states of America, 2006, 103(51):19558-19563.。Gandour和Tong等人提出的整合模型认为，口语韵律感知主要是在大脑右半球进行的，但当被试被要求完成的任务是语言任务，而不是对复杂声音进行听觉分析时，口语韵律加工会表现出大脑左半球偏侧化特点(51)GANDOUR J, TONG Y, WONG D, et al.Hemispheric roles in the perception of speech prosody[J]. Neuroimage, 2004, 23(1):344-357.(52)TONG Y, GANDOUR J, TALVAGE T, et al.Neural circuitry underlying sentence-level linguistic prosody[J]. Neuroimage, 2005, 28(2):417-428.。Hesling等人使用fMRI技术探讨了韵律信息整合的脑机制(53)HESLING I, CIEMENT S, BORDESSOULES M, et al. Cerebral mechanisms of prosodic integration: evidence from connected speech[J]. Neuroimage, 2005, 24(4):937-947.。研究发现，与表达程度较低的韵律信息相比，高程度的韵律信息会引起更广泛的神经网络参与。

五、小结与展望

纵观以往研究可以看出，研究者对口语理解中韵律信息的作用进行了广泛的研究，从母语口语理解中的重读、语调、韵律边界等韵律信息加工研究，拓展到韵律信息作用的跨语言研究，从韵律信息对其他语言信息如句法及信息结构的影响，到韵律信息作用的脑机制，无不体现了研究者对口语韵律加工的高度关注。已有研究揭示了口语理解加工的认知特点，为人们认识口语加工过程提供了实验依据，但仍存在不足，该领域今后的研究应关注以下几个方面。

首先，应关注口语信息加工的动态过程，并对不同信息的共同作用给予关注。已有研究对韵律信息的静态作用关注较多，往往围绕口语加工某一阶段，探讨口语加工特点及其认知机制。然而，在口语理解中，韵律信息的作用是动态的，随着加工阶段的变化而有所不同。未来研究应关注口语信息加工的时间进程，以及不同时段的加工特点，以揭示口语理解的全貌。同时，应关注不同韵律信息的共同作用、特点及其相互作用。以往研究往往对韵律信息的某一方面，如韵律边界、重读、语调等给予了高度关注，但缺乏对不同韵律信息共同作用的关注，对两种以上的韵律信息如何共同作用于口语理解过程，目前仍知之甚少。

其次，应重视韵律信息作用的实际应用价值，如韵律信息对第二语言学习的作用。Mareuil等人考察了韵律信息对第二语言感知的影响，但并没有详细讲述韵律信息对第二语言学习的具体作用(54)MAREUIL P B D, VIERU-DIMULESCU B. The contribution of prosody to the perception of foreign accent[J]. Phonetica, 2006, 63(4):247-267.。对于汉语和英语这两种使用者较多的语言，除了书写系统和字词的发音不同以外，口语的韵律特点也存在很大的差异。在第二语言的学习过程中，如何根据口语韵律的特点进行实际教学，是未来研究应该关注的一个重点，因为富含韵律信息，既是口语表达中不可或缺的内容，也是口语理解中不可忽视的一个难点。

再次，在未来的研究中，既要关注不同语言的特异性，也要关注不同语言的共性。以往研究对非声调语言(如英语)进行了较多的研究，但对声调语言(如汉语)的研究相对较少。研究表明，韵律信息在声调语言和非声调语言中的作用会有不同(55)BECKMAN M E. The phonology of tone and intonation (review)[J]. Language, 2008, 84(3):641-643.。比如，在声调语言中，语调和声调会产生相互作用；而在非声调语言中，词汇的构成中没有用以区分语义的声调。对于语调及其他韵律特征的感知，英语和汉语是否会有所不同，其共同特点如何，仍有待于进一步研究。