言语感知中词汇识别的句子语境效应研究

柳 鑫 淼

(清华大学外文系， 北京 100084；中国劳动关系学院， 北京 100048)

言语感知中词汇识别的句子语境效应研究

柳 鑫 淼

(清华大学外文系， 北京 100084；中国劳动关系学院， 北京 100048)

言语感知遵循音不离词，词不离句的原则。除了语音特征、音位和单词三个感知单元外，句子单元也参与了言语感知的过程。在这一感知过程中，句子语境分别从句法和语义两方面对词汇的识别发生影响。在句法方面，句子层依据句法规则对词汇层产生自上而下的反馈作用，通过词类限制和曲折形态特征核查等方式实现对词汇层上备选单词的筛选；在语义方面，句子层根据语义限制条件对备选单词产生激活或抑制作用。

言语感知；词汇识别；语境

语迹模型是1986年McClelland和Elman提出的言语感知联结主义模型，与肌动理论、队列模型、合成分析理论和模糊逻辑模型并称为心理语言学中言语感知模型研究的经典之作。语迹模型旨在解释词汇环境对音位识别的影响以及单词的在线识别，是一个兼顾自上而下和自下而上联结的双向互动模型，对词汇环境对音位识别的影响、范畴感知与消长关系、语流切分等多种言语识别现象具有很强的解释力。该模型一经提出在心理语言学界引起了很大反响，成为最具影响力的言语感知联结主义模型之一，但是，模型也并非尽善尽美，由于对句法、语义等语音识别线索完全不加以考虑，目前的语迹模型只能解释较为简单的语音识别问题，对于复杂的语音识别现象仍然束手无策。从这方面来看，语迹模型还有进一步完善的空间。鉴于以上问题，本研究将句子语境引入到语迹模型之中，对当前的模型进行拓展和完善，从句法和语义角度阐释句子语境对词汇识别的作用，从而说明言语感知是语音特征、音位、单词和句子等多因素综合作用的结果。

一、语迹模型及其拓展假说

语迹模型是在互动激活框架下建构起来的神经网络模型。根据互动激活假设，语言处理是一个自下而上和自上而下相结合的双向过程。这两种过程可以同时并行不悖。

图1 语迹模型[1]

如图1所示，语迹模型划分了语音特征、音位和单词三个层次，每个层次上都分布着大量的认知单元。言语感知通常由底层的语音特征开始，自下而上传递信息，同时上层可以对下层产生反馈作用。为了体现信号输入的时间轨迹，McClelland和Elman引入了时间段这一变量，每个时间段为五微秒，由全部时间段构成的动态处理结构就是语迹[1]。每个单元代表从初始状态到当前状态这段时间内所形成的对感知对象的判断，单元的激活值代表判断的强度，每个单元的激活值等于其他单元投射过来的所有激活值的累计净值，若净值为正，这一单元会受到激活，净值为负则受到抑制。各单元的激活值呈现出动态变化，全部单元的总体激活状况就是感知系统对言语感知对象的表征。根据这一模型，音位识别涉及自下而上和自上而下两种信号输入途径，自下而上的过程是指从语音特征层向音位层输入语音信号。自上而下的过程是从词汇层到音位层的反馈作用[2]。系统基于已有的词库来确定音位组合的匹配程度，匹配程度高的音位在竞争中处于主导地位，匹配程度低的音位受到抑制。语迹模型还对词汇识别中连续输入的语流切分问题做出了解释。感知系统利用音位间的激活和竞争机制来对连续语流进行切分。可见，语迹模型对词汇识别的阐释只考虑了单向的自下而上的过程，忽略了更高层次的感知单元对词汇层自上而下的反馈作用。

McClelland和Rumelhart指出，言语感知中存在更高层次的处理单位，但为了避免使研究过于复杂，他们将研究范围限定在词汇与语音层次上，未考虑其它层次之间的互动[2]。多项研究表明，如果要对言语感知现象作出更科学的解释，构建模型时需要考虑到句法、语义等多种因素的影响。Pollack 和Pickett发现，脱离句子环境时，感知主体仅能准确识别出一半的单词，句子语境在言语感知中发挥重要的作用[3]。Windmann也发现，句子语境对词汇识别具有促进作用，感知主体更倾向于将输入的信号识别为符合上下文语义逻辑关系的单词[4]。因此，构建模型时需要充分考虑句子语境，探讨语音特征、音位、单词、句子等多因素的综合作用。

图2 拓展模型结构图

基于这一考虑， 我们在原模型三层次结构的基础上引入了更高层次的感知单位──句子，形成了由语音特征、音位、词汇、句子四个层次构成的拓展模型，结构如图2所示。在拓展模型中，词汇识别涉及自下而上和自上而下两种信号输入途径，自下而上的过程是指从音位特征层面向词汇层面输入语音信号。在词汇层与音位层之间的作用关系中，一个音位激活词汇层上包含这个音位的所有单词，这一激活作用是以词库中已有的单词作为基础来实现的。而在句子层和词汇层的作用关系中，输入系统的单词激活的不是感知系统中固有的句子(谚语等作为整体形式储存在记忆中的句子除外)，而是激活相应的句法和语义信息，并通过自上而下传递这些信息来实现从句子层到词汇层的反馈作用，这一反馈效应可以称作句子语境效应。拓展模型充分体现了句子语境对词汇识别自上而下的反馈效应，突显了宏观感知单位在言语感知中发挥的重要作用。

二、句子语境下的词汇识别

由于句子语境对词汇识别的影响体现在句法和语义两个维度上，可以将句子语境效应划分为句法效应和语义效应。下面，我们分别介绍句法效应和语义效应发挥作用的机制。

1.词汇识别的句法效应

图3 言语感知的句法效应

言语感知和句法分析同步进行，随着句中最后一个单词输入感知系统，句法树也搭建完成。句子层对词汇层的反馈主要通过激活不同的句法规则来进行。句子层可以基于句法规则对词汇层的语音信号进行补充，符合句法规则的单词在同层竞争中将会胜出，句法层的反馈是对音位层自下而上作用的补充，随着语音信号的输入，相关单词不断被激活，句法树同时按照自下而上的顺序搭建起来，相应节点的信息被激活，句子层上的句法信息被相应激活，反向激活了词汇层上符合句法规则的词汇。名词短语中的成分所激活的句法信息通常只限于名词短语内部。而动词由于承载了核心句法信息，在句子层上激活的句法信息量最大，如时态和一致性。现以The bull killed the horse为例，说明句法信息对词汇层的反馈效应。根据乔姆斯基的短语标记理论，例句中各语法成分的关系可以用图3表示，图中箭头表明了节点之间的激活方向。下箭头表示通过系统内部句法规则提供的信息来激活相关节点。上箭头表示通过输入系统的外部信息来激活相关节点。

在例句中，bull和horse两个单词会受到自上而下的激活。具体过程如下，首先冠词the激活Det节点，D节点自下而上瞬间激活NP，同时启动相应的语法规则NP→Det+N， 根据这一规则可以推断冠词the后面将出现一个名词性成分，该成分不一定紧跟在the后面，如果随后输入感知系统的单词为形容词，反馈效应会在短时间内延缓。也就是说，N节点被激活，这一信息反馈至词汇层后，备选词汇中的名词将会受到激活，而其他词性的词汇受到抑制。例如，如果备选词汇为full、pull和bull，句子层会通过自上而下的反馈作用激活名词bull，而形容词full和动词pull则会受到抑制，从而bull在与词汇层上另两个单词的竞争中胜出。动词kill的出现会激活大量的句法信息，参与自上而下的反馈。图中，kill自下而上激活V节点和VP节点，同时启动语法规则VP→V+(NP), 动词的及物性决定NP是否被激活，由于kill是二元动词，需要接宾语成分，因此NP获得相应的题元角色。宾语的名词性特征自上而下反馈至词汇层，如果存在多个备选词汇，名词将受到句子层的激活，其他词性的单词受到抑制。这里，句法信息对词汇识别的影响主要体现在对词类的限制上。

句法信息对词汇感知的另一个影响体现在动词的曲折形态特征方面。词项的形态特征包括与时态、人称、性、数(一致)、格相关的有形或无形的形态特征。为了解释动词和曲折特征间的关系，乔姆斯基在最简方案中提出了“特征核查”理论，认为动词在词库中就具有固有的屈折特征，在运算构成的复合体中，这些屈折特征与中心语相对应而得到核查。[5]在最简方案中，推导式中的时态、一致性等之类的功能节点不包括词库中调取的词项，这些位置不是插入屈折词缀之处，屈折词缀全部附加在词项上，功能节点仅携带形态屈折特征，用于核查DP、V的特征。乔姆斯基提出的最简方案对于言语感知同样具有启发意义。如图4所示，输入感知系统的动词将句法树从节点V开始自下而上激活，时态和一致性等功能节点被激活后主要发挥特征核查功能，相关的曲折特征信息将被反馈至词汇层，将对词汇层的感知结果进行逐层的核查，对感知结果加以检查和修正。特征核查并不是等句子推导结束时才开始进行的，而是每当一个功能语类进入感知系统，功能节点就会与之形成核查关系。核查操作从最底层开始，逐层向上推进。

图4 言语感知的核查式反馈机制

这种核查式反馈效应是以中心词的有效识别为前提的，主要对已经感知出的词汇进行监督和修正，仅起到辅助作用，例如，在词汇识别的理想状况下，感知输出的动词应该为带有屈折形态特征的复合体killed，此时核查机制只起到监督作用，未发挥修正作用；但在语音信号输入不充分或有误时，感知输出的结果容易出现偏差。如果输出的结果是kill，在核查机制的作用下，输出的结果会被修正为killed。核查机制有助于减轻感知系统的认知负荷，符合人类认知活动的经济性原则。

2.词汇识别的语义效应

一个句子中词与词的结合除了受句法规则的支配之外，还需要满足语义上的限制条件，具备语义可接受性。这种语义限制不局限于核心谓词与论元之间，论元之间以及修辞语和被修饰词之间都存在选择性限制。句子层对句子中不同成分的语义特征进行判断，并将这一信息反馈至词汇层，对符合语义限制条件的单词产生激活作用，不符合语义特征的词汇则会受到抑制。例如，当语段“The bull killed the”输入感知系统后，系统根据已知的动词可以判定bull是施事，接下来出现的词汇应当为kill这一行为的受事，kill是将有生命的事物变成无生命事物的行为，由此可以断定受事应该是具有生命特征的事物。这一语义限制条件会自上而下反馈至词汇层，对词汇识别产生限定和制约，若在下一时间节点上输入的语音信号为/h_s/, 其中“_”是介于/au/和/:/之间的模糊语音信号，house和horse两个单词同时被音位层的信号激活。两者在词类特征上并无差异，但在语义特征上有区别，已知的语义信息会激活具有生命特征的单词horse, 无生命特征的单词house会受到抑制，因此horse在与house的竞争中胜出，因此知觉输出的最终结果是horse。语句效应直接作用于词汇层，同时间接作用于音位层，这也体现出了模型中各个层次之间作用的连锁反应。论元之间的语义关系也会产生语义效应。例如，John married /k_t/，“_”代表模糊的语音信号。通过语义关系可以推断，作为John的结婚对象，宾语应该具有至少三个语义特征[﹢human][﹢adult][- male]，这三个语义限制条件由句子层反馈至词汇层，若备选词汇为kite，Kate，cat，其中符合条件的女性名称Kate会受到激活，其他不符合条件的单词受到抑制。

语义和句法因素对言语感知的影响与感知主体有密切关系，两者并不相同。但句法效应与语义效应没有绝对的界限，句子语境效应是两者共同发挥作用的结果。目标单词经常会受到来自句法和语义层面的双重激活，感知处理速度也随之加快。从时间上来说，由于句法处理先于语义处理，句法效应通常先于语义效应。从作用范围上看，句法效应只限于在一个句子内部发挥作用，而语义效应不限于在一个句子内部，还可以体现在多个句子之间。

结 语

言语感知是一个极为复杂的过程。句法、语义、语音等语言因素和社会文化等非语言因素都会参与语音信号的合成与分析，从而影响感知系统的决策与判断。言语感知应遵照音不离词，词不离句的原则，语音特征、音位、词汇和句子语境环环相扣，只有兼顾了这四个层次，感知模型才能对现实交际环境下的言语现象做出合理的解释。本研究在语迹模型的基础上构建了涵盖语音特征、音位、词汇和句子四个层次的拓展模型，并运用拓展模型解释了句法和语义信息对词汇识别的影响。研究表明，在句法方面，句子层依据句法规则对词汇层产生自上而下的反馈作用，对在词类和曲折形态特征等方面满足句法限制条件的备选单词产生激活作用，同时抑制不满足句法限制条件的单词；在语义方面，句子层激活满足语义限制条件的备选单词，同时抑制不满足限制条件的单词。句法效应和语义效应在词汇识别的过程中共同发挥着至关重要的作用。

[1]McClelland, J. L., Mirman, D. & Holt, L. L.Are there interactive processes in speech perception？[J]. Trends in Cognitive Sciences, 2006，10(8).

[2]McClelland, J. L. & Rumelhart, D. E.An interactive activation model of context effects in letter perception: Part 1. An account of Basic Findings[J]. Psychological Review, 1981(88).

[3]Pollack, I. & Pickett, J.M.,Intelligibility of excerpts from fluent speech:Auditory vs. structural context[J].Journal of verbal learning and verbal behavior, 1964(3).

[4]Windmann, S.Sentence context induces lexical bias in audiovisual speech perception[J].Review of Psychology, 2007,14(2).

[5]Chomsky, N.The Minimalist Program[M].Cambridge:MIT Press,1995.

责任编校：汪长林

EffectofSentimentalContextsonWordRecognitioninSpeechPerception

LIU Xin-miao

(Department of Foreign Languages and Literatures, Tsinghua University, Beijing 100084, China;China Institute of Industrial Relations, Beijing 100048, China)

Phonemes, words and sentences are interconnected in speech perception. Besides phonetic features, phonemes and words, sentences are also engaged in speech perception. In speech perception, sentimental contexts exert influence on word recognition both syntactically and semantically. Syntactically, sentence levels exert top-down feedback effect on world levels according to syntactic rules, screening the candidates on word levels by constraining their part of speech or checking their inflectional features. Semantically, sentence levels activate pr inhibit the candidates by exerting semantic constraints.

speech perception; word recognition; context

2014-01-16

教育部人文社科基金项目(12YJA740009)；中央高校基本科研业务费专项基金项目(12zy018)。

柳鑫淼，女，吉林大安人，中国劳动关系学院讲师，清华大学外文系博士研究生。

时间：2014-8-28 15:45 网络出版地址：http://www.cnki.net/kcms/detail/34.1045.C.20140828.1545.015.html

10.13757/j.cnki.cn34-1045/c.2014.04.015

H030

A

1003-4730(2014)04-0065-04