现场即席话语与多模态研究：意义、理论与方法

〔摘要〕现场即席话语出现于人类文字发明以前，存在于鲜活整人的亲历过程中，具有多模态性质，与人类当下认知密切相关。对它的研究应以多模态感官为基点、以人类当下认知为理论框架、以多模态充盈亲历及多模态充盈信息为切入点、以贴真建模为基本思路，尽量贴近人类在现场即席会话中进行多模态互动的充盈亲历过程。在这样的研究思路下，多模态语料库语言学方法成为现场即席话语研究的具体操作手段。多模态现场即席话语语料库带来的研究选题包括：站在普通行为理论高度开展的语言研究、传统语用课题的重新考察、特殊人群的语言研究、濒危语言或方言保护及多模态修辞现象研究等。现场即席话语研究及对应的多模态研究方法，连接着认知科学和人类语言能力发展的理论内涵，拓展了语言研究的视野，具有深刻的理论意义和广阔的应用价值，是未来语言研究的新兴领域之一。

〔关键词〕现场即席话语；多模态；语料库；亲历；当下认知

〔中图分类号〕H0〔文献标识码〕A〔文章编号〕1008-2689（2016）05-0029-08

引 言

在目前的语言学研究中，如何考察由一个个言真意切、声情并茂、体貌丰富的语言使用者产生的话语成为一个重要课题。本文从分析现场即席话语的本质及其多模态特征入手，介绍多模态语言研究的概念及其背后认知内涵，指出现场即席话语是多模态语言研究的一个新兴热点，并对可以基于多模态语料库开展的各类课题进行展望。

一、 什么是现场即席话语？

现场即席话语（Situated Discourse）是指某语言的某（些）使用者在某时某刻某地说出来（或写下来）的话语[1]。“说出来”的话语是最古老的语言形式，它在人类各种文字发明之前就业已存在。因此，现场即席话语是人类语言发展的起点，是人类言语活动的根本形式，对它的研究具有重要意义①。有些民族的语言只有口语，没有文字②；儿童没有学习文字之前的母语习得也正是从这里开始；文盲因没有受过书面教育，因此其大部分语言活动都属于说出来的现场即席话语。

需要注意的是，现场即席话语不同于我们日常所称的“口语”。口语的范畴更广，从说话人角度而言，口语可以是单人的自言自语，而现场即席会话通常是两人或两人以上的说话人参与；从说话内容是否经过说话人事先准备的角度来说，如果说话人事先经过准备（或书面或口头），如书面讲话或话剧、小品及相声表演等，这些话语就不属于现场即席话语，但却在口语范畴中。从这个意义上说，语言学传统意义上的口语研究与本文所说的“现场即席话语研究”并非完全等同。顾曰国[2]（490）曾对现场即席话语的本质特征做过概括：

1） 根植于某一时空间；

2） 是动态、按时空间展开的一个人际间的互动过程；

3） 属于谈话人；

4） 是现场社会活动的一部分；

5） 受谈话人当时的动机和目的的驱使；

6） 受谈话人当时的大脑认知状态、情感等心理因素的支配和制约；

7） 生成一个人际间主观世界。

科学研究需要直面和关注客观现象和事实，语言学也必须研究上述自然话语。相应地，研究者所设计的研究模型或框架均要面向或符合这样的语言事实。

从学科发展史上看，在Chomsky、Saussure、Hymes、Halliday、Bloomfield、Austin、Searl等诸家理论以及话语分析（Discourse Analysis）、会话分析（Conversation Analysis）等语言学研究范式中，现场即席话语具有不同的研究地位和处理方式[1]。

随着互动语言学（Interactional Linguistics）的兴起，日常言语活动日益受到关注，学者们以此为语料，对语言结构、话轮顺序、韵律特征、句法语义功能等课题进行了研究[3]（96-97）。互动语言学在方法学上受到会话分析的重要影响，后者最早由社会学家承担，代表人物包括Sacks、Schegloff、Heritage等。起初的会话分析研究主要描述日常社会活动结构[4]；之后则将范围拓展至机构语境（institutional contexts）中的社会交互[5]（59），目前会话分析还将研究视野拓展至言语行为[6]（4）。会话分析研究者关注了许多以往语言学者不感兴趣的现象，如话轮、话轮转换规则、话轮转接点、即席修正、应急填语、打断、停顿、插话等。当然，他们的研究目的并非揭示语言规律，而是要解释会话背后的社会现象，如以Garfinkel等为代表的“常人方法学派”（Ethnomethodology）对日常“社会互动”（social interaction）进行了深入探索（参考Garfinkel[7]、Sacks[8]及Schegloff[9][10]等）。

无论是社会学研究的“常人方法学派”、会话分析，还是后来的互动语言学，从方法论上说，它们都关注人们在日常实践中产生的真实信息，在此基础上分析各类社会学、语言学问题。

以互动语言学的观点来看，人们互动交际中的话语是根植于一定时空间的[3]（97-98），因此研究者对语言现象的研究不应当是孤立的，而是要联系起前后语境及说话人表现行为，采集数据时要用视频或音频录制日常活动中真实的、鲜活的话语。

二、 什么是面向现场即席话语的多模态研究？

（一） 多模态及相关研究的内涵

与现场即席话语紧密相关的一个概念便是“多模态”。“多模态”一词已成为横跨自然科学、工程领域及人文社会科学研究的热门词，涉及语言学、认知科学、哲学、脑科学、临床医学、计算机科学等领域[11]448。在不同领域，“多模态”具有各不相同的含义，且研究范式也各异。对此，笔者将另外撰文讨论，此处仅以简述。语言研究及相关领域中“多模态”的概念可以归结为三个：一是沿用脑科学或生理学对“模态”的定义，将其视为感官及其相应的神经系统，多模态是人类通过感官跟外部环境之间的一种互动方式[11]；二是从符号学出发，将“模态”视为在社会文化中形成的创造意义的符号资源，多模态话语是由多种表意符号资源形成的。在该范式中，张德禄[12]等学者对各模态资源之间的协同关系进行了分析框架的构建，并运用于外语教学，颇具启发性；三是将“模态”定义为人机交互中的信息呈现方式，多模态人机交互就是人们使用多种感官模态，通过多种物理媒介，与计算机等进行信息交互[13]。语言研究及相关领域的多模态研究范式大致包括：符号学属性的“多模态”研究范式、多模态语料库语言学范式以及神经语言学、人机交互及学习研究中的多模态范式。

虽然各类研究对“模态”的定义不同，研究范式各异，但总的研究目标可以归结为：探究人类与外界的多模态交互现象，利用多模态交互规律进行技术开发、服务人类发展。

本文所指的“多模态”发展于脑神经科学。现代脑科学研究喜用“模态”（modality）一词通指感官及其相应神经系统[14]（135）。从该视角出发，“模态”被定义为人类通过感官系统（如视觉、听觉、触觉等）跟外部环境（如人、机器、物件、动物等）之间的互动方式。感知模态（perception modality）和产出模态（production modality）同时作用才能顺利实现完整的言语交际[15]（351）。例如，说话人通过发声模态说出话语（包括韵律特征等），听话人则通过听觉模态接受这些信息；如果加上体貌表现（包括表情、手势或身姿等），则又涉及视觉、触觉、体感等多种模态。从整体上说，身心健康的人在正常情况下与外部世界（包括人际之间）的互动是多模态的（至少是双模态），面对面的现场即席会话更是如此。例如，中医采用“望闻问切”的方法对病人进行诊疗，就涉及视觉、听觉、味觉、发声和触觉等多种模态。

现场即席会话是一种多模态互动，就是一个人们调用多模态感官系统对外界进行意义构建与识解的行为过程。这一点能够找到神经学证据。研究者运用fMRI（功能性核磁共振成像）、ERP（事件相关电位）、PET（正电子发射计算机断层扫描）、EEG（脑电图）等技术已经证明：话语活动中的不同信息处理是由不同大脑功能区负责，例如：句子及其以上层面的情感韵律加工呈右侧化[16]，主要定位于额下回、颞上回以及顶枕区；也有脑成像研究显示进行语音、韵律加工时大脑左右半球均会激活：右半球在情感韵律识解中占主导，负责言语交际中情感线索的产出与识解[17]（225）[18]（213），而左半球则主要负责语音加工（也有学者对此区分抱有怀疑态度[19]）；身体动作涉及的运动区位于大脑前半部[18]（211）；大脑左半球前区负责积极情感及积极介入或向前靠近的行为，右半球前区则与消极情感及避让行为相关。这些运用现代脑成像技术开展的研究告诉我们：说话人进行现场即席会话时，多个大脑区域及相应的信息处理系统同时工作，大脑处理区域互相补偿、支持和勾连，从而使人们与外界互动时进行多模态处理。诸多现代神经医学和胚胎学的研究成果使得不少学者开始以“多模态感官为基点”构建语言学理论，即在构建语言学理论时默认一个前提：语言的发生与发展需要多模态感官系统的支撑[11]（456）（但同时，人类的语言具有“无模态性”（amodal），见下文介绍及顾曰国[20]的论述）。

需要指出的是，在与外界的互动中，由于人脑在处理由多符号系统构成的文本时，需要调用多模态感官系统多模态感官系统至少包括：皮肤、视觉、听觉、触觉、味觉、本体感受器等[20]。，从而使得多模态话语分析与多模态感官系统产生重要的内在联系[11]（449）。

（二） 现场即席话语与当下亲历、当下认知及多模态数据要区分“信息”与“数据”：信息是客观存在的、充盈的，研究者一次不可能处理所有信息；从若干角度提取一定量信息成为研究分析的对象，此时便成为研究数据。

我们再从过程视角分析现场即席话语的多模态性质。现场即席会话的主体是一个个言真意切、声情并茂、体貌丰富的鲜活的、完整的人。顾曰国[21]将其称为“鲜活整人”（the whole person）这种思想可追溯至Firth[22]（19）。他提出，应当停止心灵与身体（mind and body）、思想与话语（thought and word）的二元对立，要把会话人视为与他人相联系、思维与行动形成整体的一个整人（the whole man）。语言学研究应当基于整人的生活形态（pattern of living）开展。顾曰国[21]从言思情貌四个视角对“鲜活整人”进行建模，也是基于上述思想的。。这些“鲜活整人”在现场即席会话中是一个个亲历者（the experiencer），他们的亲历（experiencing）与其当下认知（situated cognition）顾曰国[20]认为，严格来说，英语situated应当由“实景”、“当下”两个汉语词汇合起来才能较为完整地传达其意义。另外，顾曰国[21]（18）也将situated discourse称为“鲜活话语”，本文仍沿用最初的叫法“现场即席话语”。密切相关。所谓当下认知，是指认知主体在某个具体的、真实的、特定的时空间里通过多模态感官系统与外部进行互动的认知活动[20]。从这个角度看，语言随着说话人发声而产生，又随着说话人结束说话而消失。在文化口耳相传的民族、没有学习文字的幼儿或文盲的言语交际中，语言就存在于他们的鲜活亲历过程中，这种亲历最常见的形式就是现场即席会话。不难理解，“鲜活整人”在现场即席会话中的语言亲历是一种多模态充盈亲历（total saturated experience），多个感官同时参与言语交际过程，在此基础上形成多模态充盈意义（total saturated signification）[23]（435-437）。顾曰国[20]将此称为“多模态充盈原则”（Principle of Multimodality and Saturatedness）。从日常行为角度来看，现场即席话语是先于书写等任何其它媒介而最基本的意义表现形式，是人们在充盈的行为与概念环境中产生的[24]（91-92）。

我们可将当下认知视为给说话人的鲜活亲历不断填充信息的过程：亲历者就好比一个大数据存放与集成库，亲历过程就是在不断往该数据库填写数据，亲历者主观掌握的数据成为体验。由此，顾曰国[20][25]提出了研究语言亲历的“3E模型”（Experiencer， Experiencing， Experiences）。

当然，人类能够超越当下时空间的束缚。人类通过多模态感官处理信息，产生多模态记忆，这种记忆不需要通过语言符号，而是通过“印记”（image）[26]（9）来存储。之后，人类又可以通过语言进行再次编码，将体验说出来，而这种说出来的语言则具有“无模态”（amodal）的特征，即“说语言不依附于任何一个感官系统”，正是语言的“无模态性”才使得语言可以用来表达任何一种模态的数据。从人类的多模态感官，到多模态记忆及编码系统，再到现场即席话语的多模态充盈意义，最后到语言的无模态性，是对人类语言、认知及交际之间关系的新认识。该结论与乔姆斯基观点一致，有兴趣的读者可参考顾曰国[20]的论述。

语言亲历（experiencing）在不同的语言学理论中有着不同的位置。例如，Saussure结构主义语言学将亲历过滤掉，因为他明确指出抽象后的语言才是语言学需要关注的对象，被称为言语（parole）的会话人亲历话语并非研究对象；Halliday等系统功能语言学家则认为语言编码了语言亲历；Lakoff-Johnson的认知学派则认为语言亲历是“身构”（embodiment）和“隐喻化”（metaphorization）；Chomsky的形式主义语言学认为语言亲历在儿童语言发展过程中起激发作用（triggering）。

研究现场即席话语，就要尽可能地记录下说话人的多模态充盈信息。目前，可通过现代影像技术将现场即席话语转为计算机可处理的音视频流，形成供研究使用的“多模态语料”。但严格来讲，这种记录永远不具有数据本来的充盈性和丰富性。一旦现场即席话语被会话人“亲历”过后，它们便残存在会话人的记忆中，影像记录、音频记录和文字记录只是不同的记录手段，这些记录数据均已失去了当时的意义充盈态。通过影像手段记录的“多模态语料”是“鲜活整人”（即亲历者the experiencer）已经“亲历”过的“现场即席话语”，是一种体验（experiences）。因此，通过现代影像手段记录形成的多模态语料并不完全等同于鲜活整人的“现场即席话语”。

总之，研究现场即席话语要以多模态感官为基点、以人类当下认知为理论框架、以多模态充盈亲历及多模态充盈信息为切入点，尽量贴近人类在现场即席话语中进行多模态互动的充盈亲历过程，采集多模态数据，进行综合性、混合式分析。当然，多模态数据的范围很广，除了音视频数据，还可从多个维度对说话人言语交际时的各种类型数据进行采集，如利用眼动仪、高速数字成像系统、肌电图、fMRI、ERP、EEG等多种技术采集说话人产生现场即席话语时的实时声学、生理数据，形成大数据集合，从包括眼动、舌位、声带、声道、气息、情感、激活脑区等多方面入手研究。从大数据的角度而言，只要符合研究目的、技术条件允许，这些信息都可成为语言研究的数据来源。

三、 如何开展相关研究？

（一） 贴真建模：现场即席话语研究的基本思路

贴真建模是多模态语料库语言学采用的研究方法。顾曰国[21]（4）、黄立鹤[27]（49-50）[28]（2）对其基本内涵及在语言学研究中的应用进行了阐述。

现场即席话语是十分复杂的研究对象。研究者无法完全客观、完整地对现场即席话语中的多模态充盈意义进行复现，很难在一个研究中对现场即席话语的全部信息进行考察。一般而言，每次研究只能选择若干视角对某些方面进行研究。贴真建模为研究者提供了重要的参考思路。

顾曰国[21]（6）借用“化整为零”这一成语解释对“鲜活整人”的贴真建模过程：“整”即“鲜活整人”，“零”是指建模的各个角度。单个角度看到的整人就是该人的某个方面，即“化整为零”；将各个角度集合起来，又得到了一个整人，即“合零为整”，该过程在建模上叫做数据集成[23]。当然，在实际观察和研究中，受到技术、方法甚至必要性的限制，研究者不可能完全还原现场即席话语原本的所有充盈数据。同样地，在面向现场即席话语的多模态研究中，“鲜活整人”产生的“现场即席话语”就是研究者建模的对象，研究者从多个视角对研究对象进行建模，见下图：

在对现场即席话语进行多视角建模后，需要进行各种数据的提取。目前最为常见的操作方法就是进行视频和音频的录制，构建多模态语料库。

（二） 多模态语料库：现场即席话语研究的操作手段

随着现代计算机多媒体技术、存储技术的发展，以及人们对言语活动本质认识的提升，原来单模态语料库逐步向多模态语料库发展。多模态语料库是指音频、视频和文字语料等多种信息集成，研究者可以通过多模态方式加工、检索和统计进行相关研究的语料库[21]（3）[29]（V-VI），堪称“语料库40”[28]。其中，“多模态”是指调用多模态进行语料处理（如视觉、听觉等），以及检索方式的多模态（如触觉、视觉、听觉等）[21]（3）。多模态语料库的构建通常面向现场即席话语，它既是后续研究的基础，自身建设也反映着对现场即席话语本质的认识。

顾曰国（Gu）的系列研究[23][30][31][32]从现场即席话语的本质出发，构建了一个解决多模态文本（视频流数据）处理、建库、文本内容分析及相关数据建模的理论框架。该框架具有横跨语料库语言学、语用学和话语分析等语言学分支的交叉性，为采集、加工、标注和分析现场即席话语语料，进行多模态语料库建设提供了重要的理论指导。

语料库语言学具有一整套研究思路和方法，包括：建立语料库、语料转写、语料标注、语料加工软件以及在此基础上的语言研究。多模态语料库的建设既有语料采集、加工、标注和建库等一系列语料库建设的共性问题，也有基于多模态语料特点而产生的分层、定义、切分、标注和检索的特有问题，具体可参考笔者对多模态语料库建设理论和实践问题的相关介绍[28]。

面向现场即席话语的多模态语料库建设，需要采用各种技术对现场实际发生的原始信息进行记录。过去因为技术手段的限制，对多模态信息的采集和标注均有困难。随着现代影像技术的发展，一般的研究可以使用数码摄像机和录音笔，客观、连续地记录包括声音、动作、场景和空间关系等一系列信息[28]，是目前多模态语料采集所能够使用的较为理想的工具。但需要强调的是，到目前为止，没有任何一种技术能够实现多模态充盈信息的完全复现，摄像机采录的多模态语料仍然丢失了诸多原始信息[23]（439-440）。

在语料采集之后，研究者要使用文字（单模态）对现场即席话语进行转写。当然，转写过程丢失了原本由多模态语料承载的信息，如身体动作、脸部表情等研究数据。转写信息的多寡可以根据项目性质和研究需要决定。

这样，就构成了最原始的现场即席话语“资源库”。接下来，要对其中的语料进行加工，在资源库的基础上将其建设成“语料库”。多模态语料库的加工就是根据研究目的所构建的研究模型或分析框架，对其中的部分信息进行切分、标注。首先是研究者根据研究需要对多模态内容的多层信息进行定义、确定切分标准和方法；随后使用多模态语料处理软件（如Elan，Anvil等）对其中的信息进行标注，并根据研究需要按照一定单位对标注加工后的语料进行储存，从而形成一定规模的多模态语料库。

目前，对多模态语料加工技术的相关研发逐渐丰硕，并在理论依据、语料采集、加工标注以及分析框架上有了系列研究。国外多模态语言研究的标注工具开发日益成熟和多样，国内也有学者在建设汉语现场即席多模态语料库的基础上，研究开发新的多模态数据标注、切分软件以及数据集成工具，这无疑对我国学者站在国际多模态语言研究前沿具有重要意义。

四、 多模态现场即席话语语料库可带来哪些选题？

对新的研究材料或数据的关注往往会促使研究视角的转换、研究领域的拓展及研究方法的革新，最终带来新的研究发现。如果我们将现场即席话语作为研究的出发点和关注点，将相应的多模态语料库方法作为主要研究手段，就能带来一些新的选题方向：

一是认识到现场即席话语是与人们日常行为紧密结合在一起的，站在普通行为理论高度开展相关语言研究。Gu[33][34]借鉴了时间地理学的研究方法（参考Hagerstrand[35]、Thrift[36]），以及人文地理学关于时空间、特别是社会时空间的理论，解决了现场即席话语跟物理时空间和社会时空间之间的扎根问题等，探讨个人动态的日常行为与其话语之间的关系，构建了工作现场话语地理关系（workplace discourse geography），并设计了相应的分析方法。这样，时间地理学就为考察现场即席话语提供了一种分析途径。另外，还可联系知识本体基础理论及相关技术，站在人类普通行为的高度对现场即席话语中的言语行为进行建库、研究，这对人工智能等领域具有较强的工程意义[37]。

二是利用多模态现场即席话语语料，重新考察传统语用学领域的经典课题。经典语用学承袭西方哲学和逻辑学等传统，是基于单模态（文字载体的视觉感官或音频载体的听觉感官）的信息交流分析上发展而来的语言使用规律考察。但是，忽略其他模态所蕴含和传递的意义而构建的语用学理论及原则是不充分的，因而只有在分析全方位充盈体验（Total Saturated Experience）式的言语交际过程基础上才能归纳出真正符合实际的语用规律和原则。另外，言语交际发生的不同空间、时间和方式均会影响到经典语用学原理的适用性。通过多模态语言研究方法，联手会话分析等学科分支，使语言使用研究回归至“以言行事”的、与社会活动交织的言语交际情境中加以探究，可以重新考察包括礼貌原则、合作原则、指示、言语行为等若干经典语用学课题，对它们进行验证、修补和发展。

三是利用多模态现场即席话语语料库开展对特殊人群的语言研究，包括文盲话语、老年人（含阿尔兹海默症老年痴呆患者）语言衰老、婴幼儿语言发展等。例如，文盲大脑中没有文字表征，他们的语言活动仅限于现场即席会话。对文盲话语的研究有助于理解人类最初的语用交际本质，进一步理解文盲在语言信息加工过程中的各种问题[38]；老年人语言衰老表现在现场即席会话中呈现各种语言特点及语用特征，多模态语料能为研究者提供单模态语料（如音频）所不能及的信息[39]；另外，婴幼儿当下亲历与认知、多模态意义模块中的模态协同及演化等也是人类语言发展研究中的重要问题。

四是通过多模态现场即席话语语料库建设开展濒危语言或方言保护。多模态语料库除能记录濒危语言或方言的语音特征外，还能有效捕捉说话人在现场交际中的多种信息，如该语言或方言所承载的各种文化风俗、交际习惯等，从整体上相对完整地记录社会文化实践中的语言活动[40]（262-263），对濒危语言研究和方言传承保护具有重要意义[40][41][42]。境内外已有不少研究机构都建立了濒危语言或方言的多模态数字档案库。

五是基于多模态语料库对多模态修辞（Multimodal Rhetoric）现象进行研究。从人类行为的多模态交际本质来看，鲜活整人在交际中形成了鲜活修辞行为。研究者可以基于多模态数据考察鲜活的、完整的人如何在各个时空间、通过各种载体、调用多种模态手段，为提升交际有效性而进行的修辞行为。当然，多模态修辞不仅限于现场即席话语，在非现场即席话语中也有多模态修辞行为，如多模态隐喻就可以出现在非现场即席话语中[43]。通过多模态语料库，还可对不同语言之间的修辞现象进行对比分析、规律总结。

多模态语料库在一定程度上还能为人文社会科学研究范式的创新做出贡献。目前，已有一些人文社会学者利用大规模文字（单模态）语料库进行历史文化、社会政治等相关课题的研究，国外还出现了digital humanities及esocial science的研究领域。在多模态语料内容的建模方法和检索技术有效建立后如何为多模态语料进行建模并设计检索语言，以及如何处理语料规模和时间跨度等问题，是一项复杂艰巨但具有重要意义的研究。，较单模态语料库而言，能为学者提供更多信息，有利于面向客观事实进行相关的人文社会研究，将定性与定量研究有效结合起来。

当然，需要指出的是，虽然在目前阶段，多模态语料库在研究理念、数据类型等方面是相对先进的语料库类型，但语料库的研发绝不会停步于此。人们对大脑及语言认识的持续深入将带来新的语言研究模型，并从而促使研究者不断突破技术限制、拓展数据类型、精细建模颗粒度，开始构建大数据、复合型的语料库，为探究语言交际本质及其认知机制提供更加充分的证据。在这一方面，顾曰国[20]已做了较为详尽的论述。

五、 结 语

现场即席话语研究背后联系着人类亲历与体验的理论问题，在认识人类出生以后的体验对语言能力发展的作用等方面具有重要意义，从而对乔姆斯基的语言学理论形成补充性研究。天赋的语言器官和后天的体验分别在多大程度上对语言能力的发展起到作用？人类的多模态感官系统、编码系统和记忆等如何与语言能力发展相互交织？这些理论性的问题都起始于对现场即席话语的深入探究（可参考顾曰国[20][44]的相关论述）。

语言学研究对现场即席话语和多模态研究手段的关注，与相关的科技进步关系密切：科技进步为人们有效观察、深入研究过去未加注意或不能捕捉的语言现象提供了更多途径，从而丰富、拓展了考察界面和研究范畴；另一方面，相关的语言研究成果必将促进相关科技的发展，如能为人机对话、人工智能系统的研发做好语言学准备；在研究中产生的思想、方法或路径还能为其他相关人文社会领域的研究提供启示。总之，现场即席话语研究及对应的多模态研究方法，拓展了语言研究的视野，具有深刻的理论意义和广阔的应用价值，应当成为未来语言研究的新兴领域之一。

〔参考文献〕

[1]顾曰国. 使用者话语的语言学地位综述[J]. 当代语言学，1999， （3）： 3-14。

[2]顾曰国. 北京地区现场即席话语语料库取样与代表性问题[A]. 中国社会科学院世界经济研究中心编. 全球化与21世纪[C]. 北京：社会科学文献出版社， 2002： 484-500.

[3]Lindstrm， J. Interactional linguistics[A]. In DHondt， S.， stman， J. & Verschueren， J. （eds.）. The Pragmatics of Interaction[C]. John Benjamins Publishing Company， 2009： 96-103.

[4]Sacks， H.， Schegloff， E. and Jefferson， G.. A simplest systematics for the organization of turntaking for conversation[J]. Language. 1974， 50 （4）： 696-735.

[5]GonzálezLloret， M. Conversation analysis and speech act performance[A]. In MartínerFlor， A. and UsóJuan， E. （eds.）. Speech Act Performance： Theoretical， Empirical and Methodological Issues[C]. Amsterdam/Philadelphia： John Benjamins Publishing Company， 2010： 57-74.

[6]Drew， P. Conversation analysis and social action[J]. 外国语， 2013， （3）： 2-19.

[7]Garfinkel， H. Studies in Ethnomethodology [M]. Englewood Cliffs， New Jersey： PrenticeHall Inc.， 1967.

[8]Sacks， H. Notes on methodology[A]. In Atkinson， J. M. and Heritage， J. （eds.）. Structures of Social Action： Studies in Conversation Analysis[C]. Cambridge： Cambridge University Press， 1984： 21-27.

[9]Schegloff， E. A. On some questions and ambiguities in conversation[A]. In Atkinson， M. J. and Heritage， J. （eds.）. Structures of Social Action： Studies in Conversation Analysis[C]. Cambridge： Cambridge University Press， 1984： 28-52.

[10]Schegloff， E. A. Sequence Organization in Interaction： A Primer in Conversation Analysis I [M]. Cambridge： Cambridge University Press， 2007.

[11]顾曰国. 多模态感官系统与语言研究[J]. 当代语言学，2015， （4）： 448-469.

[12]张德禄. 多模态话语分析理论与外语教学[M]. 北京：高等教育出版社， 2015.

[13]陶建华，杨明浩，李雅，潘诗峰，穆凯辉. 多模态融合的人际对话系统[J]. 中国计算机学会通讯，2011， （11）： 30-39.

[14]Kolb， B. & Whishaw， I. Q. Fundamentals of Human Neuropsychology[M]. New York： Worth Publishers， 2005.

[15]McBurney， S. L. Pronominal reference in signed and spoken language： are grammatical categories modalitydependent？[A]. In Meier， R. P. et al. （eds.）. Modality and Structure in Signed and Spoken Languages[C]. 2002： 329-369.

[16]Robin， D. A.， Tranel， D. and Damasio， H. Auditory perception of temporal and spectral events in patients with focal left and right cerebral lesions[J]. Brain and Language. 1990， （39）： 539-555.

[17]Whitaker， H. A. Concise Encyclopedia of Brain and Language[Z]. Elsevier Ltd.， 2010.

[18]Ireland， K. A. & Tenenbaum， D. J. Visualizing Human Biology[M]. NJ： John Wiley & Sons， Inc. 2008.

[19]Seddoh， S. How discrete or independent are ‘affective prosody and ‘linguistic prosody？[J] Aphasiology， 2002， （16）： 683-692.

[20]顾曰国. 当下亲历与认知、多模态感官系统与大数据研究模型—以新生婴儿亲历为例[J]. 当代语言学， 2016， （4）（即出）.

[21]顾曰国. 论言思情貌整一原则与鲜活话语研究[J]. 当代修辞学， 2013， （6）： 1-19.

[22]Firth， J. R. Papers in Linguistics， 1934-1951[M]. Oxford： Oxford University Press， 1957.

[23]Gu， Y. G. From reallife situated discourse to videostream datamining[J].International Journal of Corpus Linguistics， 2009， 14 （4）： 433-466.

[24]Giddens， A. Social Theory and Modern Sociology[M]. Stanford， California： Stanford University Press， 1987.

[25]顾曰国. 多模态语料库的设计与研发系列讲座[R]. 上海交通大学，2012年7月9至10日.

[26]Damasio， A. The Feeling of What Happens： Body and Emotion in the Making of Consciousness[M]. London： William Heinemann， 1999.

[27]黄立鹤. 言语行为研究的另一个界面：现场即席话语视角[J]. 浙江外国语学院学报，2014， （3）： 45-53.

[28]黄立鹤. 语料库4.0：多模态语料库建设及其应用[J]. 解放军外国语学院学报，2015， （3）： 1-7，48.

[29]Kipp， M.， Martin， J.， Paggio， P. and Heylen， D. （eds.）. Multimodal Corpora： From Models of Natural Interaction to Systems and Applications[C]. SpringerVerlag Berlin Heidelberg， 2009.

[30]Gu， Y. G. Towards a model of situated discourse[A]. In Turner， K. （ed.）. The Semantics and Pragmatics Interface[C]. Elsevier Science Publisher， 1999： 149-178.

[31]Gu， Y. G. Towards an understanding of workplace discourse[A]. In Candlin， C. （ed.）. Research and Practice in Professional Discourse[C]. Hong Kong： The City University of Hong Kong Press， 2002： 137-185.

[32]Gu， Y. G. Multimodal text analysis—a corpus linguistic approach to situated discourse[J]. Text and Talk， 2006， 26 （2）： 127-167.

[33]Gu， Y. G. Fourborne discourses： towards language as a multidimensional city of history[A]. In Li， W. and Cook， V. （eds.）. Contemporary Applied Linguistics Volume 2： Linguistics in the Real World[C]. London： Centinuum， 2009： 98-121.

[34]Gu， Y. G. Discourse geography[A]. In Gee， J. and Hanford， M. （eds.）. Handbook of Discourse Analysis[C]. London： Routledge， 2012： 541-557.

[35]Hagerstrand， T. Space， time and human conditions[A]. In Karlqvist， A.， Lundqvist， L. and Snickars， F. （eds.）. Dynamic allocation of urban space[C]. Farnborough： Saxon House， 1975： 3-12.

[36]Thrift， N. Concepts and Techniques in Modern Geography No. 13 [M]. Nordwich： GeoAbstracts Limited， 1977.

[37]顾曰国. OntologySupported Special Corpus of Illocution， Emotion and Prosody [R]. 第十八届“口语语音资料库协调暨标准化国际研讨会东方分会”和“亚太口语语言研究和评价会议”（Oriental COCOSDA/CASLRE 2015）主旨报告，上海交通大学，2015年10月28至30日.

[38]黄立鹤. 文盲的语言研究：综述、意义与后续考察[J]. 南荣学报，2014， （17）： A3-1-A3-13.

[39]黄立鹤. 近十年老年人语言衰老现象研究：回顾与前瞻[J]. 北京第二外国语学院学报，2015， （10）： 17-24.

[40]黄成龙，李云兵，王峰. 记录语言学：一门新兴交叉学科[J]. 语言科学，2011， （3）： 259-268.

[41]徐世璇. 论濒危语言的文献记录[J]. 当代语言学，2007， （1）： 44-51.

[42]张霄军. 多模态语料库：抢救濒危语言的有效途径[A]. 民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C]. 中国云南西双版纳傣族自治州（2007年2月）， 2007： 35-41.

[43]黄立鹤. 通感、隐喻与多模态隐喻[J]. 语文与国际研究，2015， （13）： 1-13.

[44]顾曰国. 当代语言学的波形发展主题二：语言、人脑与心智[J]. 当代语言学， 2010， （4）： 289-311.

（责任编辑：高生文）

Abstract： Reallife situated discourse is the most fundamental form of human interaction and it is constructed in the experiencing process of the Experiencer with the help of human multimodal sensory organs. In this reallife situated discourse， the Experiencers Total Saturated Experience and Situated Cognition are closely related. For a more profound understanding on situated discourse， we suggest taking Simulative Modeling and Multimodal Corpus Linguistics as the methodology and Situated Cognition as the theoretical framework， which enables the study to approach the Total Saturated Signification in situated discourse. This paper presents an introduction to multimodal studies on situated discourse， and offers the agenda for future research， including： language and human action， revisit to classic issues in Pragmatics， linguistic phenomena in special groups of people， protection of endangered languages and multimodal rhetoric analysis， etc.. All these issues are believed to be relevant to human cognition and linguistic competence， and thus extend the scope of language study and will grow into a promising research field with good theoretical and applied significance.

Key words： situated discourse； multimodality； corpus； experiencing； situated cognition