语篇信息分析：多模态语篇分析难题的解决方法

语篇信息分析：多模态语篇分析难题的解决方法

杜金榜

(广东外语外贸大学 国际商务英语学院， 广州 510420)

摘要：多模态语篇分析正成为法律语篇研究的热点之一，但是有关非语言模态信息与语言语篇信息的结合，研究者尚未找到有效的解决方法，这已经成为多模态语篇分析的难题之一。本文尝试采用法律语篇信息分析的方法，基于信息型语料库技术，对多模态信息进行分析并将其与语言语篇信息整合。论述了多模态语篇信息分析的原则、多模态信息的语篇化处理、语篇信息的分析与标注以及多模态信息的整合与调用，并采用非法律语篇实例进行分析和操作。研究表明，从语篇信息角度进行多模态语篇分析是一种可具操作性的方法。该方法除了应用于法律语言学研究外，还可广泛应用于其他相关领域。

关键词：多模态语篇信息分析；语篇化；信息型语料库技术；关联点

收稿日期：2014-12-15

基金项目：国家社会科学基金项目(13BYY088)；广东省哲学社会科学“十二五”共建项目(GD11XWW09)

作者简介：杜金榜(1953-)，男，河南南阳人，教授，博士，主要研究方向为法律语言学。

文章编号：1671-6906(2015)02-0017-07

中图分类号：p15.9

文献标志码：A

DOI:10.3969/j.issn.1671-6906.2015.02.005

Abstract:Multimodal discourse analysis has become one of the hot issues of discourse analysis. However, researchers have not found solutions to the problem concerning the integration of non-linguistic information and linguistic discourse information, which is one of the difficulties of multimodal discourse analysis. The present paper, by attempting the discourse information analysis (DIA) method, on the basis of information-oriented corpus techniques, analyzes multimodal information and integrates it with linguistic discourse information. The process of this study involves the explication of the principles of multimodal discourse information analysis (MDIA), discoursalization of multimodal information, analysis and tagging of discourse information, integration and retrieving of multimodal information. Examples are analyzed for demonstrating the method under discussion. This study shows that it is feasible to conduct multimodal discourse analysis from the perspective of discourse information. When combined with corpus techniques, this approach can be applied to teaching, comprehensive information processing and other pertinent fields.

人类社会交际离不开对不同模态信息的综合运用。随着现代科技的发展，可用于日常交际的媒体手段日益丰富，单纯从语言角度研究已不能有效解决交际问题。因此，多模态语篇分析自上世纪90年代在国外兴起并逐渐受到重视，成为语篇分析领域的一个重要研究分支。近年来多模态语篇分析也得到中国学者的关注[1-8]。

多模态语篇分析的最大难题之一是在不同模态信息之间，尤其是语言模态信息与非语言模态信息之间建立关联。目前人们对非语言模态信息的规律知之甚少。尽管有关视觉语法[9]、多模态转写[10]的尝试有助于对非语言模态信息传递的了解，但由于多模态语篇变化十分丰富，因此它比语言语篇研究的难度更大，建立多模态信息间的关联就成了困扰语言学家的一个难题。

语言在人类交际中常占据中心地位，人类交际的核心是传递信息、处理信息，因此，对语言研究者来说，从语言语篇出发研究多模态信息间的关联，可谓首选。本文采用法律语言学的语篇信息分析方法，阐述多模态信息间，特别是非语言模态信息与语言语篇信息之间的关系，通过普通语篇实例，提出多模态语篇信息分析的方法，展示具体的操作过程和广阔的应用空间。

1多模态语篇分析的难题及解决方法

1.1多模态语篇分析的难题

1.1.1多模态语篇的相关定义

由于多模态语篇分析尚处于初创时期，研究者对相关的术语尚未达成统一意见，以致形成混乱。这些术语中，模式(mode)、媒体(medium)、多模态(multimodal)、多模态性(multimodality)、多媒体(multimedia)的使用频率最高，也最容易引起分歧。O’Halloran K L认为，“……该研究领域被统称为‘多模态’，‘多模态’主要是指多种模式(如口头、书面、印刷和数字媒体、所体现的行为以及三维材料的物品和场所)，通过这些，社会符号得以发生。”[11]多模态是指信息传递的方式，这一观点见于诸多研究[12-15]。

O’Halloran K L将符号资源定义为“通过感官模态(如视觉、听觉、触觉、嗅觉、味觉、肌肉运动觉)在多模态文本、语篇和事件等所谓的多模态现象中整合的资源(或模式)(如语言、图像、音乐、手势、建筑)”[16]。此处O’Halloran K L特别强调，多模态不仅包括不同模式，也包括各种感知渠道。这正好印证了Hurdley R和 Dicks B所说的情况，“符号学家开始从语言和稳定的意义系统的核心旁移，而民族志研究者也日益清楚地认识到非语言多感官现象的重要作用。”[17]Peeters H认为，“多模态产生于符号和感知域的交互”[18]。

根据研究者对多模态定义的不断拓展，多模态指基于不同媒体、不同模式和感官渠道处理信息的过程。其中模式指交际的方式，如口头、书面、手势、身姿等；媒体指交际的物质手段，如文字、图像、音乐、建筑等；感官渠道指处理信息时所涉及的听觉、视觉、触觉、嗅觉、味觉等感官。

1.1.2多模态语篇分析的角度

截至目前，功能语言学角度的分析在多模态语篇研究中占主要地位，成果最为突出[9-10,12,15,19-20]。功能语言学角度的分析主要从语言的三大元功能(meta-function)出发，偏重理论角度的论证，强调功能语言学在多模态分析中的有效性。

此外，多模态与技术[21]、多模态与认知[22-23]、多模态与语用[24]、多模态与体裁分析[25]、多模态与语料库语言学[26]等角度的研究也逐渐展开，使多模态语篇分析的理论视角和内容更为丰富。

Bateman J A等提出，“此前的大多数分析均基于主观印象，难以证实。”[27]他们呼吁展开基于语料库的多模态语篇分析。由于语料库便于处理大量且种类不同的信息，因此受到特别关注。Blache P等从多模态角度报告了收集、标注语料和使用对话语料库的研究过程，涉及语音、词素、句法、韵律、语篇和手势等信息的处理和处理机制的建立[28]。Kipp M等收集的文章则覆盖了多模态语料库材料的收集和发布、标注和分析、效度研究、跨文化角度研究以及语料浏览、标注、交换所用的工具等[29]，涉及技术相当全面。

1.1.3局限性

目前，语言学领域的多模态研究尚未有系统的分析方法。视觉语法是一种比照语言语法分析的有益尝试，但还不能有效描述比语言语法更为复杂多变的视觉语篇的“语法”结构。社会符号学角度的多模态研究着重功能语言学理论的应用，局限于理论思考和套用，还不能有效解决实际问题。

目前的多模态语篇分析的最大难题之一是非语言语篇与语言语篇如何建立联系。非语言语篇如果不和语言语篇有效整合，相关信息往往无法有效处理。例如，在语言教学中如何有效地使用多模态资源，往往成为课程设计的难题。语篇间如何建立联系以便整合非语言语篇和语言语篇，这一问题在多模态语篇与语料库语言学的结合研究中得到了阐述，但尚未找到系统的方法。

1.2多模态语篇分析的解决方法

语篇信息理论[30-35]为多模态语篇分析提供了一种解决方法。该研究以法律语篇树状信息结构模式(树状模式)[30]为基础。信息是“能够构成用于交际的最小完整意义单位的命题”[36]，一个命题就是一个信息单位。语篇中的所有信息构成一个树状层级系统，每个语篇只有一个核心命题，逐层发展，各层信息单位都与其上层信息单位具有某一方面的关系，如原因、依据、地点、时间等，这些关系称作信息(节)点。所有语篇中的信息点共15类，即何因、何据、何地、何时、何事、何事实、何推断、何处置、何人、何方式、何效果、何条件、何态度、何变化、何结论。这是语篇的宏观信息结构。

相对于宏观结构，语篇信息的微观结构是指信息单位的内部结构。一个信息单位可解析为三类信息成分：个体、过程和环境。每类信息成分有若干子类。在微观信息结构层次，每一信息单位均可进行具体分析，还可以和语言表层联接。

法律语言学领域的语篇信息研究近年来得到了持续发展，目前已有诸多理论模式推出，如上述的宏观结构模式、微观结构模式以及互动模式[36]、隐性说服模式[37]、调解说服模式[34]、信息框架模式[33]、信息四桥模式[35]、多模态信息认知教-学模式[7]等。

语篇信息理论认为，语篇信息处于语篇语言表层和语篇认知底层之间，上下通达，而且具有相对稳定和显性的特点，易于分析。其稳定性能保证跨语篇、跨语言的分析；其显性特点能为具体的分析和应用提供便利，例如信息的内容体现为具体且可计数的信息单位。

由于语言语篇和非语言语篇的最主要功能都是传递信息，从信息结构入手，即可抓住这些语篇间的本质联系。以语言语篇为参照，以语篇信息为纽带，多模态语篇分析就有规律可循，就有了坚实的基础。

2多模态信息的分析原则和语篇化处理

2.1多模态信息的分析原则

在多模态语篇信息分析中，需要坚持信息主次划分的原则。人们在社会交际中处理的语篇都是多模态的[21]，但是在单位时间内，交际目标和目的相对单一，因此，所处理的信息总是有主有次。例如，演讲时，演讲人用口头表达的信息是主体信息，而用手势、表情、走动、播放视频等表达的信息则是次要的。用口头表达的信息中，语言信息是主体信息，副语言和非语言信息则起辅助作用。不过，随着临时性交际目标的调整，演讲人也会根据特别需要提升某种信息的地位，使其成为主体信息。此外，还应兼顾可能的信息主次转化。

在进行信息分析时，需要遵守信息转换和统一的原则。应重视信息转换的必然性和信息统一的必要性。信息在交际中不断发生转换，这一现象基于人们的认知基础和人类与世界事物的基本联系。即使全采用非语言手段进行交流，交际者在处理信息时仍然要诉诸于语言，对事物进行解读，将信息编织到语言语篇中。而在表达信息时，会采用非语言方式。这些过程均涉及信息的转换。信息的转换源于交际的需要。

进行多模态语篇信息分析应坚持信息分析的认知原则。认知是信息的基础。在多模态语篇信息分析中，有些信息的变化较为复杂，需要依据认知层面的分析才能把握信息的本质特点和规律性。信息认知过程研究、信息与心理研究、信息的社会认知规律研究等，则直接需要认知层面的分析。

进行多模态语篇信息分析需兼顾实用性。多模态语篇信息分析目前的最大任务之一是为有效的多模态信息处理找到可行的方法，以便解决社会交往中的实际问题，提高信息处理的效率。

2.2多模态信息的语篇化处理

基于如上的宏观思考，以下阐述多模态信息分析过程的各主要环节，以一个电视节目片段的视频作为例子。该片段是中国中央电视台第10频道《走近科学》栏目2011年7月22日播出的有关动物保护的节目的引子，相对独立于该节目的正文，可以看作一个独立的语篇。

2.2.1多模态信息的类别划分

多模态信息类别的划分是语篇化处理的第一步。首先将每一独立信息块看作一个语篇，然后将所有信息划分为有限的类别。划分时需要区别主语篇与辅语篇、语言语篇与非语言语篇、单模态语篇与多模态语篇，以及所属的具体模态类别。主、辅语篇划分的依据是信息在交际中所起的作用，起主要作用的是主语篇，否则即为辅语篇。语言语篇指用语言形式表述信息，非语言语篇指用语言以外的其他形式表述信息。单模态语篇中仅涉及一种模态的信息，多模态语篇中包括两个或多个模态的信息。多模态信息可按照听觉、视觉、触觉、嗅觉、味觉、运动觉划分为6种。

以上分类以主辅语篇为主线，首先划分主、辅语篇信息，再分别划分语言语篇和非语言语篇信息，语言语篇和非语言语篇信息可分别再分为单模态语篇或多模态语篇信息，多模态语篇再分为听、视等模态信息。上例中，电视节目由多模态信息块组成，主持人讲解内容是主语篇，结构完整、连贯，主题突出，没有明显的空白。视频是起辅助作用的辅语篇，各部分内容构成一个整体，与讲解内容的时间同步。主语篇是语言语篇，辅语篇为非语言语篇；主语篇主要由听觉模态构成，辅语篇则主要由视觉模态构成。

2.2.2多模态信息的语篇化处理

多模态信息的语篇化处理主要是指将非语言信息作为语篇进行结构分析，侧重的是信息内部各种成分间的相互关系。根据如上分类，首先确定主语篇。如果主语篇是非语言语篇，则需确定是单模态或多模态语篇；如果主语篇是多模态语篇，需要确定其中何种模态是主模态。分析时一般按照主辅顺序，但若主语篇是语言语篇时，也可先初步分析辅语篇。

上例中，辅语篇的分析步骤如下：①确定语篇的主题(救治和喂养白鳍豚)；②确定切入点(救治白鳍豚)；③确定语篇中各个部分与主题的关系(湖边救护、医学救治、喂养、治疗等构成救治和喂养的主要环节)；④确定语篇中各个部分的相对顺序(时间顺序为主，空间次之)；⑤确定语篇中所有部分的线性顺序的排列方式(时间、空间、主次等)；⑥用语言转写或标注各个部分的具体内容(如用CLIPS规范分析、标注)；⑦标注各部分的质量、强度等以及所占空间范围及时间；⑧用语言语篇结构形式表述该语篇的结构；⑨建立语言语篇与原模态材料的关联(用CLIPS规范标注视频对应的起始位置)。

多模态信息的语篇化需遵循如下原则：①语篇的统一性原则。即每个语篇仅确定一个主题，各部分信息均与主题有关。②客观性原则。解读信息应保证普遍可接受性，遇到难题无法确定时，应通过实验、调查等方法确定。③自然顺序原则。对于图片等非线性视觉材料，由于视点不同，人们对各部分信息的安排顺序看法也会不同，需要遵照普遍接受的自然顺序确定顺序的排列。上例中某些画面，由于内容较为丰富，按照时间尚不能确定顺序，因此也遵照了自然顺序原则，通过判断主次确定了顺序。④完整性原则。尽量对所有信息进行解读并标示，避免遗漏，这有利于分析结果的广泛应用。

2.2.3多模态语篇间的信息关联

所有模态信息的语篇化完成以后，即可着手建立语篇间的信息关联。主语篇的信息结构是建立语篇间信息关联的依据。根据辅语篇与主语篇的基本关系，可以确定辅语篇与主语篇的主要信息关联，然后即可确定各辅语篇间的信息关联。通过此分析，各个语篇可以整合到一个大的语篇中。

建立信息关联需要具体考虑各语篇主题间的相互关系以及各辅语篇主题与主语篇主题的关系，即各语篇的内容之间存在的必然联系。由于各语篇的作用不同，辅语篇与主语篇的关联程度不一，因此，所得到的关联系统具有层级性。每一语篇的主体信息在此系统中需有明确的定位。做关联分析时，需要将各辅语篇与主语篇的关联程度以及辅语篇间的相互关联程度一一明确标示。可将关联程度分为若干层级，若辅语篇a的级别为1，标示为a(1)，表示该辅语篇与主语篇的关联度最高，以此类推。例如，a(1)、b(2)、c(1)、d(2)、e(3)表示5个辅语篇，其中处于第一层级的有2个，第二层级2个，第三层级1个。关联层级表示辅语篇相对于主语篇的重要性程度，但并不表示其语篇的长度、复杂度等。依据关联层级可以确定辅语篇分析的先后顺序，重要的辅语篇将优先分析。本文所分析的例子中，辅语篇仅有1篇，因此仅有a(1)1个层级。

3语篇信息的分析与标注

3.1主语篇的信息分析与标注

如上所述，主语篇分为语言语篇以及由非语言信息或者涉及非语言信息的语篇处理而成的语篇。主语篇需要优先分析，以方便辅语篇的准确定位。根据语篇树状信息结构模式[30,36]，分析时需要对全篇的信息单位一一划定，确定信息点类别，即信息单位相互之间的关系，然后在语篇信息结构中予以体现。这与普通的语言语篇的信息分析和标注基本相同，不同的是对经处理得到的语篇需要加注多模态符号。

分析标注主语篇时需要考虑插入点，即需要插入辅语篇信息参数的位置。由于辅语篇尚未分析，辅语篇相关信息的具体值未知，所以此时考虑插入点，主要是为了保证主语篇信息分析能兼顾辅语篇，也便于用辅语篇信息及时校正对主语篇的分析。如下所示：

上例中第一行尖括号内的最后一个字符‘？’表示信息插入点，辅语篇与此主语篇链接时，辅语篇中对应的信息标识将取代该字符。

3.2辅语篇的信息分析与标注

辅语篇信息的分析和标注首先需要参照主语篇的分析结果，需要关照该语篇与主语篇的信息关联，并以此为主线划分信息单位，确定信息点类别。辅语篇多由非语言信息转换处理而来，模态信息丰富，分析的重点是模态信息的有效解释和标示，模态信息分析和处理需要与语篇间的信息关联相符。

主语篇分析时所考虑的插入点对辅语篇信息单位和信息点分析具有指引作用。辅语篇信息分析需要考虑和两个系统的关系，即具体信息在辅语篇内部信息系统中的定位，及其如何融入主语篇信息系统。分析时，尚需对主语篇中的插入点进行校正，并要考虑辅语篇与主语篇的关联点是否准确。

3.3语篇间信息关联的分析与标注

通过对主语篇和辅语篇的信息分析，语篇的信息结构以及主、辅语篇间的关联便可建立。在信息关联分析和标注阶段，这些关联将得到细化和系统调整，并予以标注。

信息关联分析和标注的步骤如下：①进行主、辅语篇交叉分析，确定所有相关联的信息点；②罗列主语篇中的所有插入点和辅语篇中的所有关联点；③对插入点和关联点进行系统性调整和优化；④在主语篇中标注所有插入点及对应的关联点标识；⑤在辅语篇中标注所有关联点及对应的插入点标识；⑥检查主语篇中的插入点和辅语篇中的关联点的对应性。

在分析中会遇到一些困难。有时，一个插入点可能有两个或多个关联点。这时，需要首先确定这几个关联点的层级，属于同一层级的关联点是平行关联点。平行关联点可按时间、空间等排列先后顺序。此时，关联点标为同级，并附上序号。

关联点与插入点匹配后，在新语篇中的位置与其在辅语篇中的位置有较大差别，如在辅语篇信息结构中处于第三层级，而在匹配后处于新语篇的第五层级。这需要对辅语篇进行重新校对或调整。信息关联标注完成后，主语篇中的内容更为丰富，与标注前不同，可以看作新生成的语篇。如下所示：

(

……)

注：尖括号内“1,2,0:0:0,0:2:2;C.W.1001,0,1,1,2,0:0:44,0:0:50”开头的“1,2”是本语篇所对应的模态标识(1为听觉，即声音；2为视觉；3为触觉；4为嗅觉；5为味觉；6为运动觉)和模式类别标识(如：1为音乐；2为语言；3为图片；4为视频；5为实物；等等),“0:0:0,0:2:2”是此信息单位对应本语篇原始材料片段的时间始点(即“时：分：秒”)和终点，其余部分是辅语篇关联点标识。“C.W.1001”是辅语篇索引号，“0,1,1,2”是辅语篇中关联点的层级索引号，其后的“0:0:44,0:0:50”是对应辅语篇视频段的时间始点和终点。

上例中圆括号内是辅语篇关联点的实际内容，在插入点插入关联点，就等于把辅语篇的这些相关内容整合入主语篇，因此，经过关联标注的主语篇实际上已经成为新的语篇。

4多模态信息的整合与调用

4.1语篇信息结构间的整合

语篇间信息的关联建立后，尚需要对新语篇的信息结构进行梳理，并对此新结构进行分析，以便确定所有语篇间的关系是否完整、合理、清晰。新语篇不是一个单一的语篇，而是一个具有复杂结构的复合语篇；新语篇所关联的辅语篇可能自己又有辅语篇。因此，新语篇是一个语篇系统，在此系统中，有些语篇通过自己的主语篇与新语篇的主语篇间接关联，有些则作为自己系统内的主语篇与新语篇的主语篇直接关联。这样，在新语篇中追踪单个信息单位，就会涉及来自多个语篇的若干层级的信息。

4.2信息单位的相互链接

整合到新语篇的信息单位，应与新语篇的结构有密切、合理的关系，因此需要对信息单位的相互链接情况进行宏观分析和微观分析。宏观分析主要侧重于信息单位在语篇整体结构中的位置。做微观分析时，不仅需要分析新语篇中的单个信息单位，而且需要分析与新语篇间接关联的信息。

4.3整合后信息结构的优化

整合后应对新语篇的信息结构进行全面优化，这是多模态语篇信息实质分析的最后环节。优化内容包括：主语篇与辅语篇的关联、语篇间信息的关联、新语篇的宏观和微观结构、新语篇系统中各个语篇的所有参数等。分析过程中产生的记录和描述也应随之更新。

4.4多模态信息分析结果的评价

为了保证分析的质量，需要对分析结果进行评价。评价可重点考虑效度和信度两个指标。前者指所做的分析是否真实反映了原有语篇的主要特点和规律，后者指所做分析的可靠性程度。效度分析的考察目标主要是语篇的关联类别、信息结构的层级处理、信息有无不必要的变化(增加、遗漏、不对应、重复等)、所使用的各种参数是否完整等。

信度分析主要依靠专家审核。对批量分析的结果，抽取适当样本，交由多位专家分别审核，并对专家意见与分析结果的差别进行分析，确定分析的结果是否达到信度要求。

4.5多模态信息的调用

多模态信息的调用是对分析结果的具体应用，涉及信息结构的调用、主从信息调用、信息单位调用、信息点调用等。

调用新语篇的整个信息结构，需要确定结构的细度，即主语篇的最低层级，以及各相关辅语篇的对应层级。主从信息调用具有较重要的用途。根据主语篇的信息处理需求，用插入点的关联信息参数可以将辅语篇关联点的信息调出。一般情况下，在调用辅语篇关联点信息时，还需要同时调用辅语篇所对应的原材料中的相关部分。

信息点调用主要是为了确定信息单位间的关系以及主语篇与辅语篇的信息关系。信息点调用主要涉及经过语篇化的信息，未经语篇化的信息也可连带调用。例如，在CLIPS系统中，调用一个课件的主文档，可以连带调用视频等资料，并按设定的方式自动播放。调用信息点时，可以遍历新语篇系统中的所有信息树；必要时，可使用信息点所带参数调用辅助性内容。

5结语

本文针对多模态语篇分析的困难，分析论证了信息分析的方法。讨论内容包括信息分析的原则和语篇化处理、语篇信息的分析和标注、多模态信息的整合等，覆盖了多模态语篇信息分析的全过程。为了展示该方法的实用性，也讨论了多模态信息的调用。有关具体的操作，提供了分析样例。研究表明，信息分析是多模态语篇分析的有效方法，具有理论依据和可操作性。

语篇信息分析(DIA)是语篇分析(DA)的一个新视角，多模态语篇信息分析(MDIA)是这种新的理论视角在多模态分析方面的应用。从以上的分析论证可以看到，该方法从语篇信息结构分析入手处理多模态信息，依据语篇信息理论，将十分庞杂的多模态信息整合为有序的语篇信息系统，可以解决多模态语篇分析的难题。同时，采用信息型语料库技术，对信息要素进行标注，为随时调取信息提供了条件，提高了语篇分析的实际应用价值。

多模态语篇信息分析给语篇分析领域带来了新的研究视点，使语篇分析冲破了纯语言研究的藩篱，得以和非语言研究，尤其是信息处理研究相结合。这也给语篇分析提出了新的研究任务，诸如不同模态语篇特点研究、不同模态语篇信息的整合等，能推动语篇分析的进一步发展。

多模态语篇信息分析可操作性强，适用于语篇分析、语言教学、信息处理等领域的研究和实践，有广阔的应用空间。随着丰富的媒体手段的运用，教学活动中涉及综合信息处理的情况越来越多，多模态信息处理对于教学，尤其是语言教学改革具有十分重要的作用。多模态语篇信息分析也可为综合信息处理提供有效方法。

参考文献：

[1]顾曰国. 多媒体、多模态学习剖析[J]. 外语电化教学, 2007(2): 3-12.

[2]朱永生. 多模态话语分析的理论基础与研究方法[J]. 外语学刊, 2007(5): 82-86.

[3]王立非,文艳. 应用语言学研究的多模态分析方法[J]. 外语电化教学, 2008(3): 8-12.

[4]张德禄. 多模态话语理论与媒体技术在外语教学中的应用[J]. 外语教学, 2009(4): 15-20.

[5]胡壮麟. 多模态小品的问世和发展[J]. 外语电化教学, 2010(4): 3-8.

[6]杨信彰. 多模态语篇分析与系统功能语言学[J]. 外语教学, 2010(4): 11-14.

[7]袁传有. 多模态信息认知教-学模式初探[J]. 山东外语教学, 2010(4): 10-18.

[8]Du Jinbang. Application of Multimodal Information Corpus Techniques[J]. International Journal of Law, Language & language & Discourse, 2012, 2(4): 19-38.

[9]Kress G， Van Leeuwen T. Reading Images: The Grammar of Visual Design [C]. London: Routledge, 2006.

[10]Baldry A, Thibault P J. Multimodal Transcription and Text Analysis[M]. London: Equinox, 2006.

[11]O’Halloran K L. Multimodal Analysis and Digital Technology [C]//Baldry A, Montagna E. Interdisciplinary Perspectives on Multimodality: Theory and Practice. Proceedings of the Third International Conference on Multimodality. Campobasso: Palladino, 2008: 1-26.

[12]Baldry A. Multimodality and Multimediality in the Distance Learning Age [C]. Campobasso, Italy: Palladino Editore, 2000.

[13]Cope B, Kalatzis M. Multiliteracies: Literacy Learning and the Design of Social Futures[C]. Melbourne: MacMillan， 2000.

[14]Jewitt C， Kress G. Multimodal Literacy [M]. New York: Peter Lang, 2003.

[15]Kress G, Van Leeuwen T. Multimodal Discourse: The Modes and Media of Contemporary Communication [M]. London: Arnold, 2001.

[16]O’Halloran K L. Multimodal Discourse Analysis[C]//Hyland K, Paltridge B. Companion to Discourse Analysis. London: Continuum, 2011: 120-137.

[17]Hurdley R, Dicks B. In-between Practice: Working in the “Third Space” of Sensory and Multimodal Methodology [J]. Qualitative Research, 2011 (3): 277-292.

[18]Peeters H. Multimodality and Its Modes in Novelizations [J]. Image & Narrative, 2010, 11 (1): 118-129.

[19]O’Halloran K L. Multimodal Discourse Analysis [M]. London/New York: Continuum, 2006.

[20]Bateman J A. Multimodality and Genre: A Foundation for the Systematic Analysis of Multimodal Documents[M]. Basingstoke UK/New York: Palgrave MacMillan, 2008.

[21]LeVine P, Scollon R. Discourse and Technology: Multimodal Discourse Analysis [C]. Washington D C: Georgetown University Press, 2004.

[22]Habel C, Acarturk C. Eye-tracking Evidence for Multimodal Language-graphics Comprehension: The Role of Integrated Conceptual Representations [C]//Navarretta C, Paggio P, Allwood J, et al. Proceedings of NODALIDA 2009: The Workshop on Multimodal Communication-from Human Behaviour to Computational Models (Vol. 6). Odense, Denmark: Northern European Association for Language Technology (NEALT), 2009: 9-14.

[23]Forceville C, Urios-Aparisi E. Multimodal Metaphor[M]. Berlin: Mouton de Gruyter, 2009.

[24]Hoye L F, Chan L S W. Pragmatics and Multimodal Discourse: The Verbal-visual Interface[C]//Proceedings of the 10th International Symposium on Social Communication. Santiago de Cuba: The Centre for Applied Linguistics, University of Santiago, 2007: 253-256.

[25]Allen P, Bateman J A, Delin J. Genre and Layout in Multimodal Documents: Towards An Empirical Account [C]//Richard Power, Donia Scott. Proceedings of the AAAI Fall Symposium on Using Layout for the Generation, Understanding or Retrieval of Documents. Massachusetts: AAAI Press, 1999: 27-34.

[26]Thomas M, Delin J, Waller R. A Framework for Corpus-based Analysis of the Graphicsignalling of Discourse Structure[C]. Paper Presented at Multidisciplinary Approaches to Discourse, Moissac, France, 2010.

[27]Bateman J A, Delin J, Henschel R. Multimodality and Empiricism: Preparing for A Corpus-based Approach to the Study of Multimodal Meaning-making [C]// Iventola E, Charles C, Kaltenbacher M. Perspectives on Multimodality. Amsterdam: John Benjamins, 2004: 65-87.

[28]Blache P, Bertrand R, Ferré G. Creating and Exploiting Multimodal Annotated Corpora: The ToMA Project [C]// Kipp M, Martin J C, Paggio P, et al. Multimodal Corpora: From Models of Natural Interaction to Systems and Applications, Tools for Browsing, Coding and Exchanging Data in Multimodal Corpora, Springer, 2009: 38-53.

[29]Kipp M, Martin J C, Paggio P, et al. Multimodal Corpora: From Models of Natural Interaction to Systems and Applications[C]. New York: Springer, 2009.

[30]杜金榜. 法律语篇树状信息结构研究[J]. 现代外语, 2007(1): 40-50.

[31]杜金榜. 论语篇中的信息流动[J]. 外国语, 2009(3): 36-43.

[32]潘小珏,杜金榜. 庭审问答过程控制中的信息流动[J]. 外国语, 2011(2): 56-63.

[33]陈金诗.控辩审关系的建构——法官庭审语篇处理的框架分析[M].北京：科学出版社, 2011.

[34]徐优平. 语篇信息视角的中国法院调解说服实现研究[M].北京: 科学出版社,2013.

[35]赵军峰. 法律语篇信息结构及语言实现研究-汉英语篇对比分析[M].北京: 科学出版社，2011.

[36]杜金榜.从层级性信息的处理看法庭交互中态度指向的实现[J]. 解放军外国语学院学报, 2011(1): 7-12.

[37]杜金榜.司法语篇隐性说服研究[J]. 现代外语, 2008(3): 253-262.

(责任编辑：张同学)

Discourse Information Analysis: A Solution to the Problem of

Multimodal Discourse Study

DU Jin-bang

(Guangdong University of Foreign Studies, Guangzhou 510420, China)

Key words:multimodal discourse information analysis; discoursalization; information-oriented corpus technique; connector