多模态话语分析的新发展——《多模态互动分析》述评

管 乐

(中山大学南方学院，广东 广州 )

多模态话语分析的新发展
——《多模态互动分析》述评

管 乐

(中山大学南方学院，广东 广州 )

随着多模态话语分析的发展，著名语言学家Norris在吸收了互动社会学、中介话语分析和联结分析以及多模态话语等方面的研究成果的基础上，撰写了著作《多模态互动分析》。该书以定性分析为主要研究方法，以动态视频录像为研究对象，对交际主体如何通过“言语”、“空间距离”、“身体姿势”、“手部动作”、“头部动作”、“眼神”、“音乐”、“印刷物”、“场景布局”这九种主要交流模态进行了详细的分析，初步构建了多模态互动分析的基本框架。该书不仅在理论和应用上丰富和发展了多模态话语分析研究，还为动态语篇的多模态话语分析研究提供了新的视角，也拓展了多模态互动分析理论研究的范围。

多模态话语分析；多模态；互动

1．引言

随着现代技术的发展，多模态话语冲击了传统上文字在交际领域中的中心地位。在许多情况下，语言与其它符号模态资源一起构建意义，共同为交际服务。随着多模态话语研究的深入，Jewitt (2009)认为多模态话语分析初步形成了以下三种理论方法：即以Gunther Kress和van Leeuwen 为代表的系统功能多模态话语分析(systemic functional-multimodal discourse analysis)或系统功能符号学(systematic functional semiotics)、以Norris 为代表的多模态互动分析(multimodal interactional analysis)以及Gu提出的语料库语言学多模态话语分析。

《多模态互动分析》(Analyzing Multimodal Interaction)一书是由著名语言学家Norris于2004年撰写的，该书吸收了互动社会学、中介话语分析和联结分析(nexus analysis)以及多模态话语等方面的研究成果，其中包括从互动社会学中吸收的“实时”(real time)互动和 “使用中的语言”(language in use)概念、中介话语中强调的“中介行为”以及从多模态研究中吸收的重视音乐、颜色和手势等其他符号的观点。Norris认为人类所有互动都是多模态的。此书以定性分析为主要研究方法，以动态视频录像为研究对象，对交际主体如何通过多种模态进行互动交流进行了详细的分析，强调人们在行动中所体现的所有模态。同时Norris还提出了模态密度前景——背景连续体(modal density foreground-background continuum)的分析框架，此框架对分析复杂的人际互动有重要的指导作用。该书初步构建了多模态互动分析的理论，但国内尚未见到对此书的评述，只有少数评介多模态话语分析的文章提到了此书，本文在介绍该书内容的基础上，对该书进行详细的评述并指出其不足之处。

2．主要内容

该书共八章。在每一章的开头，作者用方框单独列出了该章提到的重点术语及概念，有利于读者更快地了解本部分介绍的重点内容和概念。在介绍完重点内容后，作者还给读者布置了思考题，目的是让读者从多模态的角度去分析互动是怎样产生的。该书语言通俗易懂，运用了大量的实例来验证多模态互动框架的可行性，是多模态话语研究者的必读书籍。

第一章 ，主要指出了多模态互动具有普遍性，即人类的互动都具有多模态特征。作者认为人类互动是通过各种模态的中介作用而开展的社会行动。言语模态和非言语模态(包括手势、姿势、距离、眼神等)在人际交流中都能体现互动意义( interactional meaning)，每种模态都是一套符号系统。言语模态和非言语模态在不同的互动背景中作用不一样，比如言语模态并不是在所有互动中都起主导作用。在本章中作者还提出了多模态互动分析的三个重要观点：第一个观点是在多模态互动分析中，语言、手势、姿势、眼神和物体等不同交流模态是通过不同方式构建的；第二个观点是在多模态互动分析中，不同交流模态具有不同的物质性(materiality)，比如言语既看不见又具有不持久性，但是具有可听的物质性；第三个观点是在多模态互动分析中，需要把互动分析与个人的意识(awareness)分析结合起来。人类互动的多模态分析要考虑到交际主体及参与者的意识或注意的程度，因此作者提出了互动意识(interactional awareness)和注意(attention)这两个术语。在多模态互动分析中需要关注的问题是交际主体及参与者表达的感情、思想和看法以及在互动中传递什么信息、参与者在特定的互动过程中是如何反应的。在此章中作者还运用警察在学校十字路口指挥交通的例子说明了在人类互动中人的认知能力(注意或意识)的不同表现，最后作者介绍了本书的结构。

第二章，作者首先指出多模态互动的基本分析单位“行动”(action)，行动总共分为三个部分，即低一级行动(low-level action)、高一级行动(high-level action)和冰冻行动(frozen action)。人类互动被看作是一个交际事件，整个交际事件可以分成若干个阶段，各阶段都由一系列高一级行动构成，每一个高一级行动由一系列低一级行动构成，低一级行动和高一级行动在互动中被连贯地建构起来；冰冻行动属于高一级行动，包括交际事件发生的环境和环境中存在的物体。然后作者介绍了多模态互动框架中的九种交流模态(communicative modes)。交流模态是带有规律和规则的意义表达体系或符号体系(Norris，2009: 79)。这九种模态分别是语言模态(spoken language)、空间距离(proxemics)、身体姿势(posture)、手部动作(gesture)、头部动作(head movement)、眼神(gaze)、音乐(music)、印刷物(print)和场景布局(layout)。作者认为互动是通过这些交流模态的协同使用而完成的。作者在介绍每一个交流模态的同时都分别用实例分析说明了以上九种交流模态的特点以及在互动中所起的重要作用。

第三章 ，作者探讨了该书的研究方法即多模态转录和视频分析的方法，并指导读者如何完成整个交际过程的转录。其过程首先是完成单个交流模态的转录，然后把出现的两个或多个交流模态的转录过程整合起来，最后把所有交流模态的转录内容结合起来完成整个部分的转录。在本章中作者还结合大量实例对第二章介绍的九种交流模态进行分析，作者发现在转录的视频中多种交流模态在图像中重复出现，说明了互动过程的复杂性。

第四章，是该书的重点。在本章中，作者提出了“模态密度”(modal density)和“模态结构”(modal configuration)两个重要概念。模态密度是多模态互动研究的关键内容(Norris，2009：80)，指的是高一层级行为构建时的模态强度或模态复杂性。模态密度通过模态强度(modal intensity)和模态复杂性(modal complexity)实现。模态强度是指通过高强度地使用某个或某些模态来构建一个行为，根据在构建“高一级行动”中所起的作用，模态强度包括高模态强度(high modal intensity)、中模态强度(mediummodal intensity)和低模态强度(lowmodal intensity)三个部分，任何模态都能体现高模态强度，有时多种模态结合起来也能体现高模态强度，模态强度越高，模态密度就越大。模态复杂性是指“社会行动者”(social actor) 构建行为时所使用的模态数量，模态数量越多，模态复杂性就越强，比如妈妈边看电视边织毛衣时体现的眼神、手势、姿势等各种模态都能体现意义，模态的复杂性强(Norris，2007：61)。Kress和van Leeuwen(2001)指出每一种模态都具有交际功能，模态之间总是不断地相互联系和相互影响的。Norris(2004)提出了另外一个重要概念是模态结构。模态结构是指在构建高一层行动中各模态之间所体现的平等或者上下级的关系，比如以上妈妈边看电视边织毛衣的例子，眼神手势和姿势的地位高于听觉模态。Norris还指出模态强度还与社会行为者的交际情景和环境有关，比如音乐对于舞蹈演员来说属于高模态强度，但是对于交流的其他社会活动者来说，音乐就不属于高模态强度。在本章的最后，作者还提出了模态强度与社会行为者的“注意”(attention)和“意识”(awareness)之间的关系，如高模态强度相当于互动注意或意识(interac-tional attention/awareness)的高一级行动。

第五章，作者用实例说明了在交际中如何判断参与者的“注意”和“意识”的不同程度。在“高一级行动”中，根据交际主体对模态的注意和意识程度的不同，Norris提出了前景化(foreground)、中景化(mid-ground)和背景化(background)三个概念。使用模态密度高，最受行动者注意的“高一级行动”是前景化行动；使用模态密度低，最不受行动者注意的“高一级行动”是背景化行动或中景化行动。前景化、中景化和背景化区别了人们在交际中体现的注意/意识的程度。Norris(2004：97)指出根据事件发生的不同阶段和个人意识表现的不同程度，人类互动被看作是一系列高一级行动的构建。前景化、中景化和背景化这三个阶段不是孤立存在的，因此作者提出了模态密度前景—背景连续体分析框架，这一框架为研究在交际中某一特定时刻同时发生的高一级行动提供了理论基础。基于该框架作者论证了六种同时发生的前景化高一级行动的实例。最后，为了更清楚地描述建构高一级行动时行动者运用的交流模态，Norris提出了模态密度圈(modal density circles)这一概念。在模态密度圈中，各交流模态都使用点状间断式的圆圈来表示，点状间断式圆圈表明模态是没有界限的单位。在具体交际事件中如果以一种模态为主，这种模态越重要，其模态密度圈越大，反之越小。模态密度圈有利于人们更清楚地了解社会行为者在构建高一级行动时所运用的各种交流模态及其重要性。

第六章，作者提出了交流语义学(communicative semantics)和交流语用学(communicative pragmatics)两个重要概念。交流语义学是指同时发生或按序建构的复杂互动意义的系统组织，目的是指出在一系列高一级行动中人们表现出的注意或意识程度(Norris，2004：114)。交流语义结构主要是由凸显的(pronounced)一系列低一级行动组成的，作者把凸显的一系列低一级行动称为手段(means)，手段起着组织和衔接前景化行动的作用。参与者运用一系列不同的低一级行动来建构高一级行动的前景化，由此可以体现出参与者的注意或意识程度。交流语用学是指在实时(real-time)交际中，参与者是如何使用一系列低一级行动来完成交际活动的(Norris，2004：114)。最后作者还运用了实例来说明高一级行动前景化过程中所体现的语义和语用功能。

第七章，作者指出模态密度前景——背景连续体理论能将互动与意识有效地联系起来，认为交际主体能将同时发生或有序发生的一系列高一级行动构建起来，这一框架为参与者在交际中运用多种模态进行定性分析提供了有力的理论支撑(Norris，2004：128)。本章的重点是运用模态密度前景——背景连续体理论框架分析复杂多模态互动的整个过程，并描述多种共时进行的高一级行动，其中包括各种交流模态的体现、模态密度的分析、交际主体注意和意识程度的切分以及高一级行动的前景化过程中所体现的语义和语用功能。作者还结合具体实例验证了该理论框架的可行性。研究发现在复杂的多模态互动过程中，各种交流模态之间存在相互依赖(interdependence)的关系，而不是相互独立的(independence)；交际主体高一级行动的转变会引起其他参与者高一级行动的变化；交际主体参与高一级行动的同时也建构了社会世界(social world)(Norris，2009：137)。

第八章，是该书的总结部分。在本章中，作者再次总结了该书出现的重要术语和概念，包括互动的概念、模态密度、前景背景连续体，并指出了模态密度前景——背景连续体理论分析框架的可行性和局限性。同时从不同的分析领域对本书研究的方向提出了新的想法。从应用语言学的角度，作者指出在互动中需要对语言所起的作用以及交际中使用的模态进行分析；从教育的角度，在学习过程中对学生使用哪种模态更加有效进行了研究；从社会学的角度，提出了高一级行动和交际主体两者之间的关系；从人类学的角度，在不同的文化背景下，交际主体互动的差异是什么？从儿童发展的角度，不同注意或意识程度对儿童习得的交际能力有什么影响？从心理学的角度，互动可以把人的意识、认知与心智结合起来研究。最后，作者对如何构建人物身份和人物关系提出了自己的构想。

3．影响

该书出版十余年来，在学术界产生了深远影响：(1)丰富和拓展了多模态话语分析理论研究的对象，为动态语篇的多模态话语研究奠定了理论基础。O’ Toole (1994)、Kress和van Leeuwen (1996, 2001) 主要是从图像社会符号学分析的角度来研究静态的视觉平面图像，Norris(2004)多模态互动分析的研究对象侧重于动态的多模态话语即动态的视频录像。模态密度前景—背景连续体理论分析框架为分析动态语篇的多模态互动研究提供了坚实的理论基础，通过该理论框架可以更有效地探究动态语篇中交际事件的不同阶段及其模态选择和各模态使用的强度和密度的差异，同时该框架也有助于分析在交际过程中交际主体和参与者是如何将单独的片段信息(separate message)整合构建起来表达完整的信息的。基于多模态互动分析理论，张佐成等(2015)分析了商务会议、电视访谈、学术演讲、商务谈判等不同类型的多模态即席话语，研究发现多模态即席话语模态之间存在互补、反向互补、非互补三种互动机制，比如商务会议和商务谈判中音韵特征和手部动作对语言模态表达意义所起的强调作用以及在学术演讲中语言模态表达的负面信息。(2)借助该理论框架，我们还可以清楚地了解到交际主体是如何构建一系列高一级行动的，这一系列高一级行动是怎样列入前景——背景连续体与其他行动产生联系的。张德禄和王正(2016)在Norris多模态互动理论的基础上，提出了多层次多模态互动分析的综合理论框架，并将该理论框架运用到一堂大学英语课的多模态互动分析中，研究发现教学活动是师生注意的焦点，属于高一级行动，教师的口语模态是占据统治地位的模态，注视、手势和身体姿势与口语模态为协同关系，教师宣布活动指示和教师的检查活动效果阶段属于高模态密度活动。(3)多模态互动课堂教学模式研究成为了课堂教学研究的热点。刘秀丽等(2013)结合Norris多模态互动理论，探讨了外语教师多模态话语与学生学习积极性的关系，研究发现在师生交流时，教师在教学中会运用多种手段(means)将学生的注意力从一个高一级行动转为另一个高一级行动，研究结果证明多模态互动分析理论有利于帮助发现课堂教学中出现的问题，对增强教学效果有重要的指导作用。总之，该书不仅在理论和应用上丰富和发展了多模态话语分析研究，还为动态语篇的多模态话语分析的研究提供了新的视角，也拓展了多模态互动分析理论研究的范围。因此，该书对多模态话语分析理论的完善和发展具有重要意义。

4．启示

Norris(2004)提出的多模态互动分析理论受到Scollon(1998，2001)关于中介话语分析和联结分析的影响，Ron Scollon 认为人类行动(human action)包括三个方面的原则，即社会行动(social action)、交流(communication)和历史(history)，由此Norris提出了行动(action)为多模态互动研究的基本单位，这为了解整个交际事件的发展过程奠定了坚实基础。Norris认为，人类互动是人类以各种形式的模态作为“中介的行动”(mediated action)，在整个交际事件中都可以辨认出其体现的“行动”过程和阶段，通过对模态的注意或意识程度的切分，人类互动的过程是能够辨认出阶段来的，“高一级行动”描述了整个交际事件的主要内容及其所处的阶段，“低一级行动”是构成高一级行动的重要部分，在整个交际事件发展的各个阶段正是由各种模态协同执行的一系列前景化高一级行动构成的，同一交际事件的其他高一级行动仍然存在于社会行动者的意识或注意里，只是被“背景化”或“中景化”了。该书中作者不仅介绍了交际事件中模态的构成，还通过模态密度区分了交际主体参与的一系列高一级行动与其体现的意识或注意程度，交际主体的意识或注意对构建其他高一级行动具有结构作用，一旦确定了高一级行动，就可以根据交际主体意识或注意的变化，进一步研究一个高一级行动是如何影响另一个高一级行动的。在整个交际事件中，各个阶段之间的变化存在过渡，这一部分可使用言语或其他模态来实现。

近20年来，在人际互动中，话语分析已经从单纯的语言研究扩展到包括语言在内的多种模态使用的研究，即多模态话语分析。Norris多模态互动研究与Kress 与van Leeuwen(2001)的研究不同，认为互动是通过“言语”，“空间距离”、“身体姿势”、“手部动作”、“头部动作”、“眼神”、“音乐”、“印刷物”和“场景布局”这九种主要交流模态的协同使用进行的，这九种主要交流模态是多模态互动分析的核心，Norris把这九种交流模态分为表征模态(embodied mode)和非表征模态(disembodied mode)。表征模态是交际主体在交流过程中表现出的模态，如语言、姿势、眼神等。非表征模态是交际主体在交流过程中没有表现出的模态或互动交际中的物质世界，如场景布局、背景音乐等。这两种模态类型的分类体现了在人际互动中交际主体和参与者运用的各种模态类型以及这些模态在构建人际互动中所起的不同作用。

Norris在书中指出人类的所有互动都具有多模态特征，人类互动作为一种社会行为包括语言使用和其他模态的使用，同时需要借助各种模态作为中介来进行，人类互动还是一个连续的动态过程，每一种模态都是一套符号系统，表达其特定意义和潜在意义。在人际互动过程中，根据模态使用的程度，Norris还提出了“模态密度”，“模态强度”和“模态复杂性”等重要概念，这些概念的提出对多模态话语研究者了解人际互动中模态的重要性以及模态之间的关系有重要意义。Norris认为在人类互动中言语模态并不是总起主导作用，人际互动体现了辨认的类型，每个类型都有可辨认的过程，过程的实现可以通过模态的使用来观察。同时每个模态都有其起点、持续阶段和结束阶段的发展过程，这对研究互动过程中模态发展的整个过程有重要的指导意义。从理论上来看Norris(2004)多模态互动理论拓展了人类互动的内涵，丰富和发展了多模态话语分析理论。

5．不足之处

首先，该书提出了模态间自下而上即从低一级行动到人际互动事件的分析层次，从模态密度和模态复杂性的角度对模态的重要性和模态使用的主次方面进行了分析，但是没有对各交流模态在使用过程中产生的意义进行分类。其次该书只涉及到交际主体与参与者在交际事件中各模态之间的互动关系，没有考虑到视频图像中交际主体与观看者之间的互动关系。该书选取的研究对象即视频录像涉及的范围比较窄，主要是围绕生活中朋友之间、师生之间以及医生和患者之间的多模态话语，没有对不同文体风格的动态语篇进行多模态互动分析，如现场商务谈判和现场演讲视频等，如果能增加不同风格的多模态语篇的分析，论证的主体部分将更具说服力。

其次，该书指出了在交际事件中各交流模态之间相互依赖的关系，但是没有明确指出其他的互动关系如强化、弱化等。该书只关注交际主体在互动中产生的情感、观点和想法，没有重视各交流模态的运用对构建交际事件所起的社会意义，同时还忽视了在互动中交流主体所体现的社会身份。Norris的分析方法主要关注的是“内容层”(content layer)，即摄像机采集到的人际互动的视频图像，没有提出一套详尽的对多模态话语进行切分处理的方法。

此外，话语分析往往把语境作为言语发生的背景，借用语境因素来解释各种言语的特点。在多模态话语研究中，模态只有通过根据所处的语境以及所代表的对象(实体、过程、概念等)才能实现意义(张佐成，2015：200)。在该书中，Norris虽然谈到了语境是语言以外的一切事物(Norris，2009:149)，即语言之外的模态被当作语境，语境和语言模态共同作用作为表达意义的资源，背景化的高一级行动实际上是前景化行动的语境，有时候前景化的行动会转变为中景化和背景化的行动，成为新的前景化行动的语境，但是却没有把语境单独列为一个分析层次来进行研究，没有突出语境在整个人际互动中所起的重要作用。从研究方法上来看，该书主要是以定性研究的方法分析多模态互动，Norris认为模态具有不可数性，这是值得推敲的问题。随着科技的发展，ELAN等多模态分析软件工具的开发和使用可以用来分析交际主体所表现出来的各种交流模态，还可以对视频文件进行多层级同步标注，在以后的研究中我们可以运用定性和定量分析相结合的研究方法，对多模态互动中的各交流模态的关系进行更加详细和精确的研究分析。

6．结语

《多模态互动分析》一书语言通俗易懂、结构清晰、内容充实、论证合理。该书是一本研究人际互动中多模态话语分析的实用指南，同时对语言学，社会学、教育学、人类学和心理学等其他学科在这方面的研究具有重要的指导作用。乔治城大学Ron Scollon教授在序言中评价该书将成为研究人类多模态互动的一本重要的参考书。该书中提出的模态密度前景——背景连续体多模态互动分析框架为多模态话语分析提供了新的视角，对研究多模态话语分析提供了新的启示，特别是对动态语篇的多模态互动研究提供了坚实的理论基础。在国内，以Gunther Kress和Van Leeuwen为代表的系统功能多模态话语分析取得了很多成果，但是以Norris 为代表的多模态互动分析理论的应用尚未得到应有的重视，笔者希望在以后的研究中能更多地运用该理论来研究多模态话语和多模态语篇，以拓展了多模态互动分析理论的研究范围，并通过不断的实践来验证该理论可行性和可发展性，推动多模态话语研究的发展。

[1] Jewitt,C.2009.The Routledge Handbook of Multimodal Analysis[M].London and NewYork: Routledge.

[2] Kress, G &T.Van Leeuwen.1996.Reading Images: The Grammar of Visual Design[M] .London: Routledge.

[3] Kress,G &T.Van Leeuwen.2001.Multimodal Discourse: The Modes and Media of Contemporary Communication[M].London: Arnold.

[4]Norris,S.2004.Analyzing Multimodal Interaction: A Methodological Framework[M].NewYork: Routledge.

[5]Norris, S.2007.The micropolitics of personal and ethnicity identity [J].Discourse and Society, (5): 653-674.

[6]Norris,S.2009.Modal density and modal configurations: Multimodal action[A].In C.Jewitt (ed.).The Routledge Handbook of MultimodalAnalysis[C].London: Routledge.

[7] O’Toole, M.1994.The language of Displayed Art[M].London: Leicester University Press.

[8] Scollon, R.1998.Mediated Discourse as Social Interaction[M].London: Longman.

[9] Scollon, R.2001.Mediated Discourse: The Nexus of Practice[M].London: Routledge.

[10] 刘秀丽 张德禄 张宜波.2013.外语教师多模态话语与学生学习积极性的关系研究[J].外语电化教学,(5):3-9.

[11] 张佐成等.2015.多模态即席话语研究[M].世界图书出版公司.

[12] 张德禄 王正.2016.多模态互动分析框架探索[J].中国外语,(2):54-61.

A NewDevelopment of Multimodal Discourse Analysis—A Reviewon Multimodal Interaction Analysis

With the development of multimodal discourse analysis,the famous linguist Norris wroteMultimodal Interaction Analysisbased on interactional sociolinguistics,mediated discourse and nexus analysis and multimodality.This book applies a qualitative analysis as the main research method and the dynamic video as the research object.By the detailed analysis of the nine communicative modes,namely spoken language,proxemics,posture,gesture,head movement,gaze,music,print and layout,it builds the basic framework of multimodal interaction analysis.This book not only enriches and develops the multimodal discourse analysis theory both theoretically and practically,but also provides a newperspective for the study of dynamic multimodal discourse analysis and expands the scope of the study of multimodal interaction analysis theory.

multimodal discourse analysis;multimodal;interaction

H0

A

2095-4891(2017)01-0085-06

本文系2015年广州市哲学社会科学发展“十二五”规划课题“基于多模态话语分析理论的大学英语微课教学研究与实践(项目编号：15G76)；2015年广东高校重大项目：青年创新人才类项目(社科类)课题“基于动态演讲视频的多模态互动机制研究”(项目编号：2015WQNCX190) 的阶段性研究成果。

管乐，讲师，硕士；研究方向：外国语言学及应用语言学

通讯地址：510970广州从化温泉镇中山大学南方学院国际学院