模态与在线交际话语——基于即时通讯多模态语用框架的分析

张晓燕

(集美大学 诚毅学院， 福建 厦门 361021)

随着网络技术的发展，基于网络新媒体的交际平台蓬勃兴起，内容更丰富、联系性及操作性更强的Web2.0互联网模式业已成为当今互联网发展的新趋势。互联网中介交际(Computer-mediated communication，CMC)给语言使用创造更多空间。学者们对CMC的研究也从不同研究界面着手讨论，如网络聊天室非语言交际研究[1]；从功能语言学和符号学角度对CMC中语言符号的分析[2]；对网络交际中表情符号的分析[3]；用社会语言学中语言变体和言语社区理论对网络用语的语音、词汇、句法和语用等方面进行分析。[4]而Yus也最早于2001年提出“网络语用学”(Cyberpragmatics) 用于互联网中介交际(Computer-mediated communication，CMC)的认知语用学研究，并将兴趣关注于分析网络环境下信息的生成和解释以及用户获取语境信息的方式。[5]此后从语用学视角探讨网络交际互动(如参与方式)与人际语用关系的研究层出不穷，如冒犯的语用研究[6]、 网络话语的礼貌现象。[7-10]而随着互联网技术的迅猛发展，网络线上交际方式从初期的论坛、聊天室变成以QQ、Wechat、MSN等代表的即时通讯软件(Instant Messenger，简称IM)，形成大众网络交际的主要方式。

即时聊天受种种技术限制，呈现出网络交际的新形态和社交关系。学界对网络在线交际互动形式也着重探讨话轮特点或话轮的转换或会话中隐喻的生成[11]；也有探讨话轮特点并分析话轮转换规律及连贯的实现方式[12]；还有通过从传介方式角度考察网络聊天示情手段以及介入方式对不同语体示情手段的制约作用[13]，但较少从多模态角度探讨网络中介交际的话语语用问题，较少探析交际中话语在多种模态的协同作用下的生成。冉永平等指出，未来网络交际研究(如礼貌现象)出现与多模态交接趋势，后者为其带来多路径和多维度的研究方法。[14]陈新仁、钱永红也认为基于现有语用学理论框架的分析关注的都只是语言本体对交际的影响，而缺乏考虑其他符号信息特别是非语言因素对意义构建的影响。[15]语用学有必要引进多模态分析法，可以此来丰富语用分析特别是关于语言使用的客观描写，可以更加清晰地揭示非语言符号信息在意义建构和理解中的作用。[15]笔者借鉴系统功能语言学理论框架，从即时交际出发，尝试构建适用于网络语用学分析的即时通讯的多模态语用分析框架，并探讨模态与在线交际话语的语用关系。

一、 即时通讯多模态话语分析理论基础与语用分析框架

正如上述所言，得益于科学技术和现代交流媒介的发展和广泛使用，多模态话语越来越多地得到关注。多模态话语/语篇(multimodal discourse)是一种融合了多种交流模态(如文字、声音、形象等)来传递信息的语篇。[16]20多模态话语分析始于20世纪90年代，其理论的代表人物Kress &Leeuwen曾指出：“多模态就是运用几种符号学模态(semiotic modes)，或综合使用几种符号学模态来增强同种意义的表达，或行使补充功能，或进行有层次排序。”[3]7其判断标准主要有两种：(1)看话语关涉的模态种类有多少。仅使用一种模态的话语叫做单模态话语，而同时使用两种及以上模态的话语叫做多模态话语。(2)看涉及的符号系统有多少。有些话语虽然仅涉及一种模态，但包含两个或两个以上的符号系统，如绘本虽然只涉及视觉模态，但既有文字又有图画。还有手势语、面部表情和身势语等副语言(paralanguage)，我们也可以把它当做一种模态。[17]

在互联网中介交际中，即时通讯也具有多模态话语特性，即时通讯话语中常有两个及以上符号系统，其中包含文字、多种图画符号或输入语音音流、嵌入超级链接，而手势语、面部微表情和身势语之类的副语言(paralanguage)则是具象化为一种表情符号融入文本语言交流中。在日常面对面交流中，发话者经常通过副语言(paralanguage)因素(如音调、语速、沉默等)或非语言因素(表情、动作等)来进行明示，听话者则可以从对方的明示信息来对话语进行衍推和理解。而在网络p-c-p(person-computer-person，人-电脑-人)交际中，交际者可以借由具象化的副语言(各种情感符号等)来取代肢体语言进而传递语言信号。通过构建不同的语境，经由不同的模态来促成话语的意义。在多模态文本中，接收者需调动多重感官汲取多种模态形式的外部符号，同时通过这些不同感官模式获得的信息，彼此之间也会进行(有效的)互动，或者形成某种形象作为文字文本的部分，或者文字文本形式生成形象文本形式等。[18]尽管多种模态取代单一模态，使得原本话语分析更为复杂，然而不同模态的话语却是相互联系、相辅相成的。

随着交流渠道与媒介的多样性和语言的多元性发展，语篇在表征和交流上更是呈现出多语式(multi-modal)特征。因此，理解多语式话语无疑已成为一种不可或缺的能力。基于张德禄的多模态话语分析性框架以及陈新仁的多模态语用分析框架，我们提出了即时通讯多模态语用分析框架(见图1)。

图1 即时通讯多模态语用分析框架

笔者对即时通讯交际进行多模态话语分析并探讨多模态因素在交际中与语言层面的关系。试回答如下问题：

1.多模态因素是如何协同参与即时通讯交际的？ 各模态呈现什么特点？

2.模态与话语之间有何关系？

二、 研究设计

(一) 语料搜集

本研究提取五个活跃度高、代表性强的QQ群或微信群，除私密群外，其余群人数皆为300人以上，分别为社区交流群、教师资源分享交流群、学生学习交流群、工作交流群、密友交流群。从交际内容看，语料来自学习、工作、社区生活、个人生活和信息的分享交流等五方面的交际。我们从中随机采集共计2 802条聊天记录。 每个群提取纯文字部分另建文档，进行统计(见表1)。

表1 即时通讯群数据统计表

(二) 研究方法

我们采用了语料分析法，作了两方面处理。首先利用同步助手软件(v3.4.7_32bit版本)将微信和QQ群的聊天记录导出到相应的EXCEl文本中，并清理个别空白对话，然后根据原聊天记录和媒介因素在类型上进行识别性标注(类型分为网页、视频、照片壁纸、文本、名片、表情、动画表情、公告、文件、音频，其中网页即超链接，照片壁纸即图片，名片和公告属于超链接)。最后根据互补(强化q、凸显t、说明s、表态b)和非互补关系(类比l、冲突c、交互j)，观察分析模态间的互动关系并利用EXCEL表格进行统计(这里主要研究文字模态外的其他模态与文字模态关系)。比如某话语为照片壁纸类型，它在交际中属于说明关系，那就标记为“照片壁纸s”。

(三) 语料统计与对比分析

对语料统计观察后发现如下特点：五个聊天群中，QQ群和微信群都是文字模态最多，其次为表情符。模态的使用与聊天内容和交际者身份有着较大的关系。除了文字模态，生活群里以表情符模态最多。而在资源分享群里由于建群的意义在于资源的分享与讨论，所以超链接的输出最为显著。密友群里则是表情和图片居多，也有出现音频模态，说明语音的输出跟成员的亲近关系有一定关系。在学生群和工作群中，字号字体和色彩的模态输出尤为显著，这与QQ聊天工具有改变字体字号和色彩的功能有关，也反映学生群里交际者乐于使用不同的色彩和字号字体表现个性，抒发情感(见表2)。

表2 各模态的呈现数量与占比

三、 讨论与分析

(一)顺应论

使用语言就是选择语言。语言的使用，说到底是“一个不断选择语言的过程，不管这种选择是有意识的还是无意识的，也不管它处于语言内部的还是出于语言外部的原因”。[19]55-56所以语言选择产生于语言结构的任何层面，从语音、语调到词汇或语法结构的选择，从语码到话语、篇章、模态的选择。选择的过程具备三个特性：变异性、商讨性、顺应性。语言交际中的多种模态取代以往的单一模态，说明语言在发展中特别是在网络交际中随着技术的发展呈现出的变化。语言的变异性是商讨性的基础。语言的选择并非总是严格遵循形式-功能关系，而是具备高度灵活性和不确定性的。[19]59同一个表情符号在不同的语境中具有不同的含义。顺应性指可以使语言交际者从各种可能的变体中做出商讨性选择，从而满足交际的需要，并且交际都是发生于具体的语境中，所以话语的选择需要顺应语境。即时通讯中多种模态的使用正是互联网Web2.0时代技术给予交际者更多模态选择的体现。模态的选择和使用正是顺应的表现。

(二)典型模态具体分析

1.文字模态的使用始终还是处于主体地位，占56%以上。语言文字基本能达到表意和交际的功能。从句子长度看，不同群体的使用还是有区别的。从表1可以看到各个群的平均句长为13.4，而学习QQ群句长最短，为6.7字。生活微信群句长最长，为19.4字。说明学生群体或关系比较近的群体在即时通讯交际中不太在意句式结构，比较喜欢使用简短甚至不完整句式。如：

L1：有人找暑假工吗？带带我

L2：找啊 缺人ing

会不会拍照

L1：会

L2：摄影的？

上面实例中，L2说“缺人ing”，在汉语文字中加了英文语码，表示“正缺人”来代替完整句子“我们正缺人”。甚至回应也是简洁回应，有时连逗号和句号都省略，仅用间隔号或间隔行来表示。学生群体交际者喜欢用单词、短语、较短句子等简化的句子或独词句正是顺应其交际语境的表现，因为学生群体思想活泼、富有创造力，更倾向方便快捷地沟通。而在社区交流群和工作群中交际者更愿意使用较长句子来完整表达意思，较完整句子的表达正是为了顺应交际语境，即涉及社区生活问题和工作问题等比较严肃内容话题时交际者仍会完整充分地表达意思。可见学生群体和社区交流群与工作群中对句长的选择正是语言顺应性的表现。

3.信息分享群里超链接模态使用较多，超链接(hyperlink)和节点(node)组成超文本。超文本是一种结构文本，具有多语式和视觉化(visualisation)，是网络话语的代名词。[20]可见超文本也是交际随着网络技术发展在语言上进行的变异和顺应。Kress 等认为超文本语篇或多语式语篇在交流中需要满足三个条件：(1)表征和交际与参与者社会关系相关。(2)所交际和表征的必须为交际者希望交际的时间、事态和知觉。(3)信息的生成必须具有粘联性，语篇需有自身内部粘联，而且与语境之间有粘联性。[21]261而在资源分享群里超链接的输出最为显著。然而有些超链接文本在交际中与语境粘联性较小，无法引起更为有效的交际互动。比如图2的交际实例(话语用L+数字顺序体现)。

图2 部分对话截图

在此交际中，交流呈现L1文本—L2 视频—L3超链接—L4文本—L5文本—L6超链接—L7文本—L8文本的模式，其中L2视频(关于环保的ted演讲片段)和L3超链接因为与整个交际语境不符，因此没有引起有效互动，但是在网络上没有话语的回应并非就是没有交际的参与，可能还是有交际者参与了超链接文本的阅读，如此，那么这个超链接文本还是有意义的。在即时通讯多模态语用交际中我们将其归为交互关系，即参与新语境的创建。交际者多用超链接独立话语建立新的语境，其用途主要在于介绍或传播咨询。而L6超链接则起到对L1的解释说明作用。以上出现的视觉模态、超链接模态都是交际过程中顺应语境即时出现的变换形式，交际双方也都需要根据交际意图以及双方的反馈随时进行灵活的选择。

(三) 模态间的相互关系分析

上文所述即时通讯交际中模态与语言层面主要包括互补和非互补关系。其中互补关系包括强化、凸显、说明关系；非互补关系包括类比、冲突、交互关系。将语料中的各个模态进行分类统计如下(见表3)。

表3 模态间的关系数量

在即时通讯中，各个模态之间的关系主要以表态、凸显等互补关系为主，非互补关系则以交互为主。表态关系多以文字模态+表情符的形式为主。在交际中，各种表情符起着传情表意的功能。例如：

表态关系的呈现能有效地表达交际者的情感，可以起到补充语境的作用。比如上述对话，L1中的龇牙笑表情符起到表达交际者的开心情感。结合话语“今天运气好吗”可以推出此句并非一般问句，其实已经设定了问题的答案。而“强”的手势重复使用两次有强化作用，此处不仅有表态关系还有强化关系。凸显在交际中的方式多以字体字号和色彩的显示方式为主。在语料中多出现在qq交际中，交际者在选择字体、字号、字色或背景色的时候，在即时通讯独特的阅读交际界面上呈现了凸显的关系。而非互补关系中的交互关系多由超链接呈现而来。如图2，L3的超链接与上文的关系即是非互补关系。超链接在对话中起到引入新的语境、解释介绍的作用。

四、 结 语

互联网中介交际的多模态性顺应了互联网时代的交际语境，使得语言的产出更为有趣和个性化的同时也让理解变得更加复杂。笔者构建了即时通讯多模态语用分析框架，为在线交际话语提供了很好的分析框架。在即时通讯交际中，文字模态的使用最多，其次为表情符。模态的使用与聊天内容和交际者身份有着较大的关系。模态间相互作用，主要有互补和非互补关系。其中主要以表态、凸显和交互关系为主。多种模态的使用在补充语境方面发挥着重要的作用。在网络多模态会话中，人们利用抽象符号或标点符号组合而成大量形象直观、生动活泼、富有创意的网络语言。正是这些或静态或动态，具有仿真效果的类文字、表情、身姿、体动的副语言符号，弥补了纯文字交流的枯燥和网络非现场交流情感失缺的不足，有效提高了沟通效率，开启了网络多模态聊天方式。然而丰富的语境信息和多样化的文本输入形式使得会话者势必需要根据多模态语境因素的辅助作用，借助交际策略对说话者的交际意义和意图进行推导。由于有了多方模态的参与，增加即时交际语言的使用和理解的难度，并且在这极具口语化的网络交际中，交际的物理语境决定了话语者进行适切交际的不易。因此网络交际者应在多模态语境下把握语言的顺应，分析模态间的关系，对丰富的语言现象进行分析解释，提高网络即时交际的效果。