副语言意义研究——系统功能语言学视角*

詹姆斯·马丁 米歇尔·扎帕维尼娅

(1 澳大利亚悉尼大学语言学系；上海交通大学马丁适用语言学研究中心；2 澳大利亚新南威尔士大学艺术与媒体学院)

吴启竞 王振华 译

(上海交通大学外国语学院，上海 200240)

副语言意义研究
——系统功能语言学视角*

詹姆斯·马丁1米歇尔·扎帕维尼娅2

(1 澳大利亚悉尼大学语言学系；上海交通大学马丁适用语言学研究中心；2 澳大利亚新南威尔士大学艺术与媒体学院)

吴启竞 王振华 译

(上海交通大学外国语学院，上海 200240)

提 要系统功能语言学对早期儿童语言发展有独到的研究。受其启发，本文建构了副语言的分析框架。本文中区分了非符义行为(具身表征)和意义(符义过程)。在符义过程方面，文章区分了语言与副语言两种符义过程(副语言指依赖语言、通过音质和诸如面部表情、手势和身姿在内的身势语实现的符义过程)。在副语言方面，文章区分了口语中的音韵融合型资源和语义融合型资源。前者与口语的韵律音系共时或共鸣，后者在口语的内容平面上对概念、人际和谋篇三种意义资源起加强作用。文章最后讨论了语言、副语言和其他交际模态之间的关系。

关键词副语言 具身表征 符义过程 多模态 系统功能语言学

*感谢本文研究小组成员(Sue Hood, Thu Ngo, Clare Painter和Brad Smith)的付出，全文中的“本文”和“我们”均表明此文为共同著作。感谢吴启竞、王振华的翻译工作，感谢王品、张先刚、程微、张冉冉、石春煦、李文和赵海燕参与译文的讨论。

一、 意 义 表 征

本文是继Chris Cleírigh(未发表)以及Zappavigna和Martin (2017)对副语言的后续研究。Chris Cleírigh参考了Matthiessen(2004, 2007, 2009)关于儿童早期语言发展的系统功能语言学研究，探讨了新南威尔士州青少年司法调节语篇中的身势语①，本文第二节将回顾这些研究。第三节和第四节首先区分具身表征(somasis)和符义过程(semiosis)，然后构建副语言系统框架。文中副语言指依赖语言符号，通过音质和身势语(包括面部表情、身体动作和身体姿势)体现意义的表达方式。第五节讨论语言、副语言和其他交际模态之间的关系。

二、 个 体 发 生 学

Matthiessen (2004, 2007, 2009)在Halliday (1975, 2003)、Painter (1984)和Torr (1991)对儿童语言发展研究的基础上，探讨了语言和其他符号系统的产生过程。这些研究表明，语言源自原始母语系统。该系统中，儿童将声音、面部表情和身体动作用作符号资源。然而，随着成人语言的出现，这些资源的使用更加专门化、具体化。音段发音和韵律(包括节奏和语调)归属于口头语言的音韵②；而音色(timber)、语速(tempo)、声音松紧度(tension)和音量(loudness)依然归属于语言表达层，通常被称为音质。(详见van Leewuen 1999, 2009)身体动作、身体姿势和面部表情则发展为身势语资源。Matthiessen指出，音质和身势语在语篇展开过程中与语言协同共现：

……语言中一些人际意义的差异是通过不同的音调(音高变化)和与之伴随的面部表情(包括眉毛运动)体现的；指示性谋篇意义通常伴有指向性动作；和婴儿说话可以圆唇或撅嘴，这样不仅声音变化，而且形象生动；具体研究还表明，通过语言与通过身势语(如凝视)提及他人，两者之间具有复杂的关系。(2007: 6-7)

本文沿用Matthiessen (2009: 21-22)的观点，将音质和身势语视为副语言。

三、 具 身 表 征

研究副语言的一个挑战就是如何区分副语言和行为，即区分符义过程和非符义过程。Trevarthen(2005)等个体发生学学者在追溯前语言交际中产生的原始母语时，也面临相同的挑战。Halliday和Painter判断符义过程和非符义过程的标准是：1)动作是否可以解读为“内容/表达”系统(即意义符号)中的内容或者表达；2)动作可否用于多种不同的场合③(不是在一个互动中的简单重复)。例如，Halliday(1984/2003: 240)提到，他儿子8个月大时使用的原始母语涉及三种行动符号，分别体现为如下内容/表达组合：“我想要/牢牢抓住”“我不想要/轻轻触摸”以及“用某物做某事/用力触摸”。这里符义过程和非符义过程的区别是显而易见的，也许在“轻轻触摸”(符义)和“推开某物”(非符义)的对比中体现得更为明显。采用Peirce的术语④，我们可以说符义过程象征(symbolise)说话者的意图，而非符义过程则暗示(index)这种意图。

图1 早期原始母语(动作系统)(Halliday 1984/2003: 240, Figure 9)

下文中，具身表征(somasis)指非符义行为，符义过程(semiosis)指符号(sign)系统。Halliday(1996: 388, 2005: 67-68)对人类活动的分类有助于划分具身表征。该分类从复杂程度上分为四级，由简至繁分别为：物理系统、生物系统、社会系统和符号系统。基于此，本文认为，具身表征包括物理活动、生物行为和社会交流。物理活动指实体之间关系变化的物质行动(如走路、跑步、跳跃、投掷、打破、挖掘、吃饭、喝水)。生物行为分为恢复舒适的行为(如打喷嚏、咳嗽、大笑、整理服饰或发型)和暗示不舒适的行为(如咬指甲、小动作、烦躁、脸红、哭)。社会交流分为相互感知(如在目光、音高、距离、触觉和嗅觉等方面)和相互依恋(如怀抱、牵手、拥抱、亲吻)。这些分类见图2。

图2 行为模型(具身表征)

作为语言学者和符号学者，我们尝试总结和归纳一系列类似于符义行为的、可被社会符号动物理解的目的性行为，对进一步发展这个模型⑤是有帮助的。正如Halliday和Painter指出的，早期原始母语的符义过程将一些具身表征视为符号的表达层。目前为止，我们所建立的行为模型见图3。

图3 具身表征和符义过程

四、 符 义 过 程

Painter等学者(Painter & Martin 2012; Painteretal. 2013)在研究儿童绘本中的模态关系时，建构了言语和图像融合度的模型。这个模型是基于元功能的，涉及言语和图像在概念意义上的共现程度、人际意义上的共鸣程度和谋篇意义上的共时程度。该模型中的术语见表1。

言语融合关系图像概念意义共现概念意义人际意义共鸣人际意义谋篇意义共时谋篇意义

表1 儿童绘本中言语和图像的融合关系

我们采用以上术语，从语言和副语言融合关系的角度区分两种类型的副语言，即Cleírigh所指的语言学意义上的身势语(linguistic body language)和非语言学意义上的身势语(epilingusitic body language)⑥。前者是与口头语言的韵律(即节奏和语调)共鸣或共时的副语言，后者是像语言一样独立生成意义的副语言。为使表1中的术语更加明晰，本文把与音韵融合的副语言称为音韵融合型副语言(sonovergent paralanguage)，与语义融合的副语言称为语义融合型副语言(semovergent paralanguage)，见表2。

Cleírigh(未发表)本文修正后的术语 语言学意义上的身势语 音韵融合型副语言(音韵上融合) 非语言学意义上的身势语 语义融合型副语言(语义上融合)

表2 音韵融合型副语言和语义融合型副语言

下文通过Youtube上一段名为Let’s Talk. | Random Chatty Vlog’ (https://youtu be/YRx-zDoPbVw)的视频来阐释音韵融合型和语义融合型两种副语言系统(已获视频中人物许可)。“视频博客”(派生自“博客”⑦)是一段讲述或展示个人活动的视频(如关于“每日生活”的话题，用户介绍他们在一天之中的精彩片段)。下文是对视频博客的文字介绍：

准备一杯咖啡和一份小吃，坐下来聊聊吧！今天我将和大家聊聊在停车场被人尾随、孩子们在夏天跟我要食物、我的头发、脚、Youtube等等。讲这些对我来说小菜一碟！如果你喜欢这个视频，请给我点赞哦！这样我就知道你们喜欢看什么内容了。 感谢大家的收看，欢迎订阅，以防错过！我会在每周一、周二和周四美国东部时间下午2点准时发布。

本文所采用的多数例子⑧都来自该视频博客中有关染发剂的片段。(参见附录1)

1. 音韵融合型副语言

音韵融合型副语言与口头语言中的韵律呈融合关系(Halliday 1967, 1970; Halliday & Greaves 2008; Smith 2015)。从人际意义上看，音韵融合型副语言与声调共鸣，身体部分(如眉毛或手臂)的上下移动与调群(声调系统‘tone’和标记性语音凸显‘marked salience’)中的音调变化产生共鸣。从谋篇意义看，音韵融合型副语言涉及身体部位⑨(如手和头)与言语格律的同步节奏，包括身体部位与音步中凸显音节或调群中的音调音节(tonic syllable)同步，或者身体动作与调群同时展开(即与调位‘TONALITY’、调核‘TONICITY’或节奏‘RHYTHM’同步)。音韵融合型副语言见表3。

言语音韵融合副语言(韵律性的)人际意义:声调共鸣人际意义:共感谋篇意义:调位、调核、节奏共时谋篇意义:同步

表3 音韵融合型副语言系统

声调系统通过音高变化实现。在下面的例子中，视频博客中的人物眉毛上挑，与prev这个音节上的升调(调二)形成共鸣，见例1。

例1

音系//2 bought / previously when I副语言眉毛上下运动图像

调位系统将口语组织为以调群为单位的信息波，其中某一凸显音节承载声调变化。身体动作通常与这个格律单位同时发生。在例2和例3中，视频中人物从右向左⑩挥动手臂表示过去时间，整个动作过程与调群时长相当。

例2

音系//2 bought / previously when I副语言挥动手臂,指示过去时间图像

例3

音系//3 loved the / first time副语言挥动手臂,指示过去时间图像

例4

音系//3 dyed my / hair which I副语言拍手图像

调核系统通过定位调群中某个具有显著音高变化的凸显音节(非标记性最凸显音节‘unmarked culminative salient syllable’)来体现最突出的信息。在例4中，该视频中的人物在明显体现调群音高变化的音节hair上伴以拍手动作。

在英语中，节奏系统通过每个音步第一个凸显音节的时长体现(以重音为节奏的语言中凸显音节的时长基本相等)。在例5中，视频中的人物在/not/, /find the/和/hairdye that I/音步的凸显音节上伴以节拍，最后一个节拍落在hair这个音调音节上。

例5

音系//4 but/^ I could/ not/ find the/hair dye that I副语言向下的节拍向下的节拍向下的节拍图像

非音调音节的凸显音节可以通过多种方式凸显。下面序列中，第一个调群的音高异常高，与下一调群中的下降音高形成对比(类似于sing/song的效果)。

//3 hopefully / next ↑timeI will (希望下次我能够)

//1 get my / ↓haircolour / back (把我的头发染回来)

而且在第二个调群的音高下降之前，视频中人物的眉毛伴随/hopefully/的音高上挑。这一动作与音调达成了韵律上的一致，见例6。

例6

音系//3 hopefully / next time I will副语言眉毛上挑图像

同样的sing/song效果在该节视频中一直持续，直到/now//上的上升音高与/do//上的下降音高对比出现为止。此时，该视频中人物的眉毛又一次上下移动，与音高(此处为音调音节的音高)的对比形成一致。

//3 [handclap] / um /but for / ↑now([拍手]额，但是现在)

//3 this will / ↓do// (只能这样了)

这些有节奏的、与音韵共鸣的身体动作加强了节奏和调核所体现的态度意义。(参见本节2.2)

副语言与音韵在该视频的第15个调群中停止融合，在调群16到调群19之间保持非融合状态，一直到调群20才继续融合。在融合关系搁置期间，该视频中人物的左手一直抓挠其右臂，产生了一个具身表征相(somatic phase)。该具身表征相展开如下：

//3 lighter than it / was a few /daysago (颜色比前几天淡了)

//1 ^ but /yeahit’s (但是，是的，这个颜色染得确实)

//1 such a /bummer and then I (太失败了，于是我)

//2 went to /Target // (去了Target这家店)

//3 ^ like / two days /later and there / was a (大概是染完两天后去的，这家店有……)

在调群15的最后一个音步上，视频中的人物开始抓挠动作，不再与观众互动，见例7。

例7

音系//3 lighter than it / was a few/ days ago副语言摊手具身表征抓挠; 无目光交流图像

接下来的两个调群中，该视频中的人物继续抓挠动作，与观众仍无目光交流，如例8和例9。

例8

音系//1 ^ but / yeah its具身表征抓挠; 无目光交流图像

例9

音系//1 such a / bummer and then I具身表征抓挠; 无目光交流图像

在调群18的最后一个音步时，该视频中的人物恢复与观众的目光交流，见例10。接下来，她又开始使用身体动作，见例11。

例10

音系//2 went to / Target具身表征抓挠;恢复目光交流图像

例11

音系//3 ^ like/ two days/ later and there/ was a副语言继续使用身体动作图像

有趣的是，尽管视频中人物的抓挠动作持续了两个半调群的时间，却没有在凸显音节和音调音节上出现。这说明该视频中人物没有同时使用具身表征与节奏、调核和调位系统资源。但是，副语言和音韵在这段视频中却是共时的。副语言在调群15的音调音节上(/daysago//)停止使用，直到调群18的音调音节(//Target/)才恢复使用，通过微笑表情体现，在调群19开始又通过手势语体现。

2. 语义融合型副语言

语义融合型副语言与口语的词汇语法和语篇语义(口语的内容层面)具有融合关系，本文从语篇语义角度(Martin & Rose 2007)研究语义融合型副语言。概念性副语言是模仿性的(mimetic)，与概念系统和联结系统共现；人际性副语言是表达性的(expressive)，与协商系统和评价系统共鸣；谋篇性副语言是指示性的(deictic)，与识别系统和格律系统共时。语言与副语言的语义融合关系见表4。

言语语义融合副语言:动性的概念意义:概念系统/联结系统共现概念意义:模仿性的人际意义:协商系统/评价系统共鸣人际意义:表达性的谋篇意义:识别系统/格律系统共时谋篇意义:指示性的

表4 副语言系统和语篇语义系统的融合

2.1 概念性语义融合型副语言

口语的概念意义涉及实体、事件、性质和时空环境等成分如何构成配列小句(概念系统)，以及这些小句之间如何产生语义联系(联结系统)。语义融合型副语言可与语言资源一同构建概念意义。手形倾向于与实体共现，手/手臂动作倾向于与事件共现，动作方向通常与时空方向一致(空间位置是去往/来自某地，时间方向是截至/起始于某时)。由于概念性副语言能够脱离口语独立使用，所以它与语言的共现是“潜在性共现”。见本节第三部分对“哑剧”的讨论。

下面，我们分析博客视频中的人物看皮肤科医生的故事(治疗肉芽肿)，来阐释概念性语义融合型副语言。相关事件的调群序列如下：

// and so the dermatologist um took like thisneedle (皮肤科专家拿着这个针)

// and under each likebump(在每个肿块下)

// and injected this likesteroid (注射了类似类固醇的东西)

// and like it allbubbled up // (所有的肿块都隆起了)

从语言角度看，以上序列提到了四个实体(皮肤科医生(dermatologist)、针(needle)、肿块(bump)和类固醇(steroid))。手形副语言与其中两个实体(针和肿块)共现，“针”首先被比作拇指和食指拿着的尖细实体，后又通过双手握着注射器的手形呈现。由此可见，语言和副语言构建的意义相互照应或彼此互补。从意义权重来看(Martin 2010; Painteretal. 2013)，“皮肤科医生”和“类固醇”这两个实体通过语言实现，而“针”更形象地通过副语言呈现。

例12

语言needle bump副语言拿着针握着注射器弯曲的手形图像

从动态角度看，该序列中明确提及的三个事件(“拿起”“注射”和“隆起”)都伴随副语言资源体现。此外，六次快速刺入动作凸显了第二个调群中的事件。见例13。

例13

语言// and so the dermatologist um took like this needle 副语言:实体拇指和食指“拿着针”副语言:事件手指捏着针,同时抬手图像语言// and under each like bump副语言:实体拇指和食指“捏着针”副语言:事件六次刺入动作图像

在每个例子中，与手形有关的实体均处于动态过程中。比如，该视频中的人物通过不同手形体现皮肤科医生拿针、刺穿肿块、注射类固醇和肿块隆起等动态过程。

例14

语言// and injected this like steroid 副语言:实体“手握注射器”的手形副语言:事件拇指按压“注射器”图像语言// and like it all bubbled up 副语言:实体模仿肿块的隆起手形副语言:事件双手分开,右手抬高图像

和电影、动画、插图小说、连环画、漫画和绘本中的图像序列一样，身体动作序列并不能明示事件之间的联系，需要通过其本身和与之共现的语言判断(Bateman 2007)。例13和例14涉及的语言序列仅用到了加和类连结词and，未明显呈现出时间先后和因果关系。为此，本文提供了如下解读版本，以明示事件之间的联系：

// and so the dermatologist um took like thisneedle (皮肤科专家拿着这个针)

(temporalsequential) (时间序列)

// and under each likebump(在每个肿块下)

(temporaloverlapping) (时间重叠)

// and injected this likesteroid (注射类似于类固醇的东西)

(causal) (因果关系)

// and like it allbubbled up // (所有的肿块都隆起了)

上述例子使用的副语言序列结合了手形和动作。其实，手形副语言也可以单独使用。比如下面的序列中，视频中人物关注的是她给孩子们的点心数量，没有把递碗的动作表现出来，见例15。

// then they had a snack I (他们拿到了小吃，我……)

// gave them each a / bowl (……给了每个人一个碗)

// like a heaping bowl full of Chex Mix and applesauce squeeze//

(就是一个装满Chex Mix和苹果酱的碗)

例15

heaping bowl full副语言:实体体现数量的垂直手形体现碗型的水平手形图像

动作副语言可不与表现实体的手形副语言一起使用，如例16。该视频中的人物在//tried washing it out//这个调群上用手做画圈动作(两圈)。

例16

语言// tried washing it out and its副语言:事件用手做画圈动作图像

例17

语言// hopefully next time I will副语言:事件手/手臂向右运动图像

动作副语言也可指示时空方向。比如，上文例2和例3中提到的，从右向左地挥动手臂指示过去时间，与调群//boughtpreviouslywhenI//和//lovedthefirsttime//共现；相反，从左至右的挥动指示将来时间。比如，例17中，向右的手臂运动与//hopefullynexttimeIwill//调群共现。同时，指示手势加强了向右手势的指示作用。这一点将在本节2.3中讨论。

2.2 人际性语义融合型副语言

口语的人际意义涉及态度表达、性质分级和非说话者声音定位(评价系统)，以及对话中的情感、问候、关注、信息和商品/服务的交换(协商系统)。语义融合型副语言中的面部表情、身体姿势、肌肉张力、手部/手臂位置和动作(Hood 2011; Ngo 待发表)以及音质等与评价资源形成潜在的共鸣。口语可蕴含不同种类的态度(情感反应、人物判断和物品鉴赏)，但副语言仅能够传递情感。副语言对人际意义的表达具有局限性(Cleírigh提出的)。这种局限性除了体现在象征性手势的使用上(在本节第四部分讨论)，还体现在语义融合型副语言不能区分对话交换中的语步类型(尽管音韵融合型副语言能够帮助选择语步的声调)。

副语言中的面部表情和身体姿势可以传递态度。例18中，该视频中的人物用上挑的眉毛和侧歪的嘴型细致地表达了对其盛装出席的街坊聚会的评价(“令人激动的”)。(有些受众可能认为此表情不能体现“令人激动的”)。

例18

语言// thats kind of exciting副语言:面部表情吃惊图像

例19

语言// went to / Target副语言:面部表情微笑图像

Martin & White (2005)提到，说话者可以在言语中明示态度，也可用体现概念意义的语言资源来引发态度。在本节2.1的染发剂例子里，该视频中人物在介绍染发剂仍有库存的好消息时，通过笑脸表达了语言中没有明示的情感，见例19。

面部表情和身体动作可以结合起来表达情感。该视频中的人物在抱怨停车位问题时同时使用了这两种副语言资源，相关调群如下。这里我们只关注视频中人物如何通过面部表情和手臂位置夸大自己的困扰，见例20。对此视频哑剧效果的讨论见本节第三部分。

// some guy was sitting there (有个人坐在那里)

// and there was cars behind him (他后面也有辆车)

// and he was like (他好像……)

// [模仿该人的副语言]

// [再次模仿] like (好像)

// waving me out // (挥手催我离开)

例20

副语言:面部表情夸张图像

关于级差资源，Hood (2011)提出手形范围的大小和手部/手臂的动作范围可以强化语言所表达的极差意义。例21中，该视频中人物手部/手臂的大幅度动作凸显了染发剂的库存量之大(whole stack)。

例21

语言// whole stack of them so I 副语言右臂从左下运动至右上图像

在关于头发颜色的片段中，最能体现态度强度的例子是，视频中人物用整个身体的运动表现对发色之深的反应。她向后甩头、抬手，同时身体后仰，这些动作都体现了强烈的情感，如例22。

例22

语言// so:: / dark I副语言:手臂、身体图像

例23

语言// and under each like bump 副语言:手臂、身体稍稍皱眉,加大面部肌肉和手部张力图像

Hood认为副语言不仅可与语势(force)资源融合，手形和肌肉张力也可与聚焦(focus)资源产生共鸣。在例23中(对此段视频的更多分析见本节2.1)，该作者做出紧捏细针的动作，同时稍稍皱眉以表专心，再现了皮肤科医生刺入肿块时的动作和表情。

Hao & Hood(待发表)举了一个生物学讲座中的例子，来说明副语言与聚焦资源的融合。讲座主讲人在用到“非收缩”(fairly non-contractile)时伴以耸肩动作。Hao & Hood认为这是一种离心姿势(de-centering postures)，体现模糊聚焦(soften)。这样的耸肩副语言多呈现出一种不平衡的体态，比如不对称的面部表情、不平衡的身体姿势或者环绕的手势。下面第二个调群涉及这类副语言，分析见例24。该例中，视频中的人物拉长了脸，努力描述自己的皮肤情况，同时还伴有两次摇头。

//anyway (反正)

//^ ’it was / some / granuloma /: / /^ /something (好像是肉芽肿之类的东西)

// I don’t know- it’s /called- it’s (我不知道到底是什么)

// some sort of /skinthing (就是某种皮肤问题)

例24

语言//2 ^ it was / some / granuloma /: //^ / something副语言:脸部、头图像

关于介入资源，Hood强调了手部位置对于扩展性(expansion)或紧缩性(contraction)借言(heteroglossia)的重要性。其中，手掌向上表示打开对话空间，手掌向下表示压缩对话空间。例25中，该视频中人物摊开的双手与情态词probably(很可能)共现，打开了对话空间。

例25

语言// probably / seeing how / dark my / hair is well 副语言:手摊开的双手图像

例26

语言// but /^ I could / not / find the /hair dye that I副语言:手掌心向下图像

两个语步之后，该视频中人物双手反转、手掌向下，强化了语步中表达的消极情感。她明确表示自己驾驭不了这个新发色，从而关闭了与观众的对话空间，见例26。

在本节第一部分关于染发剂视频的分析中，视频中人物在最后四个调群中用音高的变化结束对染发剂事件的叙述。从评价的角度看，这里涉及的音质与作者对染发剂的无奈是一致的。关于体现人际意义的听觉类副语言资源，本文不过多介绍，有兴趣的读者可参见van Leeuwen (1999)。

2.3 体现谋篇意义的副语言

口语谋篇意义关注如何呈现和追踪语言中的实体(识别系统)，以及如何组织调群、小句和更高级阶单位中的信息波(格律系统)。语义融合型副语言中的指示手势、身体位置和动作可以协助语言资源体现谋篇意义。

对指示手势的谋篇意义，我们仍用本节第一部分和第二部分2.1中对比过去和将来的例子来解释。视频中人物在指示过去时间时用到整个手部，而指示未来时间时仅用了两个食指，如例27和例28。

例27

音系//3 loved the / first time副语言:手整体手部指示过去时间图像

例28

语言// hopefully next time I will副语言:手两个食指指示未来时间图像

对于副语言和长信息波的融合，由于视频中的人物自始至终都是坐着的，没有身体的整体位置移动，所以不会对音质产生较大影响(不像讲座中来回走动引起的音质变化，参见Hood 2011)。但是，如本节第一部分和第二部分2.2中所示，视频中人物在结束染发剂片段的讲述时的确用到了音高对比。具有上升音高的调群以一个伴随拍手动作的音步展开，紧接着是一个含有辅助音/um/的音步，见例29。

例29

音系// 3/ um/ but for/ ↑now副语言拍手高音调图像

该上升音高调群后又跟了一个具有下降音高的调群，此时视频中的人物情绪逐渐舒缓。随后，她闭上眼睛，头稍前倾，没有使用任何语言和副语言，见例30。

例30

音系//3 this will / ↓do (沉默)副语言低音高无动作具身表征闭眼,低头图像

例31

音系// Im a / picky / ↓eater(沉默)副语言低音高无动作具身表征闭眼,低头图像

例30和例31中的调群以相似的方式结束(下降音高、闭眼和低头)。由此可见，用具身表征来替代语言和副语言有助于较长信息波的停顿。在停顿的同时，视频中的人物开始讲述其他内容(因为她又想到了某些要分享的事情)。

3. 意义加强

音韵融合型和语义融合型副语言系统见图4(含Cleírigh的术语)。图4的分类尽管简单，但这五种次类的副语言可彼此结合，来强化某个调群所表达的意义。

图4 音韵融合型副语言和语义融合型副语言

上文其实已经介绍了多种副语言资源与同一个调群结合的例子(如例17同时使用了指向未来的动作和指示手势)。更准确地说，语义融合型副语言无论在什么时候使用，都与调位系统、调核系统和节奏系统有关，即语义融合中隐含音韵融合。此外，音韵融合型副语言也可脱离语义融合型副语言单独使用，通过身体动作与韵律音韵形成共感或同步(仅限于此种情况)。

需要注意的是，以上副语言使用原则并不适用于哑剧。根据本文提出的模型，哑剧是一种不与语言同现的语义融合型副语言，而语义融合型副语言与语言是融合关系，这就造成了术语定义上的矛盾。对于这个问题，我们还用上文提到的关于停车场事件的哑剧片段加以解释。该事件的相关描述如下：

今年夏天让我特别讨厌的另一件事就是去停车场，真是个繁忙的地方啊。本来上车后可以等一会离开，给亨利测测血糖，或者给孩子们拿个零食。如果是在游泳池的停车场，还可以用手机发个短信或玩点别的。这时你发现有辆车就在你后边等着你离开，真是太让人无语了。这种事发生了不止一次。刚刚我在美国购物中心的停车场，上车后本想发个Instagram或脸书网，这时……

紧接着，视频中的人物讲述了在停车场发生的一件小事，见如下调群：

// just got in mycar(刚上车)

// got myphoneand (拿出手机)

// as I wasdoing that (正拿着呢)

// some guy wassitting there and (有个人坐在那里)

// there was cars behindhim and (他后面也有辆车)

// he was like (他好像……)

// [模仿该人的副语言]

// [再次模仿] like (好像)

//waving me out and (挥手催我离开)

// I was so upsetlike (真无语)

// I immediately gotup(我马上抬起头)

// put my phonedown(放下手机)

// I immediately drove awaya bit (赶紧向前开了一点)

// I wasn’t eventhinking I (我当时连想都没想)

//shouldn’t have done that I (本来不用那么做)

// shouldnothave done that (真的不用那么做)

// but it was just like “What!” (但是，“什么！”)

// There’s a guysitting there (有个家伙坐在那儿)

//waving and (向我挥手)

//angry at me be- (还很生气)

// cause I was sitting in mycar/ (就因为我坐在我自己的车里)

就该语音序列的调位而言，视频中有两个模仿挑衅者的哑剧片段本可伴有语音调群。第一个片段模仿的是体现态度意义的副语言，这点在本节2.2中已讨论，再现如下：

例32

副语言:面部表情夸张图像

第二个片段首先模仿的是挑衅者的两次催促离开的手势(第二次挥动手势同时含有表达谋篇意义的指向动作)，是表达概念意义的动态副语言，见例33和例34。

例33

副语言:手臂从肩后到右上运动图像

例34

副语言:手臂从胸前到右上运动,同时食指指向某处图像

该片段中的第三次模仿与以上两次不同。这次模仿中动态手势和语言是共现的，见例35。

例35

语言// waving me out and 副语言:手臂从脸前到右上运动,同时食指指向某处图像

这两个哑剧片段的意义在很大程度上依赖于上下文的语言描述，借此观众可以更清楚地了解该视频中的人物在停车场经常被人尾随和被催促离开停车位的情况。具体地说，该视频中的人物通过一个没有调核的调群//he was like… //引入哑剧相关动作，表现该调群的意义，并在做第三次模仿手势时用语言明示这段哑剧的意义。

暂且不考虑哑剧(Marcel Marceau称其为“沉默的艺术”)，本文认为对于脱离语言单独使用的语义融合型副语言，其意义的理解需要结合上下文语境。语言表达出的、但哑剧动作没有呈现的意义，可通过上下文获取。所以说，语义融合型副语言与语言的融合关系是显而易见的。

4. 象征性手势

本文还要介绍Kendon(2004)提到的象征性手势，包括竖起或倒置的拇指(象征“表扬或责备”)、食指贴住嘴唇(象征“保持安静”)、手掌弯曲贴在耳边(象征“听不清”)以及竖中指(象征“去死吧”)等动作。本文视频中的人物在第一次解释她发色变深时，竖起食指，表明她正在说明的是第一个原因。

例36

音系// one its/ wet手势象征“第一个原因”图像

象征性手势与上文提到的语义融合型副语言在以下两个方面有明显的不同。一方面，象征性手势的意义是特定的，在没有上下文时也可以识别出来。这种特定意义使象征性手势可以用作交换结构中的语步，表示陈述和请求(本部分第一段中提到的象征性手势)、问候和告别(挥手)、呼唤(召唤的手势)、同意(点头)、不同意(摇头)和挑战(手掌竖起、手心向外，象征“停”)等等。另一方面，这些手势的意义更容易识别，因为某个手势动作出现时人们会首先想到其象征意义。也正因此，象征性手势通常具有文化特性(例如，盎格鲁人竖起手掌表示呼唤，菲律宾人则平摊双手以示问候)。不管从哪个方面看，象征性手势都不同于本节第一和第二部分提到的副语言，不像后者那样被认为是不符合常识的(尽管所有人都能够正确解读他人使用的音韵融合型和语义融合型副语言)。象征性手势类似于聋哑人的手语，是意义的手势表达形式。类似于文字书写系统(比如汉字系统)中的文字，不过是通过手势体现的。

这说明，象征性手势更应属于语言系统而非副语言系统。图5以zero,one,two,three,four和five为例，展示了象征性手势和其他表达层面系统的关系。在英语中，这些单词的意义可分别通过音系(如/tuw/)、字系(如“2”)或手势(如“竖起的食指和中指”)体现。

图5 表达层面的体现形式(手势、字系和音系)

本文讨论的符义过程系统见图6。其中，象征性手势属于语言的一种表达形式。

图6 象征性手势作为手势符号

五、 交 叉 模 态

本文构建了一个区分行为和意义(具身表征和符义过程)的模型。符义过程又包括语言和副语言系统。根据与语言内容层或表达层的融合关系，副语言又系统化为音韵融合型和语义融合型，前者与韵律音韵共感和同步，体现人际意义和谋篇意义；后者与语义(以及语义在词汇语法层的体现形式)融合，共同构建概念意义、产生人际意义并形成谋篇意义。

与其他交际模态相比，副语言与语言之间关系特别，因为副语言同韵律音韵是协调一致的。这一点可以由音韵融合型副语言的定义看出。此外，语义融合型副语言也和调位、调核、节奏和声调这些系统协调一致，如一些身体动作、面部表情、身体姿势和声音，与节奏和语调等单位共现。即使是简单的哑剧片段，也可通过填补调核成分或调群的“缺失”，与韵律音韵形成一致。除了对语言表达形式的时间依赖性，副语言表意不确定的内在属性使其同样依赖于语言的内容形式，比如语义融合型副语言表达的意义需借助语言进一步阐释。副语言的这两种依赖性也合理地解释了该术语中“副(para)”这个前缀(意为“旁边的”)。

在“副语言”这个术语中，前缀“副”依附于词干“语言”，那么“副语言”在构词上以“语言”为词干是否合适呢？Fricke (2013)的研究倾向于将本文中的副语言视为语言的一部分(确切地说，Fricke认为是语法的一部分)。这种观点被身体动作的相关研究广泛认可。基于此，本文从系统功能语言学的角度重新阐释了图6的分类(见表5)，将副语言归为语言的一种表达形式。在这个模型中，面对面语言交流的内容可通过音系(口语)或符号(包括手语和象征性手势)配合音韵融合型和语义融合型副语言来体现。对有些语言来说，书面交流通过字系系统体现。这种重新阐释对于命名本文中提到的音质和动作等副语言资源提出了挑战，我们将另文讨论。

内容层面表达层面语篇语义词汇语法音系符号副语言字系

表5 作为表达层面的副语言

这种阐释也使语言和副语言之间的关系成为交叉模态研究中的一个有趣的话题，有助于阐明Martin(2011)提到的理论和描写方面的难题。

本文对语言和副语言间依赖关系的研究参考了Zappavignaetal. (2010), Hood (2011), Martin (2011), Martinetal. (2013) , Zappavigna & Martin (2017)以及Hao & Hood (待发表)。在系统功能语言学中，与这些文献最相关的是Painteretal.(2013)对模态关系(儿童绘本中语言和图片关系)的研究。此外，交叉模态的研究也可参考Batemanetal. (2017)。

作者简介

*James R. Martin，博士、教授，澳大利亚悉尼大学语言学系前任系主任，国际著名系统功能语言学家，系统功能语言学的主要继承人和发展者，“悉尼学派”领军人物，语言评价理论创始人，积极话语分析理论创始人，语类理论主要发展者。1998年当选为澳大利亚人文科学院院士，2003年因其对语言学及语文学的杰出贡献被澳大利亚联邦政府授予“世纪勋章”。Martin教授的主要研究领域包括系统理论、功能语法、语篇语义学、语域、语类、多模态理论及批评话语分析，主要研究语种为英语和他加禄语。此外，Martin教授还从事教育语言学、司法语言学及社会语符学、多模态等交叉学科的研究，著述等身，主要论文收集在王振华主编的八卷本《马丁文集》(上海交通大学出版社)。

Michele Zappavigna，博士，澳大利亚新南威尔士大学高级讲师。主要研究兴趣是社交媒体，相关著作有Bloomsbury出版社2012年出版的《推特与社交媒体》(DiscourseofTwitterandSocialMedia(Bloomsbury, 2012)), Routledge出版社2014年出版的《社交媒体语言研究》(与Ruth Page, Johann Unger and David Barton合著)(ResearchingtheLanguageofSocialMedia(Routledge, 2014))和Bloomsbury出版社2018年出版的《可搜索交谈：帖子标题与社交媒体语篇》(SearchableTalk:HashtagsandSocialMediaMetadiscourse(Bloomsbury, 2018))。

注释

① 相关文章题为“Gesturalandposturalsemiosis:asystemic-functionallinguisticapproachto’bodylanguage’”。此文为Zappavignaetal. (2010), Hood (2011), Martin (2011), Martinetal. (2013)以及Zappvigna & Martin (2017)奠定了研究基础。

② 这种归类正如手势和面部表情发展为聋哑人手语的表达层面(参见Johnston 2013, 待发表)一样。此类资源目前被视为副语言，与手语一同使用。

③ Halliday和Painter认为“多种”至少是4种以上。

④ 对皮尔斯符号模型的介绍参见https://plato.stanford.edu/entries/peirce-semiotics/。

⑤ 对该模型的介绍详见Martinec (1998, 2000a, 2000b, 2001, 2004)。这些研究以系统功能语言学理论为基础，将具身表征视为符义过程。

⑥ Cleírigh提出的原型语言学身势语(protolinguistic body language)在本文中被归为具身表征和人际性语义融合型副语言，这种术语的变化使相关身势语可与语言一同产生意义(原始母语是最早的符义资源，按其定义，不与语言一同使用)。此外，这种重新划分将评价系统与副语言系统结合起来，扩展了副语言资源，也完善了Cleírigh的研究。

⑦ “博客”(网络日记的简版)是由博文组成的网页，内容根据由近及远的发文时间排列。个体用户通常用博客记载日常往事，企业和组织有可能将博客内容导入其在线资料中。

⑧ 感谢Brad Smith博士对本文例子语料分析的大力帮助。

⑨ 长于一个调群的信息波会伴随整个身体的运动。

AppendixA:Thehairdyenarrative(附录1：关于染发剂的叙述)

1:26-2:01

调群1 //5ohand you’re

调群2 //1 probably / seeing how / dark my /hairis well

调群3 //3 one it’s /wet

调群4 //4 but /^ I could / not / find the /hairdye that I

调群5 //2 bought /previously when I

调群6 //3 dyed my /hairwhich I

调群7 //3lovedI

调群8 //3 loved the/firsttime

调群9 //3 ^ so I / ended up having to / do like a / different /^ /shadethat I

调群10 //3 didn’t / use /previously and it’s

调群11 //1 so:: /darkI

调群12 //1hateit I

调群13 //3 hate the the /colour of it so I’ve

调群14 //1 tried washing it /outand it’s

调群15 //3 lighter than it / was a few /daysago

调群16 //1 ^ but /yeahit’s

调群17 //1 such a /bummer and then I

调群18 //2 went to /Target //

调群19 //3 ^ like / two days /later and there / was a

调群20 //1 whole:: / stack of them so I

调群21 //1 bought /threeof them so

调群22 //3 hopefully / nexttimeI will

调群23 //1 get my /haircolour / back

调群24 //3 [handclap] / um /but for /now

调群25 //3 this will /do//

(//:调群分界线；/:音步分界线；调型1-5：音调选择；黑体：音调音节； ^：空拍)

AppendixB:Thevisittothedermatologistanecdote(附录2：看皮肤科专家轶事)

I was going to vlog the day I went to the dermatologist because I have these like marks on my feet. I’ll show you. Let’s see if I can show you from here. [lifting up leg] Ooh. I don’t know if you can see that. I have that mark and then there’s another one and then another one and then on my other feet and it was all like bumpy and stuff. And it was spreading and it tripled quadrupled in size in a year. It actually was there for two years. Anyway, it was some granuloma something I don’t know- it’s called- it’s some sort of skin thing. And so the dermatologist took like this needle and under each like bump and injected this like steroid and it all bubbled up. It was really gross and it hurt so bad but I didn’t film it because there’s like feet people out there that like are obsessed with feet and I didn’t want to- you know. I didn’t want those people attracted to my videos so Andy said not to film it but it was really itchy. And the bumps are supposed to go away and it shouldn’t spread anymore but the discoloration might stay there for a really really long time so. Yeah. But that was good to get checked out.

AppendixC:Theparkinglotnarrative(附录3:关于停车场的叙事)

Oh another thing that has been really annoying this summer is you know when you go to a parking lot and it’s a busy place. You get in your car and you don’t necessarily want to leave immediately. Like you might want to- I might want to have Henry test his blood sugar, give the kids snacks. Or if we were at the pool, like change or look at my phone or send a text message or whatever. It drives me crazy when a car is like sitting there following you and then they just wait for you to leave. I cannot stand that. And that has happened so many times. And I was just at the mall of America and I got back to my car and I went into-. And I met up with a Kimmy from the Dodge family and I went to- I wanted to like Instagram a picture of us and FaceBook whatever. And as I was doing that I- I had just got in my car, got my phone and as I was doing that some guy was sitting there and there was cars behind him and he was like [mimics man’s gesture] like waving me out. And I was so upset. Like I immediately got up, put my phone down. I immediately drove away but- I wasn’t even thinking I shouldn’t have done that. I should not have done that. But it was just like “what!” There’s a guy sitting there waving and angry at me because I was sitting in my car. It’s like I am sitting in my car. I shouldn’t have to leave. Mad at myself that I did that but from now on I am not moving. I don’t care if they follow me around the whole parking lot get to my car. I am not moving.