论视觉多模态话语的符号间性与认知功效

荣盈盈，戴培兴，阮 瑾，吴苏苏

（东华大学 外语学院，上海 201620）

随着数字化信息技术的飞速发展，一场革命已经在教育、文化、传播等领域里悄然发生，其结果就是在公共交流中，语言和文字的传统地位已经被撼动了，一种全新的多模态的话语形式已经深入到人们生活的方方面面［1］，甚至越来越多地处于突出的地位。

一、多模态话语

多模态话语是人类的生物性特征的表现，它涉及到多种感官的应用。人类可以通过不同的感官实现多重模态的交际：视觉模态（眼）、听觉模态（耳）、味觉模态（舌）、嗅觉模态（鼻）和触觉模态（皮肤）。从技术的意义上来说，多模态可解释为专指融合两种以上“传播手段、方式或载体”的、人机交互式的信息交流和传播的媒体。从符号学的意义上来说，多模态是指在交流活动中不同符号模态（semiotic mode）的混合体［2］，同时也可以表示不同的符号资源（semiotic resource）被调动起来，在一个特定的组合中共同构建意义的各种方式［3］。也有符号学者认为，判断多模态的标准有两条：一是看话语中涉及的模态种类有多少；二是看话语中涉及的符号系统有多少。虽然视觉模态只涉及了一种模态，但是其中所使用到的符号系统常常包括了文字和图像两种。因此，这种“图文并茂”的话语通常也被称为多模态话语［4］。在现实生活中，语言符号与非语言符号，如标志、图像、手势、表情和颜色等，一起形成一种更为宽泛的符号资源，它们具有相同的地位，共同参与意义建构。

二、话语多模态与认知心理

话语多模态是人类交流或人际交流的自然形态。实验心理学家Treicher的实验证明：人类获取外部世界的信息途径，83%来自视觉，11%来自听觉，还有6%来自嗅觉、触觉和味觉［5］。来自不同途径的信息都会刺激大脑的认知。认知有许多组成部分，如感觉、知觉、注意、记忆、动作、思维、学习、语言等，它们相互依赖、相互影响［6］。认知心理学认为，认知是指通过心理活动获取知识或经验，这是人类最基本的心理过程。人脑接受外界输入的信息，经过大脑的加工处理后，转换成内在的认识活动和意向活动，即从感知觉和思维转到欲念、动机、意图、情绪、意志等。这种转换过程就是人类的认知过程或信息加工过程。话语多模态为人际交流提供了最优的信息输入方式和最佳的信息输出方式，满足了人类个体的认知活动的需要和实际应用的需要。

三、视觉多模态的符号间性

视觉系统是人类获取外部世界信息的主要方式，“视觉多模态指的是除了文本之外，还带有图像、图表等的复合话语……”［7］，或 “超出文字语言符号以上的多种符号语篇”［8］的话语。所以，它们之间应有某种相互作用的功能或特性：

（一）语义互补性

功能语言学家Halliday［9］认为，现实世界是由各种过程组成的，其中有物质过程、心理过程、关系过程、行为过程、话语过程和存在过程。图像不具备表现所有过程的能力，它难以甚至不能表现心理过程和关系过程等，对图像来说更容易表达的是物质过程、言语过程和存在过程。而文字却擅长于描述心理过程、行为过程和关系过程。因此，视觉多模态可以弥补对方的不足或缺陷，使它们两相呼应，互为补充［10］。

（二）语境协同性

从系统功能语法的角度来看，如果将整个静态的“图文并茂”的视觉多模态看成是一个语篇，那么图像就是文字的语境。反之，文字就是图像的语境。二者互为语境，在意义的现实化过程中互相作用，相互修剪无关的意义衍生，更加明确地限定了语篇的意义范围，从而帮助读者筛选出恰当的意义潜势。二者之间的关系是两相独立却又相互协同的。

（三）形式独立性

尽管视觉多模态中的文字和图像是在共建同一主题和语篇，实现相同的交际目的，但由于它们是不同的模态，两者有不同的表达意义的形式机制。图像模态以视觉语法表达意义，使语篇产生具象和情景的特点。而文本模态以功能语法表达意义和生成意境。它们在建构语篇整体意义上都各有自己特殊的贡献。

（四）色彩冲击性

视觉多模态不仅仅包括语言和非语言符号的形态，也包括这些符号本身的色彩。色彩是一种自然属性，人的视觉对于色彩有特殊的敏感性，俗话说“远看色彩近看花，先看颜色后看花，七分颜色三分花”。这就说明，色彩对人的视觉有强烈的冲击性。色彩是与人的感觉（外界的刺激）和人的知觉（记忆、联想、对比……）联系在一起的。当人在不同颜色的环境中，他（她）的脉搏、血压、情绪和脑电波都会有明显的不同，这是因为人的生理会产生电化反应。色彩心理学家认为，在自然欣赏和社会活动方面，色彩在客观上是物质世界的反映，但在主观上又是一种心理感受和行为反馈，色彩感觉总是存在于色彩知觉之中。

四、认知功效的对比实验

鉴于视觉多模态话语在认知理论方面的诸多优势，作者精心设计了下列实验，以揭示它对学生的认知产生的实际效应。

（一）实验方法

参加本实验的对象为上海某高校“大学英语”课程二级起点的两个小班的学生，共62人，其中一班32人，另一班30人。其课本为《新视野大学英语（2）》。由于他们的英语分级测试成绩基本在同一水平，所以这两个班的学生分别代表了实验组和对照组。

本次研究为定性与定量分析相结合，具体方法如下：（1）阅读理解测试；（2）词汇测试；（3）关于物理动作与心理活动的问卷调查（15项）。其中，阅读材料来源于《全新版大学英语综合教程（3）》，内容为学生熟悉程度不高的科技型题材以确保测试结果不受学生背景知识差异的影响，全文共1 333个单词，其中生词41个左右（约占3．1%），生词量很接近常规比例 （3%）；阅读理解测试题大都源于该阅读材料中的课后练习，并改编成选择题，方便学生作答；问卷调查由三部分组成，即“对测试材料的认可反应”，“阅读测试中的物理动作”和“阅读测试中的心理活动”。前两个部分直接采用了美国著名应用语言学家Oxford的语言策略量表（Strategy Inventory for Language Learning，SILL）中的部分问卷。此表分类框架具体完整，包含了其他研究者对外语学习策略分类框架的主要内容和特点，因此在外语学习策略研究领域有代表性和较大的影响力。第三部分直接采用认知行为量表（Cognitive Behavior Rating Scale，CBRC）中的部分问卷。此表涉及认知行为的9个具体方面，是认知学和心理学领域公认的最具权威性的问卷调查之一。

根据本研究设计，提供给实验组学生的阅读材料为多媒体网络课件，其中包括彩色图片18个，蓝色标记词6个。实验组的学生借助语言实验室的电脑阅读此课件，他们可以点击课件中的超链接，欣赏不同的画面，感受丰富的色彩等；而提供给对照组学生的只是传统的白纸黑字的阅读材料。

（二）实验过程

在学生知识背景和测试要求基本相同的条件下，两组实验分别按下列程序进行：

步骤一：在做实验时，要求实验组和对照组的学生分别在30分钟内完成阅读与理解测试题（10个）；

步骤二：上述阅读与理解测试进行过后，在两组学生都无法再接触到阅读材料的情况下，要求他们在5分钟内完成词汇短期记忆测试（35个词）和关于物理动作与心理活动的问卷调查；

步骤三：上述调查结束后，再过10分钟，分别要求这两组测试者在5分钟内完成词汇长期记忆测试（35个词）。

上述实验完成后，将所有数据输入计算机，用SPSS进行分析，统计平均值、标准差、On－way ANOVA、以及其他相关系数。

事后，作者又以同样的步骤补充了另一组实验，共有39名学生参加，其英语水平与前两组相同。此实验组（非限制组）在阅读与理解测试的时间和任务两个方面不受限制。实验结果用来与实验组和对照组分别进行对比。

（三）实验结果分析

表1中所显示的实验数据反映了部分的认知功效。在对测试材料相关内容熟悉程度和兴趣度无明显偏差的情况下（区分度①区分度以0．05为分界点，0．05以下为大，0．05以上为小。分别为0．971和0．308），实验组和对照组的认知结果对比如下：

表1 实验组与对照组认知功效对照

续 表

（1）在阅读注意力跨度方面，实验组与对照组之间存在十分显著的差异，区分度为0．000；

（2）在新词词义的短期记忆方面，实验组明显好于对照组，区分度为0．025；

（3）在新知识点的长期记忆方面，实验组也好于对照组，区分度为0．049；

（4）在文章与词汇的综合理解方面，实验组明显优于对照组，区分度为0．036；

（5）在文章、词汇和问答的综合测试方面，实验组也明显优于对照组，区分度为0．045。

（四）讨论

对比测试的结果表明：视觉多模态的阅读方式，在有时间限制的条件下，比单模态更具优势，它能非常明显地延长读者的注意力跨度，显著提高读者对文章和词汇的理解水平，尤其能很明显地促进读者对新词词义的记忆。然而，在深入研究多模态话语的认知功效时，我们还需要认真思考以下几个关系。

1．多模态信息输入与时间压力的关系

实验结果明确显示，由于受到30分钟的时间限制，实验组成员不能充分地“点击”图片，也不能充分地利用多模态来增强理解和记忆（点击数为平均22．97次／30 min）。可是，在无时间限制的情况下，非限制组成员对图片和其他超链接的“点击”就远远超过有时间限制的实验组，点击数为平均31．90次／45 min（平均用时），区分度为0．025（表2）。因此，多模态阅读并不节省工序。

表2 实验组与非限制组 “点击鼠标数量”对照

2．多模态信息输入与任务压力的关系

任务压力与时间压力往往是交织在一起的。有时间限制的实验组成员迫于时间压力，从而忙于测试任务的完成（平均完成量为96．09%），无法尽兴地阅读各种图片和其他拓展类信息。相反，没有任务压力的非限制组成员则能更多地享用多模态阅读，但是，他们完成任务的比例就明显地降低了，按每人平均用时45分钟计算，他们完成了91．41%的任务，可是，如果按比例折算，在30分钟的时间内，他们仅完成了60．94%的任务。相反，对照组成员在30分钟的时间内却完成了97．23%的测试任务（正确率和记忆量除外），因为他们只能进行单模态阅读，无法拓展信息。这就表明多模态阅读并不省工时。

3．多模态阅读与疲劳度的关系

在疲劳度方面，三组相比有显著性差异（表3），有时间限制的实验组的疲劳感最强，平均值为3．03；而对照组的疲劳感最弱，平均值为2．50；非限制组居中，平均值为2．62；三组区分度为0．048。这就说明多模态阅读是最累人的。

表3 三组“疲劳度”对照（ANOVA）

五、结论

正如Norris所说，现实生活中“所有的交际都是多模态的，并且已渐渐远离了在交际中总是语言起中心作用的状况”［11］。视觉多模态以其文字、图像、色彩的天然和综合的优势，在阅读中强化了学生的认知活动。这是由于在意义创建的过程中，“静态图文”视觉多模态相互依存、相互协调、互为依托。图像的视觉语法和文本的功能语法共同构建了视觉多模态话语的完整的语篇、语境和语义。同时，由于多彩的视觉多模态本身具有强大的吸引力，并对读者的视觉具有强大的冲击力和对记忆产生持久的渗透力，其认知功效得到更充分的显现。但是人们的大脑在信息处理的过程中，不可避免地受到时间压力和任务压力的影响，这就使人们的大脑在认知过程中所消耗的能量明显加大。因此，作者认为：多模态话语的认知功效是相对的，它是以时间为做工成本的，以精力耗费为代价的。然而，由于视觉多模态具有天然的吸引力和冲击力，这种成本和代价以及由此而引起的疲劳常常被忽略。如果我们充分认识到话语多模态对认知的积极作用，同时也充分认识到提高认知功效的相关条件，那么多模态英语教学就会开展得更趋合理和更加有效。

［1］Kress，Gunther．Multimodality［A］．Cope and kalantzis．（ed．）Multiliteracies［C］．London：Routledge，2000：182－202．

［2］Leeuwen，J．van（2005，June 7）．SciencefortheInformationAge．Delft，ICT Congress 2005：281．

［3］Baldry ＆ Thibault．Multi－modal Transcription and Text Analysis［M］．London and Oakville：Equinox，2006：21．

［4］朱永生．多模态话语分析的理论基础与研究方法［J］．外语学刊，2007，（5）：82－86．

［5］高定国，肖晓云．认知心理学［M］．上海：华东师范大学出版社，2004：120－121．

［6］唐孝威．统一框架下的心理学与认知理论［M］．上海人民出版社，2007：209－215．

［7］李战子．多模式话语的符号学分析［J］．外语研究，2003，（5）：1－8．

［8］曾蕾．动态多符号语篇的整体意义构建［J］．外语艺术教育研究，2006，（3）：42－48．

［9］Halliday，M．A．K．An Introduction to Functional Grammar［M］．London：Edward Arnold，1994：106－107．

［10］Kress，G ＆ Van Leeuven，T．ReadingImages：theGrammarofVisualDesign［M］．London：Routledge，1996：16．

［11］Norris，S．Analyzing Multimodal Discourse：A Methodological Framework［M］．London：Routledge，2004：3．