视觉语法视角下儿童立体书的多模态话语分析

殷莹莹

[摘 要] 基于Halliday提出的社会符号学理论和系统功能语言学理论，Kress和van Leeuwen创建了视觉语法理论。以立体书《这就是中国》为例，从视觉语法角度探讨和分析该类型书籍中立体书的多模态元素，以揭示儿童对中国历史文化的认知过程。研究发现，该立体书通过立体图像和文字的组合，具有再现意义、互动意义和构图意义，可有效帮助儿童加深对中国历史文化知识的理解和记忆。

[关 键 词] 多模态；视觉语法；立体书；中国文化

一、引言

多模态话语分析以图像、颜色、声音、文字等多种形式的语言符号和其他符号资源的相互配合为基础，为人们研究语言现象提供了新的视角。视觉语法是多模态话语分析研究的一个分支，是在Halliday的系统功能语法基础上发展起来的一种新的研究方法。目前，已有不少学者对儿童立体书进行了研究。然而，以往的研究主要从立体书的功能、结构设计、形态研究等角度来探讨儿童立体书，鲜少从视觉语法理论角度展开研究。因此，本文以《这就是中国》为例，在视觉语法理论框架下做以下探讨：（1）该类型书籍如何体现再现意义、互动意义和构图意义；（2）该类型书籍中立体图像和文字等多种模态如何有机结合构建整体意义。有望对多模态儿童立体书的设计有所启示，从而增强儿童的阅读兴趣。

二、理论背景及相关研究

（一）理论基础

Halliday（2008）认为，语言的元功能在系统功能语言学范式内分为概念功能、人际功能和语篇功能。概念功能与语言的信息内容有关，涉及人们如何通过语言来表达关于世界的事实、观点和经验。人际功能与语言在社会交往中的作用有关，它涉及人们如何使用语言来表达情感、建立关系、影响他人和实现自己的意图。语篇功能与语言在组织和呈现信息方面的作用有关，它涉及人们如何使用语言来构建连贯的篇章和对话。Kress和van Leeuwen（ 2006） 将系统功能语法的三大语言元功能拓展到视觉模态层面，创建了视觉语法，其核心内容包括再现意义、互动意义和构图意义，分别对应系统功能语言学的概念功能、人际功能和语篇功能（吴安萍、钟守满，2014）。

再现意义指的是图像或视觉元素所代表的对象、场景或概念。它涉及图像能够再现或表示的具体内容和信息。再现意义可分为叙事再现和概念再现。叙事再现指的是展开的动作和事件、变化的过程和瞬间的空间安排（韦琴红，2008）。概念再现是“一种概括、稳定和没有时间限制的精华再现参与者”（韦琴红，2008）。两者的区别在于叙事再现中存在着由图像元素之间的斜线构成的矢量（叶佳敏、陈桦，2023）。

互动意义指的是图像或视觉元素与观众之间的互动关系以及产生的效果和情感。互动意义涉及两个主要参与者：再现参与者和互动参与者（吴安萍、钟守满，2014）。再现参与者是指图像中的主体，通过图像呈现给观看者。互动参与者包括图像的观看者和制作者，他们是通过图像进行相互沟通和交流的主体。参与者之间的互动关系主要表现在接触、社会距离、态度和情态等方面（Kress&van Leeuwen，2006：115）。接触指的是图像与观看者之间的视线交流过程。如果图像中的人物与观看者有直接的眼神接触，那么该图像行为就是索取类接触；反之，则是提供类接触。距离反映了图像中再现参与者与观看者之间的亲疏关系（叶佳敏、陈桦，2023）。近距离表现亲密关系，中距离表现社会关系，远距离则表示陌生关系。态度是通过视角来体现的，包括水平视角和垂直视角，视角反映出观看者对再现参与者所持态度的主客观程度（Kress&van Leeuwen，2006：129-140）。情态指再现参与者的真实度或可信度，其数值值有高、中、低三类（Kress&van Leeuwen，2006：155），可以通过色彩饱和度、线条、光线和阴影等实现图像中情态的高低值。

构图意义指的是图像或视觉元素在布局和组合上的安排和组织方式。构图意义主要通过信息值、显著性和框架来实现（吴安萍、钟守满，2014）。信息值是通过成分在构图中的位置实现的，如上下、左右、中心和边缘。显著性是从不同程度吸引观看者注意力的成分，通过成分突显可看出成分关注度和重要性（吴安萍、钟守满，2014）。框架指表达象征图像中的元素在某方面是否彼此相属。往往利用分割线和实际的框架线条连接或者切断图像中的元素来表达（滕达、苗兴伟，2018）。

（二）文献综述

国内关于多模态语篇分析的研究主要有：李战子（2003），论述了多模态语篇分析理论及其在外语教学中的重要作用；胡壮麟（2007）讨论了社会符号学的多模态化，并介绍了计算机符号学；张德禄（2009）以系统功能语言学理论为基础，构建了一个多模态话语分析的综合框架，并探讨了各个模态之间的关系，为我国多模态语篇分析提供了新的思路。

多模态话语分析在新闻、电影、海报、宣传片、广告、绘本等方面有着广泛的应用。但很少有研究将多模态话语分析应用到儿童立体书领域。儿童图书领域中立体书这一新颖的形式是对传统纸质图书阅读习惯、阅读方式以及儿童认知能力的有效补充。视觉语法理论在儿童图书领域具有较强的适用性。立体书作为一种多模态的儿童文学形式，融合了视觉、听觉和触觉等感知模态，为儿童提供了更加丰富和多样的阅读体验。因此，结合多模态话语分析与视觉语法的相关理论，对儿童立体书的研究具有一定的理论与实际意义。这既能加深我们对儿童文学的认识，又能给儿童文学的设计与创意带来新的思想与方法。未来的研究可以进一步探索立体书中多种符号资源的互动方式，以及它们如何影响儿童的阅读体验和认知发展。

三、儿童立体书《这就是中国》的多模态话语分析

《这就是中国》3D立体书由中国大百科全书出版社出版，适合7～10岁儿童阅读。该立体书以中国七大文化遗产为主题，包含北京故宫、苏州园林、秦兵马俑、敦煌莫高窟、杭州西湖、布达拉宫和万里长城七大立体绝景。该立体书将七大立体景观通过层次叠加的方式制作成立体模型，让读者亲身触摸、拼插，使读者获得了全方位的体验。从语篇形式来看，该立体书以立体图像为主，语言为辅，是立体图像与语言符号两种符号相结合的多模态语篇。

（一）再现意义

基于视觉语法理论，该立体书以概念再现为主，叙事再现和概念再现交叉共同构成了语篇的再现意义。概念再现意义包括分类过程、分析过程和象征过程（叶佳敏、陈桦，2023）。其中，分析过程又细分为非结构性分析过程和结构分析过程。非结构性分析过程只展示承载者所拥有的特征，不展示承载者本身；结构性分析过程中既有承载者，同时又反映承载者所拥有的特征（叶佳敏、陈桦，2023）。如图1所示，立体书《这就是中国》将长城呈现在读者面前，既展现出事物本身，又体现出景观独特的细节及其所拥有的特征。此结构性分析过程体现出典型的概念再现意义。

同时，该立体书也体现了叙事再现意义。叙事再现进一步分为动作、反应、言语和心理过程。例如，“拉萨布达拉宫”篇章中，在这座庄严而神圣的雪域圣殿下方，有关于布达拉宫的简要介绍以及与这座宫殿相关的历史知识。如图2所示，立体书《这就是中国》向我们展示了“松赞干布迎娶文成公主”的画面。图像中吹响号角的随从，为公主献上“哈达”的侍女，这些人物的动作以及身体弯曲的弧度都构成了显著的“矢量”，形成了“动作过程”。图像中松赞干布和文成公主以各自的姿态接受对方的礼节，形成了“反应过程”。该立体图像成功地实现了概念再现和叙事再现，将一个故事情节以图像的形式传达给观者，激发他们的想象力和参与感，并让他们更深入地理解了中国历史文化。

（二）互动意义

由上文可知，在接触、距离、态度和情态等方面与读者建立互动，立体书能够提供更丰富、更具吸引力的阅读体验。

第一，该立体书通过提供类接触与读者建立互动。这些立体图画通过再现著名景点和文化遗产，提供了观者与这些地方的虚拟接触，为观者营造出虚拟的、与实际旅行相似的体验，并帮助观者与这些文化和自然遗产建立情感和认知上的联系。

第二，该立体书通过近距离与读者互动。通过近景与特写，观者能够更直接地感受到气势恢宏的故宫、高低错落的石窟全景、蜿蜒曲折的万里长城等。该立体书“特写”了每个篇章中的重要历史，将其隐藏在“机关”中。读者按照提示打开折叠的立体图画，既可以提高读者的参与感，又可以给读者带来独特的阅读体验。

第三，该立体书通过全方位视角与读者建立互动。不同的视角可以带给观者不同的视觉体验。垂直视角体现权力关系，仰视突出立体图画中建筑物的气势磅礴，而俯视强调观者的角度，观者可以获得对立体图画中景点或建筑物的全景视野；水平视角不涉及权力关系，这种视角通常处于与观者眼睛相同高度的位置，传达出真实感和身临其境的效果。

第四，该立体书通过高情态的表现手法与读者建立互动。通过选择特定的色彩调性、饱和度和亮度，该立体书传达出特定的主题和文化特色。例如，北京故宫以红色、黄色和金色为主，展现了中国古代建筑的典型色彩。这些色彩呈现出庄严、华丽和富丽堂皇的氛围；秦兵马俑以棕色和土壤色为主，刻画出秦兵马俑的古朴、稳重和典雅；杭州西湖以绿色为主，还包括淡蓝色和淡紫色等柔和的色彩，营造出宁静、优雅的氛围。通过远近色彩的对比，该立体书呈现出景深和距离感，使观者感受到画面的立体性和空间感。这种色彩的运用可以与观者的视觉系统进行交互，增强立体图画的视觉冲击力和真实感。

（三）构图意义

通过巧妙的构图，立体书设计者可以引导观众的目光流动，强调重要元素或创造特定的视觉效果。该立体书将元素置于“上-下”和“中心-边缘”来体现其信息值。元素位置居上传达理想的信息，居下传达实际的信息；中心位置传达核心的信息，边缘位置传达次要的信息。敦煌莫高窟、杭州西湖、布达拉宫和万里长城为“上-下”构图，上方展示立体图像，下方则展示文字、“机关”等具体的元素。北京故宫、苏州园林、秦兵马俑为“中心-边缘”构图，立体图像置于页面的中心位置，周围用“机关”和文字填充相关的具体信息。通过合理的构图和元素排列，该立体书突出展示了景点或建筑物的关键特征和重要信息。这也恰恰体现出该立体书的显著性。通过多层次布局，该立体书将主要物体放大，使其在立体图像中占据较大的比例，并调整其色彩饱和度，使其在图像中更加醒目和突出。

该立体书通过颜色和分割线将内容进行连接和分割，使其形成“上-下”和“中心-边缘”的框架。立体图像以其主题颜色为主，而文字以相似的浅色为背景，两个框架使用不同的色调，可以在视觉上将内容划分为两个区域，形成分割的效果。通过垂直或斜向的分割线，该立体书将内容分割成不同的部分，将立体图像与周围的文字内容分离开来，同时有助于连接相关的元素。图像和文字相辅相成，共同实现了整个语篇的意义。

四、结论

本文以视觉语法为理论基础，对儿童立体书《这就是中国》的再现意义、互动意义和构图意义进行了多模态分析。研究发现：立体书《这就是中国》作为一种多模态媒介，以其独特的视觉语法元素，为儿童再现了中国七大绝景。通过有效的组合和互动设计，立体书不仅激发了儿童对中国历史文化的兴趣，而且促进了他们对知识的深入理解和记忆。因此，立体书在儿童教育中具有广阔的应用前景，并为教育者提供了一种创新的教学手段。

作者单位：西安外国语大学