多模态话语分析下我国原创绘本中传统艺术的视觉叙事研究

[摘 要] 基于图像分析法，以克莱尔·佩因特的图像叙事框架为模板，探究以中国传统艺术表现手法为主的原创绘本所运用的图像叙事语言，总结其特有的图像叙事结构及与国外绘本的视觉语法运用差异。从绘本的图像叙事内部结构入手，着重分析绘本的图像视觉元素，包括单幅和连续性意义表达的成组画面，由画面人物关系与读者情感互动、事件发展进程、画面与文字版面构成三个方面分析原创绘本的图像叙事。

[关键词] 原创绘本 传统艺术 多模态话语分析 视觉叙事

[中图分类号] G232 [文献标识码] A [文章编号] 1009-5853 （2022） 03-0043-08

A Study of Traditional Artistic Visual Narratives in Original Picture Books Based on Multimodal Discourse Analysis

Qi Fenfen

（School of Art，Henan Institute of Science and Technology，Xinxiang，453000）

[Abstract] Based on western image analysis and using Clare Painter’s visual narrative framework as a model， this study explores the visual narrative language used in original picture books based on traditional Chinese artistic expressions and summarizes the unique Chinese visual narrative structure and the differences in the use of visual grammar from foreign picture books. This study starts from the internal structure of the pictorial narrative of picture books， focusing on the pictorial visual elements of picture books， including single and continuous meaning-expressing groups of images， and analyzes the pictorial narrative of original picture books from three aspects： the relationship between characters and the reader’s emotional interaction， the process of event development， and the composition of the picture and text layout.

[Key words] Original picture book Traditional art Multimodal discourse analysis Visual narrative

繪本是儿童的第一本读物，它能够帮助儿童建构精神世界，培养多元智能。目前在中国，国外引进版绘本占比远远高于国内原创绘本。低龄儿童在自我意识刚刚建立的初始阶段大量接触外来文化不利于发展其对本民族的身份认同感，母语文化应该在孩子的心灵扎根，为孩子提供精神支撑，中国孩子需要在阅读中形成植根于中华文化的思考和表达，因此怎样使中国原创绘本展现中华优秀传统文化是一个值得思考的问题。

绘本包括文字和图画两个组成要素，图画关系到绘本的艺术性以及绘本阅读的意义和价值，当前对绘本的研究，特别需要对图像这种特殊的表达方式和叙事体系展开深入的认识和发掘。对图画而言，图在外表上以静态呈现，看似缺乏对读者解读过程的引导性，或者说对视觉线索的规定性较弱，但实际上眼睛对图片的阅读是遵循一定的法则的。纯粹而独立的单个图像本身或许无法全面地运用叙事法则，但可以通过叙事元素的组合、叙事策略的应用、叙事结构的设计使叙事内容获得充分的意义，绘本要通过连续的图画组合合理地讲述故事，表达深层意义也需要遵循视觉叙事语法。对视觉语法的解读取决于不同的艺术文化背景和图像符号认知，因此本文的研究重点是总结以中国传统艺术表现手法为主的中国原创绘本的视觉叙事结构并对它进行符合中国传统艺术理念的图像化解释。

1 克莱尔·佩因特的图像叙事框架简介

视觉叙事语法建立在多模态话语分析理论的基础之上。多模态话语分析是在英国学者韩礼德（Halliday）创建的系统功能语言学的基础上做出的突破，它打破了语言学领域边界，认为意义的构建依赖于所有符号资源的相互作用，语言只是其中的一种。于是学者们将研究范围扩展到多个研究领域，将文本与不同的符号模态结合在一起，如克瑞斯和范勒文（Kress and Van Leeuwen）强调视觉模态间的互动研究，通过海报、广告中的视觉图像传递意义。

克莱尔·佩因特（Clare Painter）在克瑞斯和范勒文的研究基础上，重点考察了连续图像的视觉叙事过程，详细地对视觉语法进行了归类概括，从静止的画面发展到联系上下文全面考虑视觉转化的动态视角，探讨图文互动的意义。他运用多模态话语分析框架从三个方面展开对视觉语法的探讨：（1）人际意义（Interpersonal），主要探讨图像参与者之间的社会关系（角色间的关系）、图像设计者想要实现的交际目的以及看图者对图像的介入程度（读者与角色的关系）;（2）表现意义（Representations），主要探讨不同图像类别或者图像中不同元素之间的关系;（3）视觉空间构成（Composing visual space），主要研究图像与文字的位置关系、信息分布关系或图像在画面中的布局分配。

这三个方面全面涵盖了绘本涉及的所有视觉要素，而这些要素在绘本中呈现出的特有的视觉符号语言可以很好地传情达意，帮助读者理解故事。但是西方的图像符号基于特定的文化背景，并不能完全解释表现中国传统文化题材的绘本，因此要结合中国传统艺术构成法則及传统艺术符号，探究传统绘画的造型法则和文化隐喻，用中国独有的艺术审美标准来分析具有中国传统艺术表现形式的绘本，这样才能让绘本从内部结构到画面风格再到文化内涵全面反映中国传统艺术的文化价值。

2 研究方法

本研究以克莱尔·佩因特对绘本视觉叙事部分的研究成果为理论框架，依据典型性样本选取原则，挑选《神马》《美猴王孙悟空》《孟姜女哭长城》《梁山伯与祝英台》《宝儿》《进城》《漏》《神笔马良》《和风一起散步》《梅雨怪》10本以中国传统艺术为表现形式的原创绘本，结合多模态语义分析模板，用NVivo12.0质性分析软件对这10本绘本的184幅画面的内容进行图像编码，并与模板概念一一对应、归类，总结出以中国传统艺术为表现形式的原创绘本的视觉叙事框架。

NVivo12.0软件是以编码为主要手段的定性研究工具。在研究之前，对研究样本不预先建立理论假设，遵循多模态模板中已有的概念作为节点分类，将184幅画面逐一对照相应的概念进行编码。当184幅画面作为参考点完成编码后，可以从占比高的参考点初步看出中国传统艺术原创绘本的视觉叙事框架特征。

3 研究结论

根据佩因特的视觉分析叙事框架可以得出人际意义、表现意义、图文空间三个核心节点以及每个核心节点下的主轴编码（建立树状节点），主轴编码中由于画面的表达语言不同可以继续细分为不同的节点分类，184幅参考画面被带入这些节点分类。一一归类编码最终形成表1—表3的结果。

3.1 原创绘本的人际意义建构

视觉语篇的人际意义建构可以从两个方面考量：读者与画面中角色之间的关系以及画面中故事角色之间的关系，其中聚焦系统、氛围系统、情感系统、代入性和从属地位反映读者与画中角色的关系;亲近感、社交距离和方向考察角色间的发展关系。

3.1.1 读者与画面中角色之间的关系

聚焦系统。聚焦系统里包含多种画面语言来表现角色的视角，目光是重要的线索。根据佩因特的理论，画面中的视角可以用来判断图像中的主角是否与读者产生了视觉接触。如果主角视线看向画外直视读者，通过目光接触读者会被带入故事情境。按照视角标准，图像可分为无介质和有介质两种表现方式，冯德正用电影术语把无介质解释为客观视角，把有介质解释为主观视角，主观视角又分为直视主观视角和通过推理引发主观视角。主观视角可以让图像与读者之间产生互动关系，让读者参与到故事的叙事之中，在故事中引起情感共鸣。如果故事中的角色没有与读者发生视觉交流，则读者是以旁观者的视角阅读故事，不会在故事中投入情感或者对人物角色产生情感认同。从表1可以看出，这10本绘本在表现人际意义时普遍选择一种或两种视觉表现手法。在所有样本中，有179幅画面用一种方式表现人物关系，在96%的画面中角色没有与读者发生目光接触，故事中的角色只存在于绘本描述的世界中，依靠角色间的情境交流完成情节的递进，读者站在旁观者的角度客观地去观察和审视整个故事，自主选择接受或拒绝插图作者提供的信息，而不过度参与故事;只有4幅画面的角色看向观众，与读者形成情感联系。

氛围系统。图像叙事的风格表现和色彩设置可以引导读者的情感介入，氛围系统由色彩烘托，情感系统靠艺术风格展现。在氛围系统中，佩因特认为运用绘画技法中色彩明度和纯度的搭配原理，可以激发或者缓和故事中的情绪。比如高明度高纯度的色彩充满活力，低明度低纯度的柔和色调表现温馨或者忧郁。这些色彩运用法则会对读者心理产生不同的情感暗示，继而随着故事情节跌宕起伏而引发读者情绪波动。不过，他认为黑白或单一色调呈现不会让读者对故事内容产生代入感，这个观点不能解释中国原创绘本中的色彩。中国传统水墨画推崇“笔意”，作画时迷恋“墨戏”，轻色调而重浓淡，秉承“五色令人目盲”的思想，注重物象的内在精神而消极对待色彩。受中国传统绘画影响，很多原创绘本将水墨作为创作媒介，如《漏》和《梅雨怪》，在看似单一的色彩中用虚实浓淡的层次寻求画面中的气氛表达。

情感系统。在情感系统中佩因特归纳了四种风格表现读者的参与感。最简化的是鉴赏类风格，用抽象或简洁的画面表现形式展现故事;移情类风格表现接近现实生活中真实的人物和场景，容易识别但无法确定具体的人物形象;个体类风格最真实细腻，用类似照片的写实手法展现细节，容易对低龄读者产生亲近感和熟悉感，从而与真实世界连通发生共情;与读者产生疏远情绪的是剪影类风格，不会触发读者的情绪。样本分析显示，没有画面表现个体风格，而鉴赏类风格和移情风格占比最多，有8本绘本151个画面采用这两种风格。因为样本都采用传统艺术表现形式，主要是运用中国画和民间艺术两类表现技法，中国画以工笔为主要代表，如《神笔马良》和《神马》，虽然画工细腻，具象写实，但以线条为主的平面造型感和西方科学严谨的立体写实再现方式不同，不能真实呈现场景，无法让读者产生代入感。以水墨为表现形式的《漏》用简洁抽象的表现形式限制了读者的情感体验，读者无法体会到故事发生时的真实情景，使得故事脱离现实生活，而把重点引向诙谐风趣的故事变化中，引导读者的思维随着情节跳跃。剪影风格最具代表性的是《进城》和《梁山伯与祝英台》， 用单一的色彩块面和线条构建人物关系，推进故事发展，这些样本中的故事主题大多是历史题材或者神话传说，因为故事内容历史久远，情节虚幻夸张，视觉表现手法运用也并没有引导读者走入故事世界，读者的体验停留在对情节发展的认知阶段，因此故事中的人物不会与读者产生情感共鸣。

代入性。图像中场景的视觉角度选取会代入读者的情绪。代入性通过视觉角度考量读者与故事角色的心理距离，结合克瑞斯和范勒文的视觉符号分析，当画面呈现平行透视时，读者内心更贴近故事内容，如果呈现角透视时，读者与故事发生分离。这个定义与中国传统艺术的表现法则不同。西方绘画注重科学地观察和表现对象，用焦点透视如实再现客观现实，而中国传统艺术遵循散点透视原则，全方位多角度展现创作者的主观思想。这种中西方的文化差异在绘本创作中有所体现。比如，在绘本《梁山伯与祝英台》的画面中，反复出现主要人物引导读者视线移动的情境，充分表现出中国原创绘本不同于西方绘本的独特的视觉叙事方式。样本中有158幅画面用平行透视展现故事的发展进程，这并不是说创作者有意隔绝读者与故事的交流，而是借用中国古代传统艺术可游可居的审美理想来向读者全方位地展现故事场景。

从属地位。按照克瑞斯的理论，从属地位表现读者和画面中人物的地位阶层，当画面呈现俯视视角，表明读者站在至高的上帝视角俯瞰画面中的人物，反之亦然。在10本原创绘本中有156个画面采用平视视角，一方面表明读者与故事人物对等的地位，另一方面侧面反映出原创绘本运用镜头技法的多样性有待提高。有5本绘本中的28幅画面呈现俯视视角，这有助于故事情感的渲染，如《孟姜女哭长城》中大量运用了俯视视角，依据克瑞斯的解释，可以理解为作者用俯瞰视角目睹了千万名修建长城的劳工卑微而惨痛的奴役生活，以及在暴政的强压下任人宰割的悲惨命运。

3.1.2 画面中故事角色之间的关系

故事中角色之间的关系信息是通过画面人物的位置、远近及运动方向等视觉符号来判断的。按照这个框架分析绘本画面能够更加科学地解构人际意义的产生过程。单个画面不利于表现情节发展，绘本的优势在于通过翻页改变人物位置，这种位置的改变可以交待三个要点：亲近感、社交距离和方向。

亲近感。在绘本画面中，读者通过人物间位置的变化可以感知人物的情感关系。面对面传达的是交流或者亲密的角色关系，背对背传递的则是分离或者疏远的角色关系。10本原创绘本都灵活多样地通过位置表现了角色之间的关系。

社交距离。角色与背景的社交距离可以用远景、中景、近景表现。远景镜头交待环境与角色的相互影响力，中景镜头表现角色之间的关系，特写或者近景可以展现角色面部或部分细节，从而让读者产生与角色互动的感觉。这与克瑞斯的解释近似，他认为远景选取表达陌生感，近景运用会对角色产生熟悉感，中景展现正常的社交距离。从表1画面展现社交距离变量的编码汇总可以发现，样本74%的画面采用中景镜头呈现故事发展进程，这是绘本常见的叙事手法。

方向。主要角色在一幅画面中占据的位置可以表现角色的运动趋势。根据佩里·诺德曼的观点，按照从左向右的观看习惯，左边展示已经发生的既有事件，向右表现事件发展或者展示发展结果，当人物处于画面右方，有引导读者翻页延续故事进展的作用，人物向左运动表现事件发展受阻，遇到困难、有危险出现，或者增加未知的神秘感。10本原创绘本的角色方向编码显示，人物多数处于画面中间位置并且被处理为稳定的姿态，用从左向右的阅读习惯交待事件和时间的发展，用人物占据画面右侧的信息位置，暗示故事继续发展的趋势，引导读者向后翻页延续故事情节。如《和风一起散步》就很好地运用了这个动态法则，人物从书页左侧进入，然后出现在书页右侧，呈现跃出或逃离的姿态，充满轻盈的动感并带动读者的阅读节奏。在7本绘本中有11幅画面表现了主角向左运动的趋势，为故事情节增添了曲折神秘的不安色彩。

借用佩因特的视觉叙事框架可以看出，汇总的样本图像编码的树状节点所对应的最高参考点数值，代表了展现人际关系时常用的表现手法。这些表现手法有些可以用西方学者的符号学理论解释，有些图像表现法则源自中国传统艺术，因此对它们的解释需要回归中国传统艺术的构成法则及传统艺术符号隐喻，这有助于提高中国原创绘本的传统艺术文化价值。

3.2 原创绘本的表现意义建构

表现意义主要反映事件发展进程。通過对样本的编码及统计，本文总结出原创绘本在表现意义的四个表征—人物表征、事件关系、场景变化及发展过程方面常用的视觉技法（见表2）。

人物表征。人物表征反映故事中人物的外部形象特征。人物出场及再现形象上发生变化可以很好地丰富人物性格，拓宽故事层次。依据佩因特总结的视觉叙事技法，可以通过部分展现、隐喻符号化呈现或者通过配件着装的加减来丰富人物角色形象，并在细节变化中暗藏作者的表现意图，等待细心的读者去发现这些巧妙的构思。但对10本原创绘本的调查显示，原创绘本对人物表征的体现并没有复杂的变化，呈现手法大多是重复原始形象。

事件关系。事件关系可以通过多种手段呈现。可以通过画幅的数量增减控制读者的阅读速度，从而把控故事的发展节奏;可以通过动作发生的前后画面引导读者的思绪，反映事件的因果关系，或者通过两幅画面的动作表现转折和意料之外的关系。如《和风一起散步》中，在一页篇幅里描绘了4个小幅的独立画面，展现了主要人物的4个不同动态，用多幅画面描绘同一场景下的不同动态，减缓事件推进的速度，用人物动态隐射人物心理，丰富故事的情感厚度。又如《梅雨怪》中用较多的画面描述一个动作过程，减慢动作完成的速度，使得画面节奏张弛有度。虽然有个别绘本运用了多元化的表现手法，但多数样本（130幅画面）采用保持平稳节奏的叙事方式呈现故事发展和事件关系，表现手法显得保守单一。

场景变化。9个绘本有103幅画面采用重新绘制新场景来表现故事发展进程。如果故事发生在一个固定的场景中，也可以让场景灵活多变，比如通过变换角色视角或者室内外场景转换的手法来丰富视觉效果。

发展过程。故事的发展主要通过角色的行为动作来推动，或者通过对角色的心理活动及人物感知的描绘来推进。画面中的附属配件或者道具也是很好的动态展现工具，它们的变化可以交待故事的发展进程。

概括而言，在展现故事发展的表现意义时，运用传统艺术手法的原创绘本在视觉叙事时多集中采用单一的视觉叙事手法，重复性强。可以借鉴佩因特的视觉叙事框架丰富表现故事进程的视觉语言。

3.3 原创绘本的图文空间建构

图文空间建构主要指同一图像中不同成分之间的分布或不同图像间的信息分布。

图文分布。视觉空间的构成着重关注文字与图画的布局框架，分为融合与互补两种图文关系。样本中77%的画面呈现为融合关系，文字浮在图像上，与画面共享一个背景，文字属于画面的一部分，与图画共同展现故事内容。这种共同性源于中国传统艺术书画同源的审美思想，书与画同质而异体，唐代张彦远的《历代名画记·叙画之源流》中用“书画同体而未分”解释了中国书法艺术的图像性。如绘本《漏》使用手写体文字，配合画面中人物形象的动势改变字体的形状、大小和位置，通过多种变化组合来加强视觉张力。这种以中国傳统艺术思想为理论基础的图文同质异体的视觉语法，可以为多模态语义分析理论注入传统东方文化的新理念。

取景。图像取景指通过版面布局、边框形式、背景留白等手法的改变来调整叙事节奏，使整个故事的展开张弛有度。在样本中，78%的画面表现出无边框和空白背景的视觉效果。诺德曼认为创作者运用边框是有意隔绝故事世界与现实世界，让读者从故事中分离出来。这个解释在这里没有说服力。留白技法是中国传统绘画常见的表现形式之一，看似空白实际并不空洞，在留白的空间里包含水汽、浮云、迷雾或是无尽的远方，读者可以根据画面意境进入画面并自由想象画中场景。样本中空白背景或无边框表现画面就是受中国传统绘画理念的影响，其中，《进城》将这种空白背景效果表现得淋漓尽致。借用这种传统的意境之源为当今读者讲述传统文化故事，也是中国原创绘本独特的视觉语言。

聚焦。克瑞斯认为根据形象的不同成分在画面位置中的分布情况可以确定旧信息和新信息、已知信息和未知信息，信息的起点、终点和焦点，这主要依靠信息结构、关联、定框和聚焦来实现。画面聚焦是插图创作者通过特定的布局分布赋予视觉元素重要使命，也就是画面的视觉聚焦点。绘本创作者通过聚焦元素的位置分布、大小变化可以凸显或淡化某些视觉元素，向读者暗示事件的发展动态，以此引导和操纵读者的注意力。中心聚焦是把主要关注元素放置在画面中心位置，以突出重要性;两极可以表现为垂直方向或者水平方向放置重要元素。同时还有打破平衡感的多重聚焦，重要元素重复出现或者分散布局，这可以使画面充满视觉惊喜，提高绘本的可观赏性。从样本数据来看，没有一种手法被集中使用，这表明创作者在引导读者关注画面重要信息时使用的表现技法灵活多样。

4 结 语

本研究对10本表现传统艺术的优秀儿童绘本图像进行视觉叙事表达分析。依据佩因特的视觉叙事分析框架，首先从人际意义探讨单幅画面中的图像及人物与读者的关系，样本多采用中国传统艺术表现技法，这决定绘本整体画面风格、色彩格调、空间表达等方面都不能真实逼真地展现故事场景，根据佩因特的解读，读者在观看时不会产生代入感，无法走进画面与故事中的主角产生共鸣。但是，以西方图像符号学为基础的视觉分析并不能充分合理地解释中国的视觉艺术元素，如果考虑中国传统艺术审美及构成法则，中国绘本在表现单幅画面时侧重用平面化及简练的艺术手法以及独特的画面视角，突显中国艺术的气韵和格调。其次，从表现意义方面探讨连续图像间画面元素的变化关系，其中有人物形象、故事场景、画幅数量、动作发生主体各要素的变化，用以推进故事的发展进程，原创绘本展现出连续一致的视觉叙事方式，没有体现出太多的画面变化。最后，从视觉空间构成讨论图像与文字的位置关系及信息分布关系，原创绘本展现出灵活多变的视觉焦点及中国绘画独有的留白艺术和“书画同源”的图文分配形式，为西方视觉叙事框架注入了东方艺术理论思想，丰富了画面的视觉叙事形式。

注 释

[1]北京开卷.中国少儿图书市场的20年[OL].[2020-01-20].https：//m.thepaper.cn/newsDetail_forward_ 7583306

[2]W. Eisner.Comics and sequentialart[M].Kitchen Si. Princeton： Kitchen Sink Press，1992：37-41

[3]S. McCloud.Un-urstanding comics： The invisibleart[M].New York： HarperPerennial，1993：63-65

[4]张德禄.多模态话语分析综合理论框架探索[J].中国外语，2009，6（1）：24-30

[5][11][12][17]G. Kress and T. V. Leeuwen. Reading Images： The Grammar of Visual Design[M].2006：114，140，197

[6][8][10]J. R. M. and L. U. Clare Painter.Reading Visual Narratives Image Analysis in Children’s Picture Books[M].London： Equinox Publishing Ltd，2012：18-23，30-40，56

[7]冯德正.视觉语法的新发展：基于图画书的视觉叙事分析框架[J].外语教学，2015（3）：23-26

[9][15][16][美]谢伯轲著;柴梦原译.中国画之风格：媒材、技法与形式原理[M].北京：北京大学出版社，2020：74，66，145-149

[13][14][加拿大] 佩里·诺德曼著;陈中美译.说说图画：儿童图画书的叙事艺术[M].贵阳：贵州人民出版社，2018：185，198

（收稿日期： 2021-10-14）

[基金项目] 本文系河南省高校人文社会科学研究一般项目“探究中国原创绘本中传统文化审美的视觉语法”（2022-ZDJH-00492）的研究成果。

[作者简介] 祁芬芬，河南科技学院艺术学院讲师。

出版科学，2022，30（3）：43-50