国产漫画叙事的跨媒介探究

张开玮 | 湖北美术学院影视动画学院

引言

数字信息时代的飞速发展给动漫行业带来了巨大的影响，其中漫画作为大众化的图像叙事艺术语言也逐渐发生变化。从艺术媒介传播的发展历程来看，漫画既属于一种艺术媒介，同时也是一种传播媒介，尤其当纸本不再是唯一的传播媒介之后，漫画的跨媒介性正以不同的形式走入大众视野。目前将漫画叙事作为跨媒介叙事的研究范畴主要有两个方面，一方面从媒介传播的视角进行分析，认为漫画作为叙事媒介在文化交流的过程中具有信息运输与传播的功能。例如，在亨利・詹金斯的《融合文化》中，认为跨媒体叙事最理想的形式，就是每一种媒介出色地各司其职，各尽其责—只有这样，一个故事才能够以电影作为开头，进而通过电视、小说以及连环漫画展开进一步的详述[1]。另一方面的研究路径是将文学、漫画、语言等媒介作为表达的跨媒介研究，侧重研究不同媒介间性。即在对源文本诸多的不同媒介叙事的个性中寻找共同特质，注重媒介承载的文化维度的关系。例如，国内著名学者龙迪勇教授提出的“出位之思”就是从美学、叙事学的基础来解析艺术跨媒介的核心。

尽管漫画真正走向一门独立的艺术门类还是近两百年间的事情[2]，但是它以连续性的画面、文字和画格构成的叙事体系，成为了文学图像化的视觉表征。借助移动互联网传播平台的迭代更新，漫画叙事在被不同的数字媒体进行演绎与重创，由此对漫画跨媒介视觉叙事的研究边界与漫画作品创作实践的发展范式都产生出极大的影响。针对漫画叙事的跨媒介研究，倘若局限于探讨漫画与不同媒介形式之间的转换关系是否存在偏颇？又或者数字化叙事形式是否能够增强漫画与文学、电影、电视、电子游戏等媒介之间的创新？笔者认为，其中不可回避的问题是要围绕漫画的“跨媒介性”与“源文本”之间的互文关系展开讨论。在这个前提下，回溯到漫画符号视觉转化的叙事进程中，从画格、叙事画面、阅读节奏为主要信息载体进行分析，并以国产漫画《长歌行》为例，揭示出漫画叙事作为一种媒介间性的跨媒介艺术张力。

一、漫画叙事的跨媒介性

漫画是一种独特的叙事形式，它不同于小说、电影、动画或任何其他媒介。把漫画作为媒介最早可追溯至1827年罗多尔夫・托普弗的《俄巴底亚・欧德巴克历险记》。在托普弗手中，漫画真正由“表意的工具”转变为“叙事的工具”[3]12。 回顾漫画在中国的发展历程，曾被当作报刊上粗浅的读物。伴随印刷媒介的变化发展，运用漫画进行叙事拥有各式各样的称谓，例如“卡通漫画”“连环漫画”“故事漫画”等等，而这些都是以连续性的图文关系互为前提进行叙事艺术的创作。其中，涉及到漫画叙事的跨媒介性，应该从漫画艺术的媒介特性来阐明，即按照漫画结构形式划分，将漫画叙事视为一门运用连续性的图画与描述性的话语、对话气泡共同叙事的艺术。艾斯纳在漫画艺术课《绘画故事与视觉叙事》中将漫画定义为一种文学艺术形式，认为其本质上是一个由画面组成的视觉媒介，强调画面是叙述文本的延伸[4]。在传统纸质媒介时代，其叙事话语是以页面为单位，图画与文字等内容放置在漫画分格这样的形式里去表现叙事结构；在数字媒介时代，数字技术改变了纸质印刷漫画的表现形式，其中最为明显的视觉叙事是从静态的页面到多元化的电子屏幕的转换。这样的变化，一方面给读者带来了阅读体验的多样化；另一方面，促使漫画叙事的媒体传播形态发生了变化。例如， 在“快看漫画”“腾讯漫画”等国产漫画APP传播平台，产生出介乎于漫画和动画之间的一种交叉融合型的漫画形态“微互动漫画”“漫剧”等。随着数字技术的发展，对漫画源文本的挪移与再造借由视觉化的语言分散在各种叙事媒介中，形成了一种跨媒介的创意样态。

尽管漫画的跨媒介叙事往往会针对“源文本”的忠实性展开改编，但是当一种媒介被另一种媒介转化与吸收，会促使叙事过程被多样化的艺术媒介所展示出来，进而给受众带来不同的审美体验。值得注意的是，跨媒介性成为数字时代国产漫画叙事的本质，它间接地丰富了与不同艺术媒介之间的叙事理论研究。在印刷时代，国产漫画叙事的发展也经历了由四格、多格、连续性的图格展现叙事风格。这里的图画作为直观的视觉媒介与文本符号，形成了具象性的语意感知。在此过程中，从图画到文字，再从文字到图画的循环交织的过程，构成了漫画叙事这类型媒介的基本结构，其中包含了画格、图画、面板、对话框等视觉元素，它们将文本运用可视化的语言表达出来。图画与文字两种媒介互为对象、互相转换，形成一种叙事内部性的变体，即漫画叙事系统内部产生媒介融合关系。然而，漫画的跨媒介叙事研究注重对“源文本”与不同媒介间的跨界，不再是限制于单一或双重媒介中，而是开源式与更广泛的媒介之间的融合。例如，数字时代国产漫画与电影、电子游戏、舞台剧等不同叙事媒介的演变与交融。

在跨媒介艺术研究的学术传统中，常以莱辛《拉奥孔》中的诗与绘画之间的关系作为研究不同媒介之间的关系渊源。这部美学著作中揭示出诗（代表一般文学）和画（代表一般造形艺术）的界限，并找出一切艺术的共同规律以及各门艺术的特殊规律[5]。如果说图画与文字是漫画叙事艺术中不可分割的要素，那么它们作为媒介在各自互为表述对象上的转化关系就是漫画跨媒介叙事研究的基础。通过文字的叙述与图画的视觉传递，媒介之间构成了有意义的信息交流。电子媒介的兴起使得印刷媒介打破了传统的阅读模式，以图文结合的叙事由平面化的静止形态，转向融合听觉、视觉、甚至AR触觉的多样化媒介叙事的交互过程。叙事信息的编码能够借由多种媒介的跨界融合而变得丰富，这是由于漫画这类型媒介与其他媒介之间的差异性带来的，主要表现为以下两个方面：

1.漫画作为连续性视觉的开源转向

“开源”一词常指计算机软件代码的公开与共享，这里意指漫画叙事过程中的视觉元素能够被另一种媒介解读与创造，其画面上的开源性催生出故事走向“视觉化”的跨媒介演绎过程。代表着大众通俗文化的漫画媒介，在很大程度上是建立在连续性的图画与文字之间的互文关系中。这里的“连续性”包含了叙事画面与文字之间作为互文性的指涉关系。互文性也称之为“文本间性”，是指任何文本的建构都是引用的镶嵌组合，任何文本都是对其他文本的吸收与转化[6]。故事世界的跨媒介互文关系包含视觉语言之间的相互指涉，以及传播媒介之间的相互映射。对于媒介的技术与传播而言，用漫画来解读视觉开源性则显得更为高效。因为漫画总能屹立于多种媒介之间，即一方面漫画的视觉表达可以给予文学化的特征，例如文本至漫画叙事的改编，另一方面漫画作为一种图像顺序编排组织的媒介，能够被电影、动画等以时间叙事媒介来转译。所以，漫画叙事上的开源性可以看作是构建不同媒介叙事文本互动的重要视觉基础。例如，漫画《长歌行》被改编于不同的媒体平台，叙事也随着不同的媒介特点表现出故事情境的变化。在漫画书中，通过连续性的画面描绘出永宁公主跌落的瞬间（图1）运用马匹跌落的连续性动态传递出来；当它被短视频及动画改编时，画面则采用运动镜头与模糊的视觉特效，放大了永宁公主即将落入山谷的险境（图2）；在真人实拍电视剧中，则运用摇移跟拍的镜头画面，从女主角背面的视角展现出命悬一线的紧迫情节（图3）。

图2 长歌行 短视频

图3 长歌行 影视

通过连续性的分格顺序建构出来的漫画叙事情境，不仅体现出画面善于直观性表述的长处，而且当它们被电视剧、短视频动画化等基于时间维度的媒介重新演绎时，其叙事话语会随着不同的媒介载体显得更加积极主动。作为对“源文本”视觉叙事的表述，漫画通过组织页面上连续性的画面，呈现“故事”讲述的方式，故事的情景通过分格内的画面与对话得以表达，它们在某种程度上能够激发与其他媒介之间的联系，在视觉表现上随着情节叙述而演变，并让故事在不同的视觉媒介上构筑出精彩的叙事情境。

2.淡化的“格子”与不被遗忘的节奏

格子是漫画叙事信息传递中最小的单位，也是构成漫画叙事语意的基本元素。漫画中格子与格子之间的视觉表现成为叙事语言的关键。比如，从叶浅予的长篇连续漫画《王先生》到张乐平的《三毛流浪记》，画格无论大小或形状相异，都在阅读的过程中给予积极的表意内涵。因为格子的编排对阅读视线的引导有着紧密的联系，这是源于人类知觉封闭系统，即我们都通过感官经验将世界理解为一个整体，但同时我们的感官只能展现世界的不完整片段[7]。

法国漫画研究者蒂埃里・格伦斯汀（Thierry Groensteen）认为漫画叙事中的格子包含了不同的点、线、面。它们就像“关节”聚集在一起，形成一个叙事网络系统。格子作为叙事组成的重要元素，一方面，它们能够按照事件发展组织叙述结构；另一方面，也给多种媒介的信息编码提供叙事符码。电子媒体的广泛普及给漫画的跨媒介叙事带来新的可能性。当手机屏幕、电脑屏幕等成为被阅读的对象时，故事内容浓缩于电子屏幕即定的的尺寸里，甚至依据动态媒介的特点而产生变化。尽管画格不再被看作叙事进程中，划分叙述时间与空间的唯一要素，但是画格所隐含的叙事节奏，依然能够被不同媒介自身的特点，将叙事潜力得以充实与丰富。

值得注意的是，当阅读漫画到观看动态视频、动画等媒介的转变，即信息的接受由静态媒介向动态媒介的转变过程，不同媒介之间的差异性所带来的视觉体验产生出信息接受的不同感受。进行漫画阅读时，主要通过对画格的排列组合秩序解读，其叙事结构与节奏转译到基于视听元素的动态影像或互动式的体验过程，构成了跨媒介之间的叙事语境的高度融合。对于任何媒介来说，参与感都是一个非常有力的武器[3]89。例如，漫画书《长歌行》中，关于描述李长歌在侥幸逃脱追捕的过程中遇见前来勒索钱财的军爷情节。页漫中的叙事情节，通过三格连续性的画面表现该情节，特别是通过由尖锐形状构成的对话框，将无声的漫画情境表现得极有张力（图4），而当此情节被搬上短视频动画化中，画外音的叙述与被击落的军爷面部的大特写，随着切换紧凑的视觉特效，将叙事紧张的情绪传递出来（图5），无形之中把观众的参与感融入到叙事的情境之中。

图4 长歌行 漫画

图5 长歌行 短视频

通过以上对漫画媒介差异性的分析，可以看到漫画这类型媒介，作为视觉连续性的开源转化与格子构建的信息叙述节奏，是能够贯穿于不同媒介之间潜在的文本框架中。虽然每一类型的艺术媒介在信息编码方式上有着各自的特点，但是应该看到漫画与叙事文本之间不是相互孤立，而是相互影响。当漫画被动画、电影、电视等其他媒体的叙事挪移与改编，不仅形成了从空间转向时间的叙事形态的变化，而且在此过程中产生出基于视觉化的漫画符号，这些漫画符号作为叙事编码，能够被不同媒介纳入感知系统进而开发出来。

二、跨媒介叙事中的漫画符号

尽管视觉上呈现出漫画表现形式复杂，但是根据漫画叙事的跨媒介性分析，使得叙事过程中的漫画符号成为跨媒介叙事的信息编码，从而成为故事传播的重要承载部分。漫画叙事作为以视觉为主导的媒介被纳入到跨媒介叙事的研究范畴，其中包含了不同艺术媒介之间的符号重叠与信息转化的机制。这是由漫画媒介自身的创作特点决定的，即以图像与文字合奏的叙事艺术特征为核心，其中的图文关系具备修饰性的语言特点，并且与不同媒介之间表现出生动的叙事融合，可以说，漫画叙事自身的媒介间性，已经混杂了各种视觉符号和听觉符号。

当探讨漫画叙事的跨媒介现象，不应该忽视漫画符号作为支撑视觉叙事语言转化的关键因素。特别是，以连续性画面中的漫画视觉符号的转变与融合，不仅能够表述出叙事时间与空间之间的前后关系，而且它们会被其他媒介以多维度的样态进行演绎或扩展，归纳起来有以下两个方面：

1.漫画符号的转变

从符号学视角来看，创作者倾向于把漫画叙事过程中的各个元素分解为最小单位的语言表述，从而使得漫画叙事作为一个完整的视觉叙事体系。这里的图画与文字被当做叙事符号来解读，强调叙事内容与媒介的信息传输的有效性，是建立于一定秩序化的阅读基础上。例如，漫画叙事中的“拟形”的视觉符号以及具有特殊视觉效果的对话气泡等元素，当它们作为视觉符号被解读时，能够成为图文融合的典型语意表达，更容易经由他者媒介采用与开发。

经典符号学之父索绪尔认为语言是一个符号系统，并指出语言符号是一种两面的心理实体，其中能指和所指的联系是任意的。漫画叙事中的符号可根据能指与所指的概念包含了二个层级：一个层级由大量的视觉元素构成，这里的漫画符号带来的是一种具有持续性的直观的能指语意的形成。例如，聚焦的线条组合、夸张的情绪中具有简洁明了的标识图形等视觉符号，通过解读它们从而保持叙事话语上的可扩展性。另一个层级则由漫画符号所包含的视觉信息中约定俗成的所指概念，也是基于视觉的“模拟”特效，具有视觉叙事的修辞功能。这两个层级之间的联系在叙事过程中悄然发生，并且在视觉叙事的信息传递中与读者达成约定俗成的共识。漫画符号包含视觉与话语，成为一个表达叙事主体与一个集合代码的系统组合，这更容易存留于不同媒介叙事艺术语言的转换。具有中华文化审美意向的笔墨造型、留白，当聚焦这些中国式漫画符号的情境中，给予漫画符号向更多元化的叙事媒介进行转化，形成了具有中国特色的漫画符号。例如漫画《长歌行》（图6），在描述突厥人兵临城下时，运用聚焦式运动线条表达骑兵迅速前进的步伐。将漫画叙事中常用的表现速度的漫画符号，以焦点式的画面效果，凸显叙事情境中的紧张情绪。当它们从漫画书搬到荧幕真人实拍剧中，聚焦的情景不是静态的画面，而是运用影视镜头语言与影视非线性的剪辑艺术共同完成。漫画符号的转变存在着与他者媒介之间的相互转译的现象，每一种媒介自身都有特点，不同艺术媒介之间的转变不是技术层面的“模拟”视觉效果，而是运用 “漫画符号”的能指与所指建立起叙事逻辑上的连接。

图6 长歌行 漫画

2.漫画符号的跨媒介融合

漫画符号的运用，不仅能自成一体，而且能促进不同媒介之间的相互连接。漫画符号成为漫画叙事艺术独特表征，使得运用漫画这类型媒介总能站在印刷媒介与数字媒介之间，即一方面作为印刷媒介，漫画被赋予像文学一样的出现，例如“图像小说”的产生；另一方面作为一种连续性的画面符号的组织媒介，运用电影或照片数字化的方式进行叙事。实质上，漫画与文学、电影等媒介之间存在着紧密关系，由此漫画符号加速了不同媒介之间叙事的可行性。维尔纳・沃尔夫将语言、视觉、音乐作为故事讲述能力的三大媒介家族[8]。这三大媒介同样属于漫画跨媒介叙事组成的符号类型，它们能够唤起与其他媒介之间的相互促进关系。

漫画跨媒介叙事中的视觉符号与听觉符号的融合，在传递情景氛围表达中，往往是悄无声息的完成。印刷时代的漫画叙事艺术是以平面的静态视觉传递信息，图文叙事是在相对静止的时间和空间的维度展开，人们通过阅读想象获得视听审美的愉悦。在这个层面上，漫画中的拟音现象，往往通过绘制拟音词，填补叙事音效上的缺失。例如漫画《长歌行》中，飞镖射出“啪啪啪啪”（图7）—这里运用了变形的文字，模仿了物理空间飞镖射出的音效，让叙事情节表现得更加生动。这些大量的图像符号、拟音化的文字符号来展现声音与语言，符号之间交叉融合促进电影、动画等媒介对“源文本”的重塑与再创。

可以说，文学性与绘画性让漫画具备极具想象力的时空叙事的功能，运用漫画符码的思维转化，把听觉与视觉在不同的媒介进行重新编码，进而形成新的叙事形态。麦克卢汉在《理解媒介》中提出，一切媒介在把经验转化为新形式的能力中，都是积极隐喻[9]。这种积极隐喻的信息成为交流活动中的基本要素，即把视觉与听觉信息传递转化为可读性的符码过程。它们遵循雅科布逊的信息交流活动的六个基本要素来证明，即发送者、接收者、语境、信息、接触、符号。任何交流都是由发送者所发出的信息构成的，而信息传递的对象或目标则是接收者[10]。在信息发送、传递与接收的过程中，把源文本中的画面、声音通过漫画符号、拟音文字符号的转变，产生叙述语意的编码，进而让信息接收者根据不同的个人经历，透过对叙事讯息中的解读形成有意识的解码。正是由于这样动态的信息编码到解码的过程，所以当电子媒介的融入，漫画叙事从基于空间性的叙事迈向时间性的媒介转化与融合。例如，在真人实拍《长歌行》中，通过旁白、画外音、台词对白等，将叙事情节层层推进，烘托主题情境。这显然得益于，漫画叙事中对大量出现的视觉元素与听觉元素的叙述融合。因为漫画这类型媒介并不受时空观念的限制，它是具有丰富想象力的叙事媒介，而当它自身图文符号与其他媒介优势相结合时，能够创造出大量的有潜能的叙事主体。

三、漫画叙事的跨媒介与跨学科思维

漫画作为叙事的媒介之一，从产生到发展的历程无不体现出与其他媒介之间的相互关联。在这个过程中，不仅是动画、电影或电视等媒体经常受到漫画的启发，而且在其自身发展过程中，无论是在内容还是审美形式方面，漫画本身也一再受到其他媒体的影响。基于文本和图像的混搭，漫画叙事在其基本性质上已经代表了一种中介现象，不仅体现于漫画本身，还体现于与其他媒体的结合叙事中。漫画叙事的跨媒介不仅体现在以视觉符号为基础的媒介共通性，还表现为不同媒介之间知识范式中的差异性，这使得在探讨漫画叙事的跨媒介性需要与跨学科思维联系在一起。在玛丽劳尔・瑞安《故事的变身》中，把支撑各种媒介的知觉渠道定义为：语言、视觉和听觉，而它们与文学、绘画、音乐的审美形态息息相关。从跨媒介的视角来看，漫画叙事本身就是将文学、绘画、音乐这三个艺术类别延伸到符号的审美使用之外。漫画与文学、绘画、音乐等学科知识有着密切的联系。如果说，漫画叙事运用“拟像”的审美形态而诉诸不同媒介之间的转换，那么其跨媒介叙事的艺术实践则包含以下两个方面：

1.图文互换的思维方式是探讨两者或多者媒介间性的研究基础

漫画语言的转换，是运用漫画与其他媒介再创作的过程。尤其是当文学、电影学、计算机图形学等学科的融入，使得不同的学科知识与技术催生出新的叙事形式。例如，鄢蓓在创作《长歌行》电视剧改编时，围绕着“家国情怀与少年成长”的精神内核，进行文本编撰。这里的文本描述是文字符号的组织方式，媒介所传递的是逻辑思维与形象思维。在进行跨媒介叙事的转变中，运用漫画、短视频等视觉语言，以直观的视觉媒介诉诸叙事画面，包含了从单一文本到不同媒介知识之间的交叉与融合。但是，不能简单地认为跨媒介叙事仅停留在不同媒介知识之间技法层面的研究，而应该重视不同媒介之间的差异性与共通性，并通过整合来补充彼此的不足。

2.以融合为目的，建立视觉可视化叙事体系

这里的融合包含了微观和宏观的两个方面：从微观的角度来说，漫画叙事这类型媒介自身的表述特性蕴含着不同学科之间的知识融合。例如，在漫画《长歌行》中，运用大量的不规则的画格构建故事的时空脉络，在这里时间与空间被并置在静态的页面中。而当它与动态媒介转变时，叙述的时空关系也会随着不同媒介载体的特点而发生变化。因此，更应该结合每一种媒介自身的特点，发挥与其他媒介整合之优势，促使跨媒介叙事形成更多维的视觉层次。

从宏观的角度来说，不同媒介知识之间的交叉研究是一个动态演化的过程。这里与不同媒介之间的碰撞与交叉，侧重在逻辑关系上的“可视化的”跨媒介叙事构建。特别是“可视化的”叙事编码，依赖于对不同学科知识之间的交叉、渗透、融合和再造。漫画作为视觉叙事的研究范畴，电子媒体的兴盛促使叙事主体不断地得到扩展，创造出包含动态的图画与沉浸式叙事体验，并与受众群体进行交互性的结合。多样化的媒介对于源文本的改编与演绎，会产生一种叙事信息的全方位迁移，这会让叙事本身变得更为复杂，而这也正是跨媒介漫画叙事艺术研究的价值所在。

结语

国产漫画叙事作品形态的演变一直随着社会文化的发展而产生变化。随着电子媒体技术的飞速发展，运用漫画讲好中国故事，不应只局限于漫画叙事自身的创作空间中，而应是在扩展时间与空间的叙事构建起动态的关系。对于国产漫画叙事的跨媒介研究，应该注意到漫画作为艺术媒介，兼具传播媒介的属性，即运用图文结合的漫画叙事这类型媒介自身构造具有跨媒介性特性，而且漫画叙事作为媒介工具所创作出来的作品具有跨媒介性，它们往往通过自身的符号、语言等与不同媒介之间进行叙事演变。正因如此，漫画叙事的艺术语言可以借由多样化传播媒介形成自身的形式语言，而这能够对跨媒介视觉叙事所带来的审美形态的变化更好的解读。

— ―