论文化产品的跨媒介符号生产

赵 玉

(南京晓庄学院 文学院，江苏 南京 211171)

进入21世纪以来，随着媒体融合的加速发展，越来越多的文学文本、艺术作品、文化产品横跨多种媒体平台被开发，文字、图像、声音在众多媒体的运作中被使用、转移、改造，形成跨越多种媒体的符号生产形式。比如美国媒体分析家亨利·詹金斯研究的以好莱坞电影为中心的文化产品开发现象，即同一内容在不同媒介系统中流通形成依托各自媒体的差异化产品。随着媒体类型的爆发式增加、新旧媒体的迭代，为了满足受众多样化的需求，跨媒介符号生产逐渐成为被传媒和技术所表征的令人瞩目的样态。面对这种日益凸显的表征方式，笔者试图在多媒介共在语域中，通过梳理媒介和符号生产的关系，理解跨媒介符号生产的方式，探求跨媒介符号生产的价值。

一、符号生产的媒介跨越

在文化产品的符号创制中，媒介的影响力越来越突出。对媒介后果的论述目前所知最早的是亚里士多德，在他看来，可以根据媒介的不同区分史诗、悲剧、喜剧、竖琴演奏音乐等：“它们的差别有三点，即摹仿中采用不同的媒介，取用不同的对象，使用不同的、而不是相同的方式。”[1]27媒介、对象、方式的差异造就了不同的艺术门类，后文就是在这三个方面进一步明确了诗性质。他没有明确说“媒介”具体指什么，后文对诗的论述更多集中于摹仿方式和其他艺术的分野：“正如有人(有的凭技艺、有的靠实践)用色彩和形态摹仿，展现许多事物的形象，而另一些人则借助声音来达到同样的目的一样，上文提及的艺术都凭藉节奏、话语和音调进行摹仿——或用其中的一种，或用一种以上的混合。阿洛斯乐、竖琴乐以及其它具有类似潜力的器乐(如苏里克斯乐)仅用音调和节奏，而舞蹈的摹仿只用节奏，不用音调(舞蹈者通过揉合在舞姿中的节奏表现人的性格、情感和行动)。”[1]28可以看出亚里士多德的摹仿方式是指艺术生产中呈现摹仿对象的符号、色彩、节奏、话语、音调等，而媒介应该是“技艺”“实践”这些把对象物态化的方式，比如乐器、身体的姿态、舞台等。亚里士多德的媒介还是狭义的媒介，是物态化的介质，不包括符号形式。到了18世纪的莱辛，像亚里士多德把诗从其他艺术中区分出来那样，继续进行着艺术自律的探索，还是依据题材和摹仿方式，划分诗与画的界限，但没有提及媒介。

作为“技艺”和“实践”的媒介，随着技术的进步，被广泛应用于传播学领域，成为报纸、广播、电视等大众媒介的总称，到麦克卢汉的人体外的技术器官的泛化，外延不断扩展，具有了符号、技术、文化的多重维度。在媒介泛化的历程中，亚里士多德区分艺术门类的三个方面——媒介、对象和方式，在今天都是媒介的一部分。

媒介不再局限于仅作为传播工具，在符号生产上麦克卢汉赋予媒介本体意义。他在对现代画家和诗人的研究中发现：“他们研究的不是自己想要表现什么，而是能够用什么手段来表现。当研究这些材料时，他们很快发现，媒介即是按摩或讯息。这是一次大突破，因为他们发现艺术的功能是向人传授如何感知外部环境。”[2]64媒介，是表现手段，是人体之外的技术器官。麦克卢汉不仅扩展了媒介的外延，包括传播媒介、道路、货币、语言形式等多种多样的媒介形态；而且重新界定了媒介的地位，它不再是工具，而是“讯息”，是内容的一部分，媒介的影响具有偏向性，媒介的变动会引起感知比率的变化。

媒介在符号生产中并不是单数的，而是复合的。亚里士多德是倾向艺术自律的，他主要通过艺术表现形式的区分，也是麦克卢汉所说的媒介，让“仅以语言摹仿”的诗独立于其他艺术，但他不得不承认，很多符号生产并不是单媒介的：“还有一些艺术，如狄苏朗勃斯和诺摩斯的编写以及悲剧和喜剧，兼用上述各种媒介，即节奏、唱段和格律文，差别在于前二者同时使用这些媒介，后二者则把它们用于不同的部分。”[1]28兼用各种符号媒介的状况在符号生产实践中一直存在。古希腊抒情诗人西摩尼德斯(Simonides)认为“诗画一体”，千百年来，西莫尼德斯并不寂寞，在中国文艺创作史上，诗与画的关系从来都是密不可分的，苏轼的“诗中有画”“画中有诗”，郭熙的“无形画”“有形诗”，既是我们的诗画创作特色的总结，也一直指导着历代诗文创作。

现今，电子和信息驱动的媒介环境中，不限于报纸、广播、电视等各种媒体相互作用，影响更大的是互联网的出现，联通了多种媒体形态，同时各种形态的媒介终端不断涌现，比如移动通讯、传感器、定位系统等，媒介越来越多，屏幕越来越多。在多媒介共在的环境中已经没有新旧媒介之分，他们之间可以是包容关系：“任何技术的内容必然是一种旧技术。新环境包裹旧技术，把旧技术变成一种艺术形式。”[2]62新技术包容旧媒介，旧媒介可以作为内容存在，比如电影之于小说。有学者认为这种现象是一种补救——新媒体通过保存旧媒体形式，成为补救手段。

还可以是各种媒介力量之间的交互，除了新旧媒体外，还有自媒体和公司化大媒体、媒体制作人和媒体消费者、媒体和现实环境、媒体和消费者之间的互动。对此，赵毅衡用“调制鸡尾酒”来说明这个多媒体碰撞的网络，认为是“文本勾连的巨大文化网络”。[3]234比如一个实时在线播放的电影就是一个文本勾连的网络，电影制作者制作的文本进入网络平台，媒体消费者在其中添加弹幕，在评论区迁移电影制作的背景信息等。

可见媒介之间的关系是复合性的，体现出符号、技术、文化的多维跨越。比如，电影艺术，用这三个维度就可以被界定为：通过图像、声音、节奏、语言，由模拟或数字技术表达，在电影院等渠道传播的符号制品。

综上所述，在符号生产中我们会同时使用多种媒介。这些媒介涉及符号、技术、文化等多个维度，可以是符号的转换，可以是文本的交互，可以是平台的跨越，不同媒介形式之间形成了关系网络。可见，符号生产的跨媒介性是不可忽视的，即使是在追求符号生产自律的历史时期。

德国学者汉森-洛夫(Aage A. Hansen-Löve)在1983年通过与互文性(Intertextuality)概念的比较提出了“跨媒介性”的概念，把对俄国象征主义文学的研究扩展到音乐、视觉艺术等异符号文本。跨媒介性研究可以说是和互文性理论交织在一起。随着新型媒介的不断涌现，尤其是在互联网、移动通信技术的支撑下，越来越多的文化产品出现了符号、设备、平台之间的跨越，甚至是符号和现实之间的流通。跨媒介研究不仅限于文本内部的相互借鉴，而且涉及所有媒介文本。德国学者沃尔夫(Werner Wolf)在研究文学叙事中的音乐、绘画和图像的关系基础上，对“跨媒介”和“互文性”作了明确的区分，把互文性作为文本系统内部的“同媒介的”(homomedial)关系，而“跨媒介性”则是“跨界”：“相反，跨媒介性在最广泛的意义上适用于任何媒介间的跨界，是涉及不同符号复合体之间或符号复合体内部不同部分间‘异媒介的’(heteromedial)关系。”[4]沃尔夫的研究聚焦于不同符号之间的关联，但他没有局限于此，而是把跨媒介性推向了更广阔的天地——从符号媒介到任何媒介。因此，我们的研究，是在媒介跨越的认知框架下，厘清文化符号生产的内部机制。

二、跨媒介符号生产类型

我们分出的不同的生产类型是基于媒介的符号、技术和文化维度的构型。每一种符号生产的类型可以回答以下问题：能唤起什么内容？这些内容怎样互相区分？这些内容如何呈现？产生了何种效果？

1.文本内异媒介嵌入

对文本内媒介参照，沃尔夫主要列举了以下几种状况：音乐作品中的形象化描述，文学中的音乐结构，文学中出现音乐文本，在文学中讨论音乐。这些都是以某种符号媒介为主体，参照其他媒介符号的内容、手法甚或文本。还有一种特殊情况，在某一个文本内，没有占主体的媒介符号，出现了媒介符号形式的融合，这就有可能形成一种新型的艺术形式或文化产品，比如十九世纪的音乐剧。苏轼论及王维的诗的时候，其“诗中有画”“画中有诗”就是针对“诗”与“画”这两种媒介在文本内的关系问题的探讨。20世纪以降，越来越多的学者讨论艺术之间的不同符号方式的借鉴。当前，文本内异媒介嵌入的典型表现就是文学的视觉化，网络文学是其典型样本。在网络文学生产中，在文字符号为主的文本中，其他符号形式的介入成为常态，尤其是视觉性符号形式融入，创造了具有直观性、冲击性、沉浸性的视觉世界。这个世界的营造可以是数字、拼音、象形图、脸谱符号、表情符号等等比比皆是的可直接视觉感知的符号，可以是具有动感的跳跃性的场景描摹，还可以是高密集度的对话和行动，作品也因此变得更加感性和直观。

文本内异媒介参照有何后果呢？有学者的看法是“这种直观化的话语表达易于把画面直接地表现出来，便于场景的营造和展示，当然也弱化了语言的深度和想象空间，文学的审美性受到不利影响”[5]；也有学者认为“这些图像世界或美轮美奂，或神秘古怪，或逼近现实。图像语言占据了写作的话语权，感性直观、即时呈现的‘语图文本’产生出文学的新质性”[6]。前者看到了视觉媒介在文学中嵌入的负面影响，后者乐观地希望有审美新质的产生。其实这都是非此即彼的分隔式思维，无法真正释读出这种参照的意义。

文本内异媒介参照可以形成媒介特质互补，媒介之间的的相互补充给双方都增添了活力，接受者的感官被多媒介激发，思维也更加活跃。包兆会在《当代视觉文化背景下的“语-图关系”》一文中说：“不能简单停留在通常所流行的谁好谁不好、谁控制谁、谁破坏谁的二元区分上，要看到图像与文字的关系是复杂的‘缝合’关系，它们各自既相互补充又相互赋予对方活力，并保持着各自的野性。”[7]这在某种程度上拆解了由于长久以来符号生产的媒介自律造成的媒介之间为争抢话语权的对抗模式。

2.跨媒介文本组合

跨媒介文本组合，就是一个文本被跨媒体和跨平台表达。这种组合具有悠久的传统，如我国古代的题画诗或题诗画、20世纪以来电子媒介时代的文学文本的影视化改编。近年来随着以文学为IP(知识产权的缩写)运营的迅速发展，包括经典文学、网络文学在内的众多文学文本被多平台全方位改编为电影、电视剧、动画、网络游戏等附着于不同媒体的文化产品。

文学作品的读者、影视作品的观看者、游戏玩家在文学IP的开发的价值链上连成了一个整体。美国学者迈克尔·波特提出了价值链的概念，这是包括设计、生产、销售、发送以及辅助产品的产出等一系列的活动。在这样一个媒介深度卷入的时代，价值链中每一种活动的完成几乎都依托于某一种媒介。IP电影《流浪地球》的高票房和好口碑，既得益于选择了题材合适、粉丝基数大、观众接受度高的原著(刘慈欣既是畅销书作者，又是73届雨果奖长篇小说的获奖者)；更得益于价值链的每一环所依托的媒介“各司其职，各尽所能”，又相互裨补。电影改编需要凝练戏剧冲突，激发强烈情感体验。《流浪地球》电影并没有完全忠实于原著，而是选取了其中“有戏”的“地木危机”这个章节，用中国式的家国情怀讲述了人类在生存绝境中拯救地球，最终得以带着地球踏上寻找新家园征途的故事。执导过音乐类青春题材的导演，加上老中青三代演员架构，有人气，有实力，有颜值。电影营造了多感官体验的情境，特效团队将中国传统艺术与科幻风格的元素巧妙结合，构造出极具现代感、符合中国审美内涵的视觉特效。视听连动，听觉的丰富性也被多层次显现。配合电影上映的周期，“错峰递推”了《有种》《带着地球去流浪》《去流浪》等系列电影原声音乐，电影制作者充分开发电影这种电子媒介丰富的感知功能。在这个过程中，开发者还通过互联网不断制造观影热度，上映以来微博上关于《流浪地球》的话题有两千多条，官方微博粉丝14万之多；微信公众号推文四万多篇，新闻网站、微信公众号、朋友圈以及问答社区中包含大量影评。

3.媒介场景化符号生产

数字化与移动定位技术的结合，催生了场景化的媒介环境，移动设备、大数据、传感器、社交媒体、定位系统与原来的物理场所、实物、环境叠加。罗伯特·斯考伯、谢尔·伊斯雷尔在《即将到来的场景时代》中这样描述场景化的世界：“当你触碰屏幕时，它们就是你的指。当你手持智能手机时，它们知晓你的位置以及前进方向。当你驾驶距离某物体过近时它们会发出警告。”[8]这里的场景化，是现实环境(自然、社会和心理)、移动设备、传感器、大数据等营造的虚拟空间和与这样的复合环境互动的人的行走、参与、驻留等动态行为构成瞬时状态。

场景化符号生产方式由媒介载体、信息内容、信息交互中的生产者和接受者这三个基本要素构成，接收者通过设备把符号产品与现实关联。在三者的交互中，形成了实时的跨媒介产品，创造了新的现实。

场景化符号生产被广泛应用于遗产保护、娱乐游戏、旅游展览等领域。比如在旧城改造、乡村城市化等社会变迁中，许多携带重要历史信息的景观消失了，许多风俗、仪式不见了，人们只能通过观看纪录片、参观博物馆之类的途径去寻觅它们的踪迹。可是，被影片所记录、被博物馆所收藏的对象已经丧失了活力，而通过媒介场景化就可在原来的地点复活真实过去，实现与现在和未来的衔接。只要人们走过这些地点，网络就自动将相关的视音频作品推送到他们所携带的手机、平板电脑或智能眼镜上，让他们知道这里曾发生过的事件、曾有过的风光。

其中，新媒体文艺媒介场景化符号生产尤为突出。如詹尼特·卡迪夫的《逝去的声音》。读者一方面要在伦敦市区特定区域走完规定的行程，一方面要佩戴耳机在特定地点收听相应的故事，此时，读者所看到的伦敦街头的人群、建筑、景观等都融入到文本之中，读者阅读事实上已变成了收听和行走，这促使读者产生一种奇妙的体验。这是一次场景化的媒介符号生产，每个读者既是受众，被放置在由众多锚点和“文本块”松散组合的文本框架中；又是参与者和创造者，街景随着行走变换，定位系统让故事与行走的地点对应。参与者在行进中不断刷新文本。参与者不仅可以控制文本时间，还可以调整故事时间。传统文本的故事时间由创作者控制，场景文本的制作者虽然也设置了故事时间，但他的故事需要靠参与者去实现，他可以选择在故事的某个阶段停留，也可以选择走马观花，甚至忽略。数字技术在真实世界的叠加，使得参与者获得了独一无二的、更为丰富的体验，不仅视觉、听觉、味觉、触觉等多个感官参与互动，而且时间和空间交错，不同的空间叠印在流动的实践中，感受更立体。

三、跨媒介符号生产的文化价值

1.跨媒介符号生产可以使“感知”更新

首先跨媒介符号生产避免了单一媒介给人带来的感官麻木、审美疲劳。沃尔夫冈·韦尔施针对大众传播时代的过度审美化，谈了三点缺陷，其中一点是感知的偏向和同质化使感官麻木的审美后果：“第二，全球化的审美化的策略成了它自己的牺牲品，并以麻木不仁告终。……如果说今天的公共空间里还有艺术需求的话，那么它不会再将过多的美注入已经被过分装饰的环境中，而是创造一些不为美学所染指的休耕地，在超级审美化中开辟出一片荒地，来中止这一审美化的机制。”[9]跨媒介符号生产可以说是超越同质化、过分审美化的“休耕地”，在不同媒介的沟通中生成崭新的召唤结构，抵抗审美中感官麻木带来的倦怠感，符合审美关注持久性的规律：“读者的阅读感受与自己的期待视野一致，读者便感到作品缺乏新意和刺激力而索然寡味，相反，超出期待视野，便感到振奋，这种新体验便丰富和拓展了新的期待视野。”[10]这种新形式丰富了受众的感受，更新了受众的期待视野，促使符号生产在媒介技术的更迭中不断探求新的跨越形式。

其次，跨媒介符号生产实时交互的在场性、瞬间性使时空之维发生了内爆，感知的结果是不固定的，每一次当下的感知都是不同的。法兰克福学派的第三代学者马丁·泽尔称之为一种“事态”：“某种是如此这般的东西，某种显现为如此这般的东西，某种被规定成如此这般的东西，都被人感知到，而不被人固定在某种可能的规定中。……我们专注于对象现象性的当下。我们既能够以确定视角来看待某个对象，也可以在它的显现中与它遭遇。”[11]换句话说，即审美感知不是“如此这般的”固定，是因为每次感知都是一次“遭遇”，是瞬时对当下的聚焦，是事物在此地与此时的出场方式。

在马丁·泽尔这里，出场方式是第一位的，事实性反而是第二位的。比如在新媒体艺术《世间果实的针灸疗法》中，只有构架、声呐设备，安放了针灸用针、电动机、西红柿等基本构成要素，参与者走近声呐设备，触发电针，电针刺进西红柿，西红柿憋掉——声呐设备探测到参与者的远近和角度影响刺进的深度和部位，由参与者形成的周围环境使憋掉的西红柿后续呈现差异化的样态。虽然传统艺术欣赏也有双向交流的过程，但是写定的、稳定的；跨媒介符号生产则是开放的，它将活跃的、参与的创作者—欣赏者当成自己存活的条件。每个人不同时段与这个“装置”的“遭遇”，都会诞生新的艺术品。主体与对象都在审美情境中的共在、出场方式的多变，延展了人类具身认知和对生活意义的体认。

2.跨媒介符号生产可以使文本增殖

首先在跨媒介符号生产中，媒介互补的效力增强，核心文本增殖。媒介效力的增强不仅仅是新技术包容旧媒介，麦克卢汉进一步指出任何媒介都可以互为内容和形式：“任何媒介的‘内容’都是另一种媒介。文字的内容是言语，正如文字是印刷的内容，印刷又是电报的内容一样。”[12]每一种媒介都建构了整体的想象体验中的一个面向，语言摹仿人类思维，音乐营造氛围，图像沉浸于空间性和视觉性。核心文本在每一种媒介资源都互相补充共同作用于文本的多媒介表达中扩容。

其次跨媒介符号生产不同于传统文本生产，产品在被消费的过程中被增添附加文本。受众在跨媒介符号生产的链环中成为信息选择者、符号信息的二次意指化过程的驱动者、信息的多次传播者，且发展成信息的制作者，他们在对符号产品进行接纳之时，也在主动添加符号文本。附加文本会进入核心文本的接受语境，成为同一时间所有接受者的共同文本。

1958年，雅各布森在印第安纳大学一次重要的符号学会议上，提出了著名的符指过程六因素分析法，一个符号文本同时包含这六个因素。[3]177六因素及其关系如下图：

图1 符号文本六因素及其关系

雅各布森的六因素理论并不新鲜，他的主要贡献在于指出这六个因素在文本接受中并不平衡，当其中一个因素成为文本的主导时，就会导向某种相应的特殊意义解释。在跨媒介的符号生产的文本中，六因素中的媒介因素被凸显。在雅各布森看来，“当符号表意侧重于媒介时，符号出现了较强的‘交际性’(phatic)，这种话语的目的似乎是纯粹为了保持交流畅通，或者说保持接触”[3]177。在跨媒介符号生产中发送者和接收者的交流不再是单向的，而是双向互动的，接收者不是独行者，而是与更多接收者一起的多声部合唱，文本也不是固定不变的，而是会从内部爆破，扩充疆域。所以说跨媒介符号生产的文本的接收者，会依据符号文本所显现的不同语言因素类型，调动自身或解释社群的语言集合，对符号文本进行再阐释，从而使得文本增殖。

3.跨媒介符号生产可以增强现实

跨媒介符号生产面对的现实是什么？是马克思的个体生活的过程？是俄国形式主义“符号和语言自动化”的世界？是艾布拉姆斯人在环境中的所触所感、所思所想、所作所为？是列菲伏尔的鸡零狗碎，却又是“一切活动的汇聚地、纽带和共同根基”？这些思想家们都点出了某部分真实的现实。现实既是人们生存的基础，也是人被异化的场所。在鲜活的、充满差异和矛盾的现实背后，很少有创新，更多的是碎片化的重复性思维和重复性行为。

跨媒介符号生产没有宣称要通过感性、艺术、陌生化的语言和诗意化的语言去拯救现实、改造现实，更没有停留在虚拟阶段逃避现实。它是在符号、人和现实的交互中创新现实感。人在真实环境中通过移动和感性设备可以对符号世界和现实世界交互更新，符号经由设备引领着我们体验习以为常的现实，被更新的现实体验再经由设备反馈于符号文本，符号文本更新编码，参与者的现实体验突破了同一水平上的循环往复。

文本在计算机技术的支持下关联了大量参与者，我们的现实体验变得更丰富和完整。被条块分割的现实宰制的个体，每一份此次此地的体验都会汇集于文本世界中，再被符号化后返回到个体，完善了个体生活的过程。

在文本和现实的更新完善中，可以说跨媒介符号生产增强了现实，增强了参与者的现实感，获得相对新颖、完整的现实体验，而不是创造了另一个世界。有学者认为增强现实，意味着虚和实、阴和阳的复合，是第二自然：“我们不妨称之为相对于实境(正题)、虚境(反题)的复境(合题)，因为它既是由数据层和现实层复合而成，又体现了螺旋式上升的特点。”[13]我们体验的现实强度会在虚与实的交互中上升，不是复合中上升，虚实复合的是让人沉浸、逃避的虚拟技术构筑的虚境。

作为符号动物的人类，在符号文本的创制中我们的世界不断被丰富，但随着符号自律的强化，某一种感受力被片面发展，成为“单向度”的人。而数字化、信息化加速了媒介融合，跨媒介符号生产的类型不断丰富，感官之间、感官与环境之间的关联和互动更密切，让我们拥有了更丰富、更新奇、更完整的生命过程的体验。但是对早在上世纪二三十年代法兰克福学派所关注的媒介对于文学、艺术和文化的负面效应依然不可忽视。传播媒介给经验世界带来的同质化、标准化、单一化和过度审美化的倾向在当前的符号生产中依然存在。我们在不断更新的跨媒介符号生产中，通过不同的感知角度和方式，以及变化多端的感知和理解图式，以一种不断创新的符号系统传导新意识，重建新价值。