数字诗歌的多媒体视听美学

主持人语：

在人类的文明史上，书写工具曾出现过多次改变，从最初的木炭、泥棒，到羽毛笔、羊毫、狼毫，进而发展到钢笔、圆珠笔，显示了由农业社会向工业社会的推进。20世纪，电脑的发明再次影响了人类的生活，它不仅改变了我们的计算和书写方式，因特网的出现在更大程度上还调整了人际交往的模式，涉及到诗歌创作，它对诗人的创造能力构成了一定的挑战，数字化的生存让数字诗歌也应运而生。对此，张洪亮在收集了大量数据之后，对其美学上的可能性进行探索性的挖掘，颇具启迪的意义。（汪剑钊）

20世纪60年代已经出现了计算机辅助视觉设计的技术，一些诗人开始使用数字工具来创作视觉诗歌，到了80年代，随着个人电脑、全息照相和视频技术的出现，从事多媒体艺术和文学创作的爱好者们也获得了一套全新的表达设备。时至今日，多媒体的动态数字诗的创作技术愈发成熟，效果也多十分华丽，作品将视听与文本结合，制作出适用于计算机屏幕演示的整体作品，呈现与传统印刷诗歌截然不同的数字美学特点。数字诗视听结合实验在诗学方面的扩充和更新体现在三个方面。

首先，数字诗实现了具有速度感的动态效果，从而重新定义了诗歌阅读的时间。视觉上的动態效果营造出诗歌内部的时间感。葡萄牙新媒体艺术家、诗人梅洛·卡斯特罗（Melo e Castro）曾指出，阅读一首视频诗作品是非常复杂的体验，读者在阅读过程中，将会获得多重不同的时间感知，而它们又都与文本和图像的运动变化相一致，这预示着一种新的阅读诗学的到来，卡斯特罗还提出了“视觉时间”的概念并指出，诗歌中的“视觉时间”也即定义每首作品阅读的时间。数字诗作品中视听的动态结合效果实现了传统印刷文学所无法实现的关于时间的理想，在卡明斯及其后的查尔斯·伯恩斯坦、苏珊·豪等人的作品中，已经出现过对速度的模拟尝试，他们通过在纸张上运用印刷交叠等技术营造出文字从纸上移动的速度直观效果，而计算机荧屏动态技术的实现和引入已经解决了这一难题。

典型的动态诗歌作品都呈现了出各自的内在阅读时间。例如布莱恩·基姆·斯特凡的《字母之梦》这首数字诗一共包括了35个关键词或词组，文字在屏幕上向各个方向不断移动，它们有时对其他单词或字母做出回应，有时候又各自互不相干，有时单词分裂为孤零零的首字母，接着同样首字母的单词又从四面八方以不同的动态效果聚集过来。有时，字母的运动轨迹与单词的含义相呼应，例如单词“drip”（滴落）出现的过程，首先是字母“D”逐渐放大、拉高随即收缩，最后以滴落的视觉动效掉落在rip三个字母前方，组成drip。字母的动态效果并不复杂，都是较为常见的早期动效包括淡入、淡出、擦除、放大或缩小等，字母显现和运动的速度稍有差异。作者更倾向于将这首数字诗视作动画短片，读者也可以以看电影而不是阅读印刷诗歌的态度打开这部作品，作品内在的时间显现，屏幕上将会上演一场长达11分钟的关于文字拆分、重组、运动的动画短片。

新激浪派艺术家丽莎·斯帕提（Litsa Spathi）发展出了“激浪诗”（Fluxus Poems）的概念，她将计算机的执行结果纳入到了诗歌表现当中。在2006-2008年间，她创作了《无人之空》（Nobody At Sky）、《伊卡洛斯之诗》（Icarus Poetry）等视频诗作品，与斯特凡的《字母之梦》类似，这些视频诗也如同电影一般将文本内容以强烈的艺术表现力“上演”，它要求观众的注视和跟随，而不是传统印刷诗中对文本的“阅读”。斯帕提的激浪诗作品将少量文本与大量纷繁炫酷的视觉动效及摇滚乐背景音乐结合起来，她试图消除不同媒介之间的表现力界限，让诗歌成为一种表演、一种过程性的表现，从而生成作品内在的时间。

作品《伊卡洛斯之诗》整首诗只有一句话：“I’m nobody who are you”，从题目来看，斯帕提受到了古希腊神话中伊卡洛斯飞向太阳后翅膀融化坠落海中这个故事的影响，作品画面中央是一个简笔画的人体，两边是红色的翅膀，而“imnObOdywhOareyOu”则写在人体肚子的方框中，简笔画的头部用一个大圆圈来表示，文本中的四个大写“O”加上头部的图案，整个作品中就有了五个字母O，于是画面中陆续交替出现红色或黑色的实心圆形，从不同的O上面重叠又离开，缩小放大，或是渐出渐入，有节奏地变换视觉效果，作品不断循环重复这个过程直至两分钟时，代表伊卡洛斯的简笔画小人倒在了地上，翅膀由红色变为绿色，又渐变为橙色、紫色和蓝色，随后伊卡洛斯戴着蓝色的翅膀重新站了起来，又再次跌倒，时长为两分半的视频诗到此结束。

正如20世纪先锋派探通过播放音节来重塑文本带给人们的感受力那样，斯帕提的激浪诗延续了对声音与文本关系的强调传统。斯帕提的作品几乎都不超过三分钟，在短暂的时间里她令画面迅速变换闪动，《无人之空》前半段不断闪过字母与图形的对应关系，但如果根据画面原有的闪动速度，读者并不能辨别和记忆具体是如何对应的，斯帕提对迅速变换视觉动效的处理也同样强调了一种速度感和读者对作品内在时间的独特体验。

对动态效果速度感的强调和表现，改变了传统印刷文学阅读内在的时间体验，读者不再陷入文本之中沉思，取而代之的是观看瞬息万变的特效。瑞典著名导演伯格曼认为，书写下来的词语倾向于被理性意识行为所阅读和同化，从而在一定程度上侵蚀了想象力和情感，而电影的性质则是刚好相反的。伯格曼曾说“我不是看电影，我是经历电影”，而正是在“经历”一部电影的时候，观众才会敞开幻想，暂时性地抛弃理性和意志，为想象力让路。而与新媒体打交道的诗人、作者们所面临的挑战恰恰在于他们同时需要观众调用“阅读”的机制，否则作品就成了纯粹的视频，数字诗人需要创作出能让读者将“阅读”和“观看”有效地结合起来的作品，要求读者在智力而不仅仅是想象力的层面上与文本接触。

数字诗视听美学的第二个特点在于，今天的绝大多数数字诗要求读者的积极参与互动才能完成展示，这一点不论是早期先锋派还是后来的具象运动、激浪派视频艺术中都没有实现。一些作品在视听语言基础上同时设计了交互接口，邀请读者参与设置作品的参数（用于激活、使文本出现或消失）。

梅根·萨普纳（Megan Sapnar）和英格丽德·安克森（Ingrid Ankerson）的作品《航行》（Cruising）是FLASH诗歌的典型作品，它运用视频技术制作出互动电影的效果来补足“航行”这一主题。这部作品将录音和交互式控制相结合，要求用户必须自行驱动文本来开启诗歌的时空主题，起初文本滑动的速度极快，用户需要用鼠标控制屏幕滑动和推进的速度、方向，以便控制阅读文本的速度，当屏幕上的文本与背景声音中叙述的词语重合时，速度会自动减慢，直至成为一帧一帧的慢放循环，观众需要在阅读文本和体验图像这两种视觉状态中切换。《航行》的视觉节奏需要由读者自行发现和选择，正如题目所指示的一样，《航行》的视觉和交互效果力图模仿开车时的视线情境，读者自行控制“驾驶”（drive）的速度，而与此同时，声音层次的喃喃自语却强调着作品原初的速度，读者只有通过鼠标控制视觉内容，使其与听觉内容最终重合，才能将速度慢下来，所以读者的阅读体验就像开车一样，必须先学会基本规则才能准确地“驾驭”这首诗，在这首数字诗的体验中，读者不是被动地接受语言的步调，而是积极地参与其中，并且自行学会如何控制它。

类似地，吉姆·安德鲁斯于2001-2004年间创作的《Arteroids》是一款第一人称射击类文学游戏，用户和读者可以随意射击单词，玩得越熟练，出现的词就越多，甚至能够造句，而句子的内容也是关于诗歌问题的自我指涉，例如“诗歌与自身的斗争，以及沉闷的力量。” 杰森·纳尔逊的《游戏游戏游戏再游戏》则更进一步，在普通交互艺术的基础上将电子游戏中的许多经典关卡应用到了作品当中，这部作品一共设置了13个关卡，读者只有逐级通关才能看到诗歌文本的全部内容，进入作品后，读者的化身就是屏幕上一个黑色毛线球，通过移动鼠标来控制毛线球的冒险闯关，而在通关成功后诗歌文本浮现的同时，屏幕上也会同时出现一些奇怪的家庭录像片段，与文本内容并不直接相关，但读者可以同时观看两种内容。纳尔逊本人将这种奇特的组合称为“一首数字诗，一个复古游戏，一个反设计的陈述和一个艺术家个人用来探索世界的镜头”，试图通过复古游戏风格的界面，将手绘、混乱和不合逻辑和个人创作重新引入数字美学当中，而读者将会在游戏通关的过程中经历这一系列特殊的艺术组合。

一些作品则将诗性隐喻直接设置在了读者的交互动作中，例如乌尔斯·施莱伯（Urs Schreiber）于2000年创作的《机器史诗》（Das Epos der Maschine），当读者点击“真理”（Wahrheit）这个单词时，其他单词就会消失在它的后面，用来暗示其他怀疑已经被一个难以撼动的真理话语所压制，或者也可以指真理已经吞噬了被质疑的其他东西，然而只要用户再次移动鼠标，其他单词就会重新出现，它们跟随着“真理”这个词，可以一次又一次地被它掩盖，但不会永久消失。

数字诗视听美学的第三个特点体现为，数字诗将听觉与双重视觉——文本阅读和图像阅读——这三个层次的感觉经验结合起来，扩充了新媒体语境下“诗”的定义。数字诗的语言并不限于文字，它是所有技术元素和文本的结合体，它整合了视、听甚至触觉、游戏等元素，这也是与其先驱者们不同之处，或者换言之，是将声音诗、视觉诗运动的理念结合并诞生出的全新的美学思维。当作家和艺术家在各种媒体上使用各种不同的材料时，当声音是与文字语言一样可被重写、被编辑时，电子游戲也是如此，它也同样可以被用作一种可供诗歌挖掘的材料，在数字诗中，书写的基本符号不再局限于字母表或其他印刷符号，声音、视觉材料以及交互设计等可以成为语言。

数字诗中的图像视觉可以大体分为三种类型，包括单词按其字面意思排列，如阿波利奈尔的《雨》（Il peut），以及词语拆解用以表示分散或移位，如卡明斯的《草蜢》，或是单词与图像结合，如布莱克的诗配版画，第三种类型在眼下的数字诗中相对更为常见，这也就意味着图像视觉作为相对独立的内容正式介入到数字诗的语言范畴之中。读者在面对一首“图文并茂”的数字诗作品时，需要调用的其实是两种视觉认知系统，不同的读者在阅读图像诗作品时可能会先去读图，也可能会先阅读文字，但不论读者的优势反应具体是哪一种，非优势反应总会对其造成干扰，也即在读者的阅读经验中，图像和文本并不是相互排斥的，只是在不同的时间顺序中以偏向某一方面的方式被把握。

如果我们将声音与感觉这一条线视作是混沌的、属于感性直观的，与意义之间没有对应关系，那么诗歌中的声音，就是以其站在意义对立面的身份获得了诗性。诗中的“声音”既是意义的对立面，同时又是意义的核心，也就说是在一定程度上，声音不仅是属于感觉的，而且也与意义存在一定的对应关系。

在少部分数字诗作品中，声音与视觉效果是互相呼应的，例如在大卫·哈里斯·厄本巴赫的《圣殿被毁日》中，街道上行人的脚步声与喃喃低语的男声混合在一起的声效，阅读者屏幕上的文字，每句话读完的瞬间，文字就从读者眼前淡出、消失，声音的停止与视觉内容的结束保持完全同步，类似地，在玛利亚·曼西亚的作品《鸟儿唱着其他鸟儿的歌》中，背景声效就是各式各样的鸟鸣，与屏幕上组成鸟儿图案的文字交相辉映，韩国艺术家张恩海的视频诗《斗争继续》也是这样一首声音与屏幕节奏相辅相成的作品，在长达八分钟的时间里，音效的音节长度与屏幕上特写文本的停留时间都保持了高度同步。

而在大部分数字诗中，声音都是独立于影像视觉、文本视觉之外的另一重内容。例如吉姆·安德鲁斯的《Arteroids》中，当读者“射击”单词时，发出的声音效果都是安德鲁斯自己录制和编辑过的，包括男性、女性、青年、老人、卡通甚至动物的声音，声音的范围是“从卡通到成人，有声诗到电脑游戏”，用以实现传统诗歌中无法实现的对自然世界中一切声音的开放和容纳，类似地在M.D.Coverly发布于2001年的作品《玻璃天空》中，一些旧照片排列在洛杉矶摩天大楼的图像上，用户可以点击任何一幅图像，都会牵引出一段历史往事，黑白影像、令人不安的音频和几行叙事诗并置，共同完成了对于历史经验的艺术书写。

长期以来，人们普遍认为视听是两种全然不同的感知能力，各自调用的是完全不同的认知系统，但诗人、评论家苏珊·豪提出了关于诗歌的通感论，她认为纸张上的空白就像声音中的沉默，而交叠错乱的印刷排版可以通达噪音的感受，因为字体声音可以召唤读者进入可见的听力。这一看法与麦克卢汉的“感知比率”假设也是相通的，即感觉系统是牵一发而动全身的，我们可以假设感觉是一个100%的常数，其中的任何一个成分得到强化或改变，其他成分也会立即受到影响。以听觉为例，如果它被强化，触觉、味觉、视觉就会立即受到影响。而在这个过程中，媒介作为人体的延伸，必将引发感知系统的无穷变化，而诗人和画家对广播电视之类的新媒介能作出立即的反应。收音机、电唱机和录音机使我们重温诗人的声音，给诗歌鉴赏增加了一个新的维度。甚至有学者指出，“可以聆听的视觉”是确实存在的，但现有的声音系统似乎无法贴切地应用于其上，因此始终被视觉霸权占据着。马鸣谦曾就此问题列举了两种不同的视觉类型，一种是诸如几何图形、科学图示、技术图表、数学符号等“非艺术类图像”，它们属于冷信息的数据载体;第二类则是抽象绘画、含糊暧昧的图形、混乱的图式等等，其内容似乎不包含任何信息，是“沉默寡言”的——这两类视觉形态，马鸣谦分别将其称为“晶体透明度”和“浑浊不透明度”，它们从根本上悖离了常规声音-图像关系的惯例，从而以各自的方式挑战、对抗着对声音的任何形式的占用，也即剥离了声音语言和视觉语言的相互侵扰。马鸣谦的这一观点在视听结合的数字诗中得到了更透徹的体现，如前文所列举的例子，许多数字诗作品中的视听并不是直接互文的，彼此独立甚至在一定程度上相互排斥，例如抽象的文字视觉的作品和具有高度实验性的音乐相结合，二者都是“浑浊的不透明体”，并置在一个共同的作品空间内却拒绝彼此的侵占。

在数字文学、数字艺术作品中，视听技术的重新结合明显再次调和了视觉和听觉的共在场景。19世纪末20世纪初，随着电子传输、合成技术、录音、通用机器的发展，出现了无需其他媒介（人声、图腾、文字、音乐）转译就能将声音完全剥离声源，并且可以易时易地重新再现的媒介，声音成为一种可被编写和更改的物质对象，而这一技术恰恰使得声音又重新参与到了文学、艺术的创作当中。在视听融合的数字作品并不是简单地将视觉、听觉材料拼合在一起，它是运用一种新媒介重新整合了这些元素，如同将二者各自打散之后重组。多媒体诗歌的出现将诗从印刷品之中解放出来，采用不断扩展的新科技手段，得以制造出前所未闻的新效果，为诗人打开了全新的创作领域。

作者简介

张洪亮，文学博士，北京市社会科学院文化所助理研究员;研究方向为西方诗学，媒介研究。