数字媒体艺术中频谱符号的探析——基于古德曼艺术语言观

马方楠 朱明健（武汉理工大学 艺术与设计学院，湖北 武汉 430071）

纳尔逊·古德曼（Nelson Goodman,1906-1998）是当代重要的美国哲学家之一，他的研究兴趣主要是分析语言哲学与当代美学，还在形式逻辑和科学哲学领域提出过重要理论。古德曼的著作《艺术的语言：通往符号理论的道路（Language of Art：An Approach to a General Theory of Symbols）1976》被认为代表着英美哲学在艺术问题的分析方法上的转折点。在古德曼的这本书中所提出的一般观点是，符号被用来认知、理解和构造我们的经验，不同的科学以及不同的艺术对人们理解世界有着贡献。[1]正如其副标题所指出的，这本书不仅涉及艺术问题，还涉及科学以及普通生活中对语言和非语言符号的一般理解。必须承认的是这本书的优点在于它以一种清晰的逻辑分析方式打破了艺术与科学之间的鸿沟。正如他在认识论、形而上学和语言哲学方面的著作一样，古德曼的方法通常是不合常规和开创性的。

一、古德曼艺术符号理论中的关键概念

古德曼的艺术符号理论有别于索绪尔、皮尔斯以及苏珊·朗格的研究路径，也与门罗·比尔兹利以“审美经验”为主导的分析美学学说侧重点有所不同。[2]古德曼所构建的符号学路径的主要目的在于完善他的认知主义世界，这一点在古德曼所倡导的认知主义形式中可以管窥一二：通过使用象征，我们发现（或者说建立）了我们生活的世界，并且我们对艺术品中的象征的兴趣是一种与众不同的认知活动。因此，美学对于古德曼来说只是认识论的一个分支。绘画、雕塑、音乐、舞蹈等作品均由符号构成，而这些符号在它们所指的世界具有不同的对应含义。就艺术评论而言，语言是一直以来的言说工具，然而语言的模糊性在艺术评析活动中一直颇受诟病。对于避免艺术研究陷入一种不可知论当中，古德曼的理论在任何时代都具有一定意义。运用符号理论反思艺术中概念的本质和结构，逻辑、定义、思想实验和反例以及演绎论证。[3]可以从以下三点来理解古德曼的论述：其一，他认为符号象征与指称是同义的。其二，古德曼认为指称的模式多种多样。他用记谱法（Denotation）和示例法（Exemplification）作为其主要分析方法的两种基本指称形式。其三，客体在句法的和语义的类型下被分类，而表征系统之间有趣的差异则体现在句法的和语义类型的相互关系上。古德曼也针对数字与模拟的分析给出了一个可供参考的模型，对于了解数字图像与数字声音的本质特征有一定的参考意义。本文的媒体研究视角为科技哲学与艺术批评结合，古德曼的分析哲学为理解数字艺术中的符号提供了哲学依据。

二、可编程性与自动化是数字图像的本质特征

广义上的数字媒体艺术是指依靠基于计算机的数字编码，或者依靠电子存储和处理以通用二进制代码形式的不同的格式（如文本、数字、图像、声音）信息的艺术。[4]结合计算机数字编码的艺术创作方式极为多样，数字图像的生成有赖于数字化光学仪器所制造出的丰富的视觉义肢，数字图像、声学的电子工程学与艺术学科的融合使得数字艺术不断延展艺术的边界。然而数字技术所造成的改变的不仅仅是创作工具改变意义上的，计算机在创造过程中的使用，要求我们从抽象结构的角度来考虑沟通和创造过程。[5]240数字媒介对艺术生态的作用是颠覆性的，它从根本上颠覆了艺术和存在的心理时空，乃至整个文艺生态。[6]本文讨论的数字艺术范畴主要是与光、声音有关的抽象数字艺术，以数字媒介中的艺术语言符号为分析对象，考察这种颠覆性发生的过程。

依据古德曼对数字与模拟的符号化分析，他提出了数字艺术具备合成性，并以电影的放映为例，指出过去人们使用的是模拟系统下的机械胶片投影机，而数字投影机则是光学仪器和计算机技术结合的产物，它是由一组半导体芯片上的复杂排列的数字微镜（DMD）与棱镜、灯的结合，然后从二进制代码中生成可投影图像。从目的上说，模拟的和数字的放映方式都是为了从静态序列图像中产生持续照明的、连续出现的动态影像。不同的是，数字投影机所生成的每一帧图像，是透过棱镜将一盏大功率光束分成红绿蓝三色，每一束光线接触一个不同的数字微型镜(DMD)装置上。基于视频信号中的编码信息，设备选择性的翻转某些微镜来反射彩色的光以实现光线明暗层次，从而形成投影的全彩图像。

合成性意味着数字艺术作品制作过程的多层复合属性，这一过程中的某些层中折射出数字化再现。无论一个数字艺术作品是不是再现的艺术，即使是最抽象的数字艺术，再现的层都会存在于复杂的制作过程和展示过程中。这些层中的大多数，也许数字的层是其中最重要的。让作品中有模拟系统出现，数字化翻译使得最终作品的价值得以实现。相对于传统照相在生产方式上对现实物体或客体的依赖，数字图像/影像完全可以通过电脑算法和层级处理建构起来。[7]计算机合成图像系统内在的可编程性和自动化属性是数字图像的本质特性。数字图像的获得取决于在采样，以及随后接近瞬间的离散编码的过程。

三、数字媒体艺术语义下频谱的符号象征与指称

1.频谱作为艺术符号的释义

频谱（spectrum）一词起源于17世纪初的拉丁语”specter”，字面意思是“形象，幻影”。参考剑桥英语词典中的解释，它还表示(看法、感觉等的)范围、各层次（range），用来对某事物进行分类，或暗示它可以被分类，例如“政治光谱的左或右”。频谱（spectrum）的物理概念是指频率谱密度，也指电磁辐射的整个波长范围，它是根据波长以渐进级数排列的任何电磁辐射成分的图像或分布。声音、粒子等成分相似的图像或分布，按照频谱、电荷或能量等特征排列。

频谱在艺术理论的文本语境中可以被用来指称数字艺术作品的过程结构。频谱/光谱（spectrum）这一术语最早用于艺术是在法国频谱20世纪70年代的频谱音乐（spectral music）。这种大量借用合成电子音乐的艺术形式，即使放在20世纪先锋派艺术中去也仍然抽象。频谱音乐的实质在于分析声音的物理现象，并借助频谱分析仪把抽象的声学信号转化成可见的二维频谱图（Spectrum plots），其中包括线状谱(Line spectrum)和离散谱（Discrete spectrum）。[8]音乐艺术由于其天然的与数字符号共通的属性，是古德曼研究艺术符号的一个重点领域。并且频谱音乐中的符号类型满足语法和句法分化的条件，它是一种反密实性的系统，离散谱可以像得到一系列静止图像符号，来测量时间过程中声音频率的平均能量，该能量数值与其图像符号的对应关系可以被用户明确的读取和指认。一维频谱图在日常生活中最显而易见的是音乐播放器上的声音曲线，它属于时域频谱图，同属于时域频谱的还包括心电图。而作为乐谱的五线谱图则属于频域，既符号不是以时间为参照系而是以有限阈值内的符号频率为依据。此外，近年来已有相关学者或策展人在使用频谱来指称作品的过程结构，如在戏剧艺术的研究中使用频谱一词的有中国台湾学者周慧玲，其题为“表演光谱|从肉身抵制到媒介装置：半世纪的观演身体流动”的讲座中用到的“光谱”，所指为spectrum一词。以及上海艺仓美术馆举办的鲍勃·迪伦的首个艺术大展“Retrospectrum”也被译为光/谱，在这一合成词中retro表意“回顾”，spectrum表意“光谱”，它作为光学概念，是光学频谱的简称，用以指称艺术家的一系列结构化展出的作品。

2.“频谱”同时指称声音与视觉艺术

频谱在数字媒体艺术中的出现主要是电子合成音乐和算法艺术。自1913年未来主义艺术家路易吉·卢索洛提出创作一种“噪音”艺术以来，音乐的和声范围扩到了非音乐的声音。1960年代至21世纪初，极简主义、噪音和工业音乐相互呼应，时而相互交织并通过合成声音、田野录音和磁带剪辑来拓展声学意识的范畴。通过关注声音的阈值并处理声音频率及其产生的谐波物理行为，它们发展出丰富的空间感官。德国当代作曲家柯尼希（G.M.Koenig）曾指出用二进制的术语重写音乐理论就是要创造一个新的计算机语法，使其可以适用于计算机世界的系统性思维，没有模糊地带，非0既1。[9]也正是这一时期，用代码来编写电子合成音乐开始萌芽，声学和电子工程师对音乐系统内的符号展开频谱分析。直到20世纪90年代电子合成器软件（softsnyth）的开发和使用实现了声学乐器的数字化再现。频谱在电子合成音乐作品中的不可见体现了作品中的数字性隐于某个层中，这种不可见的数字性反映出对频谱技术及符号的使用，使得作品所携带的符号信息具有合成性特点。在视觉艺术领域，尤其是生成艺术（Generative Art）或者说算法艺术(Algorithm Art)中，先锋艺术家们用视听装置作品关注数据、信号、编码的视觉再现。[10]以跨媒体艺术家池田亮司（RyojiiKeda）的作品为代表的数字艺术，在探索声音和视觉的联觉的同时，对频谱的视觉再现也是其重要探究对象，例如他的作品“矩阵”（matrix）就探索了声音最纯粹的形式——正弦波，以及最宽广的声音频谱——白噪音。除此之外，作品“光谱“（spectra）运用了白光（全色光谱），来反思和解释我们看待周围世界的方式。其作品呈现给观众的是极简主义的抽象视觉，以及让观众置身于信息过载中的沉浸式视听体验。投射在各类数字显像屏上的图像由编码实时运算生成，声学频谱和光学频谱存在于作品的切片当中，不可见却又真实存在着的。这是本文所探讨的频谱在数字艺术作品所携带的符号信息的合成性。

无论是再现的还是抽象的数字视觉艺术，数字图像的生成的基础离不开一个数学公式——傅里叶变换（Fourier Transformation），它在计算机图像上的作用是将时间域上的信号转为频率域上的信号，而其中涉及到的正弦波（Sine Wave）在计算机生成艺术中是一个经常使用的概念。数字图像可以通过这一公式原理进行编码，得到其频谱图（图），研究者可以借助计算机分析图像的频谱图进而了解数字图像编码的内在逻辑。变换频谱上的某一个参数会直接反馈到数字图像的变换上，由于数字图像是由若干个离散点的像素构成，并且像素在数字成像显示中的数据是常数。所以这种变化是在句法和语义有限的条件下发生的。根据上文对数字艺术符号反密实性的定义，频谱符号同样具有非密实性，因此频谱符号在数字艺术符号中的存在符合其艺术特性。

3.基于池田亮司作品的频谱符号分析示例

池田亮司（Ryoji Ikeda），是将声音和视觉整合为一个系统的为数不多的数字艺术家。声音和图像（白噪音和正弦波）是他的形式语汇的基本组成部分。基于此，这位艺术家发展出一种建立在数学之上的工作方法。对他而言，也许这是一种纯粹的美学形式，也被他认为是最接近绝对理性和逻辑的。同时，数学也是一种最接近普适性的语言结构。[11]从创作工具上来看，基于数学语言结构的计算机编程的语言连接了声音和图像的相互性。池田亮司用到的白噪音是一种在不同频率下具有相同密度的随机信号，使其具有恒定的功率谱密度，它是频谱概念下的一个延伸概念。池田亮司的同一个作品项目通常在不同的展览上呈现不同的版本，他2000年的装置作品“矩阵”(matrix)五声道版本（5ch version），是用五个梅耶SB-1s音响和一台计算机呈现他创作的白噪音。而在伦敦的千禧穹顶中由扎哈·哈迪德设计的“思维地带”（the mind zone）中展出的版本“矩阵”（matrix）：声学错位(for acoustic dislocation)用到的则是16.4ch音响系统和高音质播放设备。尽管呈现的形式有所变化，但他在矩阵系列声音装置作品都以正弦波和白噪音作为雕塑声音的材料。当观众置身声场之中时，由于他们的走动而干扰了声音，他们的耳朵周围会出现轻微的震荡。他为体验者创造一种个人化的声音空间，把抽象不可见的声音频谱具象化为一种私密的感官体验。

池田亮司的视觉频谱作品“光谱”spectra在2000年至2018年间在世界各地多次展出，它利用强烈白光作为生成图像的材料，是一个系列大型装置作品。白光既全光谱颜色合成的，由电转化而来的一种光学现象或称光学能量，艺术家将这股能量向高空中投射，观众从感官上看到的可见光是光谱经过电能转换而来的视觉奇观。在这个装置中，有趣的是观众可以接收到各种色彩的光学信息，然而当它们合成为白光后，对近距离参观的观众而言，这个装置变得几乎不可见。[12]光谱和矩阵这两个作品从视觉和声音两个维度对频谱“实体化”所进行的研究，反映出频谱符号不仅被用在声音艺术上，还被用在视觉艺术上。

作品“Cyclo”则完全体现出池田亮司是如何实现声音和视觉的数据转换，表明了频谱符号的跨界语言特性，这是他与德国先锋电子音乐人及视觉艺术家卡斯腾·尼古拉（Carsten Nicolai）一起在柏林创作的作品，并以组合cyclo的名义于2013年在美国现代艺术博物馆（MoMA）现场表演了这件作品。他们建立了一个由声音生成的图像档案馆，并创建了一个软件来帮助自己理解声音和图像的相互性。在最初的声音分析中，使用的是为录制胶唱片的相位而开发的设备。通过使用这种立体声像监控设备，立体信号的相位和幅度可以被图像化，既视觉化的声音频谱。作品的创作过程建立在微观声音频谱的编辑及其和图像分析的关系上。声音碎片的“无限索引”是形成这一项研究的有意识的动机。他们受到示波器上的利萨如图形（lissajous figures）的美感的吸引。不断尝试能够实现非常几何化的动态图像的音频材料。在这一作品当中，图像和声音的关系产生了置换，图像不再仅仅如常态那样作为声音的从属背景。作品矩阵和光谱分别代表了频谱符号在声音和视觉上的运用，作品“Cyclo”则实验了频谱符号在视觉和音乐结构上的跨界，表明了频谱符号所具有的跨界语言特性。

四、结语

与再现艺术相比，数字媒体艺术更多的是一种抽象艺术，它是一种视觉艺术中新的激进范式；与音调主义相比，序列主义是一种音乐艺术中新的激进范式；与可见语言相比，结构语言是一种语言学中新的激进范式。[5]241非再现艺术的激进范式体现在符号语言边界的延展，视觉、声音、语言的系统在结构主义理性框架内被重写，也许频谱符号可以作为研究数字媒体艺术符号学中的一个索引。数字媒体艺术往往复杂而抽象，本文尝试用科技哲学的思路来分析艺术家的作品的本质内核。数字媒体艺术家所关注的作品主题通常是对数字信号、数据、代码的反思，以及对视觉、音乐的符码所进行的转换，如若艺术批评能善用科技艺术的研究方法，相信能在数字媒体艺术作品的解码中，提高艺术符号定义的准确性。本文抛砖引玉对频谱符号艺术释义、符号指称提出了分析路径，并以先锋新媒体艺术家池田亮司的作品作为典型案例，运用上述研究方法进行了示例法的分析，也许可以一定程度上规避数字媒体艺术符号编码与解码中的失误现象。