新媒体数位艺术——声音与影像的跨界融通

杨 君

（河南大学 新闻与传播学院，河南 开封 475001）

一、声音装置艺术

声音艺术（Sound Art）从最初在传统音乐下突破制式的架构、创造新的乐音及作品形式的种种改变，即可说是在过往既定的架构下，刻板于音乐种种美学感知中，还原其音乐的本质，用声音来创造一个新的美学概念，使音乐有了更多的空间及可能性。而声音艺术可能是当代艺术形态中较难定义的类型之一，它不以硬体器材设备取胜，因为任何使用声音为媒体素材的创作都有成为广义声音的可能。［1］

新媒体数位艺术中的声音装置将传统艺术的结构分为“视、听、动、静”四部分，它们之间相互融通，从而能够创造出极其美妙的数位艺术。其中，声音是受众接受外界信息的主要渠道之一，在新媒体数位艺术中，声音发挥着重要的作用，对于新媒体数位艺术来说，它的作品的艺术价值发挥着举足轻重的作用。

二、新媒体艺术在台湾

台湾的新媒体数位艺术发展迅速，2000年以后，自电影与录像开始出现在美术馆和博物馆之后，音像很快受到人们的重视，这也意味着声音艺术的脉络有着明朗化的发展。音像与数位技术紧密的结合，利用录像艺术、声音装置、声音与影像现场及时表演等方式，成就声音装置艺术的完美展出。

姚仲涵从2007年开始着手以日光灯进行创作，日光灯不稳定的模糊状态是让姚仲涵感兴趣的主因，也成就其卓越的创作。姚仲涵的多数作品皆搜集来自日光灯闪烁过程的声响，再透过电脑放大、改变音频、构筑为作品中的声响元素。已被国立台湾美术馆典藏的《流窜座标》便是以声光、身体与空间为基础，透过三者的关联互动触发观者的「身音经验」，《流窜座标》更使观者的身体成为声音、光、位置三者汇聚的焦点，进而在艺术创作中实践身体、声光与空间的彼此关系。

简而言之，声音和其他艺术形式最大的不同在于，人们必须要先听完才知道发生了什么事，才能确定自己体验到了什么但是在听完之前，受众要先排除自己的心理障碍。因为听觉是接受度最窄的一种感官，而且受惯性所牵制。［2］所以，长期以来，音像被看成是听觉和声音以不可见的抽象媒体素材来完成的具体实践形式。

我们可以看出，声音作为人类获取信息的主要渠道之一，在新媒体数位艺术中发挥着重要的作用。但是，在媒体市场中，声音装置技术与艺术水平还有待提高。在今后的新媒体数位艺术创作中，必须重视声音设计在新媒体中的重要影响力。

三、新媒体艺术在大陆

近年来，新媒体艺术逐渐在中国大陆各大艺术馆、美术馆树立起较为完整的一套艺术体系。新媒体艺术与科技密切相连，这种艺术手法与传统的艺术手法迥异，这是一书中的创新。例如，上海第十届双年展城市馆的“人机未来”、上海21世纪民主美术馆开馆展“多重宇宙”、中央美院美术馆第二届未来站“创客创客”等。这种艺术集合了网络、计算机、音像与影像并与观众进行互动这种形式，他们展现了炫酷的特技，令人眼花缭乱。

张尕，媒体艺术家，媒体中国2008年策展人，纽约帕森斯艺术学院教授。曾参加许多重要国际展览如Ars Electronica Center （奥地利）、Adelaide Art Festival（澳大利亚）等。从2004年至2006年之间，他组织并策划了北京国际新媒体数位艺术展及论坛，将国际新媒体艺术引向中国大陆。2015年起，他将参与指导上海新媒体艺术中心展览，谈谈新媒体数位艺术究竟是什么。

四、影像，是一种听觉经验

当代新媒体数位艺术家利用科技媒体，创造了充满媒介性（mediality）元素的艺术品、虚拟环境、表演以及装置，并标志着越来越电脑化处理的媒体元素（如、图像、活动影像、声音、形象、空间和文字）。这些人工制造出的成果，被称为是“颠覆矩形视窗”、“视觉图像认知”以及带动互动性展演的“新界面”，艺术家、作家以及影像创作者都不断地实验这种新思维，以及新视觉界面和叙事结构的模式。

声音与影像之间的关系，不仅能够表现、引起、召唤、缓和情绪，说明情节、促进联想、加深视觉印象。人类在真实生活中运用到的感官体验，听到或是看到的东西并不能给我们完全立体的感受。若是把影像独立，除去声音的部分，会是怎样的情形？反之，又会是怎样的体验？加入经典的原著少了影像，或是缺了声音，作品本质仍然存在或是变成另一件不同的，甚至是迥异的作品？

为了使声音和影像之间能够更好地融通，受众在新媒体数位艺术的表演中起着重要作用。新媒体艺术是一个互动性较强的艺术样式，通过搜集各种资料，形成新的艺术作品，呈现在受众的面前，吸引受众参与其中，这是媒体的一大飞跃式进程。它是全新的艺术形态，受众与影像及声音互动的过程，就是社会和科技文化进步的过程。

五、声音与影像的密切联系

新媒体数位艺术主要是通过视觉、听觉、触觉等身体感官器官的刺激来获得亲身体验与感受。其中，视觉和听觉就像是孪生姐妹，是一个整体。没有视觉，听觉就不完整；没有听觉，视觉就无法完美地呈现出来。但是，声音在新媒体数位艺术中的作用是无可厚非的。“声音艺术”成为一个极其难以论述的艺术创作方式，当人们的感官器官不断受到挑战与刺激的时候，我们更难以对“声音”传统思维的定义“声音是用听觉感知来体会的”加以确定。一般来说，人们对“声音”的认知只是浅层面上的理解，只是纯粹的听觉感官上的刺激。在数位艺术下，听觉、视觉与感官器官相融合，创造出集视觉、听觉、触觉为一体的完美体验。在网络发达的时代，数位科技在声音（sound）与音乐（music）艺术创作及其传输上的影响不言而喻，声音的音像传播面向的创作计划经常是以互动装置的形式表现出来，反映出不同使用者对如何置入或是转化资料结构成为声音与视觉的展现。

所以，在声音中，受众参与的每一个艺术家的作品之中，都会由一种新的生命的形式呈现出来。从而，受众对于之后的每一次感知形式的广泛理解以及感知理论的发展开启了一扇新窗。不同层次的新媒体数位艺术作品对于声音的要求各不相同。

一是人机之间的互动艺术。这个数位艺术比较简单，就是人与机器之间的直接触觉接触。例如，教育类的数位游戏，检测人们的大脑反应情况进行简单的测试。二是能实现人机、人人，低水平的互动游戏。例如，愤怒的小鸟，人的手指与屏幕接触，屏幕受到手指的控制，来完成整个游戏。这种虚拟现实的特点主要依靠手指与屏幕进行互动，这种互动信息传送的效率较低，成员之间的呼应较困难。三是能够实时进行成员之间的直接对话。这是高级虚拟的训练系统，如飞行员模拟驾驶、消防员模拟救生训练等。

在新媒体数位艺术声音音像中，声音被作为一种讯号“signal”，其含义是从电脑到其他装置之间的输入和输出。正如劳雷尔（Brenda Laurel）所言：“即使人们看不到声音，但却常说：声音被音响给展示（displayed）出来。”张永达对上述有了明确的表示：“不管是视觉艺术或是其他领域，声音是在帮助或辅助视觉的建构，使它更清楚地表达，就像是一开始的无声电影到有声电影，其实是帮助我们进入视觉所要呈现的状态，弥补一些不足。”

［1］ 林其蔚.声音艺术的定义困境I——让人迷惑的艺术［J］.艺术Issue，2010（8）：44.

［2］ 张蕴之.声音艺术，台湾发声——从五线谱中离开：声音艺术对话录［J］.幼狮文艺，2005（621）：43.

［3］ 何岩.VIDEO 新媒体艺术中的动态影像艺术［J］.长春教育学院，2010（23）.

［4］ 姜超迁.从作品《得广厦千间-致万安》看中国新媒体声音装置艺术［J］. 2013（6）.

［5］ 孙霞.关于交互设计中“视与听”元素的研究［J］. 2013（zl）.