基于TouchDesigner的互动装置艺术应用研究

朱洪萱 韩帆

摘要：传播体验的逐步升级让大众对媒体艺术的审美水平显著提高。TouchDesigner（视觉设计工具）的出现迎合了目前大众市场的需求，它的高互通性、高集成性等优势让其成为目前最受欢迎的多媒体艺术编程创作工具之一。运用TouchDesigner生成互动装置，给予了互动装置艺术更多的创新形式与发展空间，有利于传播新型交互式编程技术，让我国在数字媒体与交互式编程设计领域的国际竞争力得到显著提升。本文通过分析TouchDesigner生成的互动装置案例，探讨互动技术的进步为装置艺术带来的影响与意义。

关键词：TouchDesigner;互动装置艺术;创新应用

中图分类号：G206 文献标识码：A 文章编号：1004-9436（2021）15-000-02

互动装置艺术在数字媒体艺术范畴内，顺应了现代数字媒体艺术的发展趋势。早期的装置艺术在空间、材料、体验感、受众群体、创作者等多方面受限，而将互动性融入装置艺术中，在拉近观众与作品距离的同时，也让作品本身在艺术与情感的表达上发挥得淋漓尽致，艺术从原来的单向信息传递转变为观众与艺术家之间的双向信息传递。互动装置艺术的出现，突破了传统艺术的静态美学，观众可以亲身体验与触摸作品，无论是从视觉上、体感上，还是情感上，都为人们带来了全新的体验[1]。而科技的疾速发展和大众审美水平的大幅提高，使互动装置艺术的实现方式成为我们需要探讨的重要话题。

1 互动装置艺术与TouchDesigner（视觉设计工具）

互动装置艺术是跨界融合多媒体等现代技术的艺术表现形式，突破了传统艺术的单一形式，结合生物学、光学、物理学、声学、心理学、信息传播学、美学等多门学科，并涵盖计算机编程和动画制作等[2]。同时为加强作品与观者的互动，还涉及一些感应系统和输出设备等。其中相关硬件设备及数字媒介材料不仅是创作的媒介材料，也是创作和传播的工具。通过数字媒介和数字技术的介入，互动装置艺术的交互性更强，其呈现方式也更多样化。

TouchDesigner的诞生为互动装置艺术提供了更加高效、便利的创作平台，它是由加拿大Derivative（衍生物）公司在2001年开始打造的一款节点式可视化创作软件。不同于传统的复杂编程工具，TouchDesigner提供了一种利用可视化节点作为制作手段的全新创作方式，用户通过COMP（Components，容器元件）、TOP（Texture Operators，图像元件）、CHOP（Channel Operators，通道元件）、SOP（Surface Operators，形状元件）、DAT（Data Operators，文本元件）、MAT（Material Operators，材质元件）六种基本功能元件进行创作。整个编程过程中，软件将代码的结构和函数变成无数个模块，通过连线的方式任意拖动控制器组合动作就能达到理想的创作效果[3]。创作者和设计师们无须担心底层的编程开发，可以把更多的精力投入将不同的媒介装置整合起来创造更有想象力的跨领域新媒体作品中。

2 TouchDesigner生成的互动装置艺术

2.1 TouchDesigner技术分析模型

2.1.1 特点

作为计算机生成艺术的实现工具，TouchDesigner的随机性是其最主要的特点之一，相同的程序并不能出现同样的效果，观众包括作者都无法预测作品的最终效果，这赋予了创作本身无尽的可能。除此之外，TouchDesigner的高互通性、高集成性、实时性、数据可视化等特点让越来越多的艺术家和设计师摒弃传统的制式化制作工具，转而利用TouchDesigner制作艺术作品、商业项目等。

2.1.2 功能

利用Python（计算机编程语言）作为内嵌编程语言，与AI（Artificial Intelligence，人工智能）的结合让人们对TouchDesigner创作的当下最热门的人工智能有了更多的想象。TouchDesigner的实时控制界面功能让它可运用在各个大型的商业项目和展演现场，行业内高级别的稳定性让它被各个世界知名工作室和团队采用。TouchDesigner软件的内置包括Kinect TOP（3D体感摄影机图像元件）、Kinect Azure TOP（空间计算开发人员工具包图像元件）、RealSense TOP（实感计算图像元件）等硬件读取元件，这让它能够与各種传感器设备相结合，达到人机交互的效果。除了直接读取外设数据进行通信外，丰富的协议接口也是让TouchDesigner变得无所不能的一个重要原因，它可以根据不同硬件设施、超文本传输协议、全球广域网系统以及软件匹配操作选项，集成各种环境。

2.1.3 应用领域

面对目前变化多端的市场环境，TouchDesigner敏捷的部署及架构方式让它拥有极强的适应能力，特别是在数据处理上能够满足现代数字媒体艺术作品种类繁多的需求，越来越多的设计师及艺术家运用TouchDesigner完成自己的项目，在交互式媒体系统、建筑投影、现场视觉及音乐表演、虚拟现实、机械硬件控制等多个领域都能看见它的身影。

2.1.4 感知体验

应用TouchDesigner创作互动装置艺术，在听觉、视觉、味觉、触觉、嗅觉五个方面充分调动观众获取信息的感知体验，观众与作品之间的互动达到了最佳效果，充分展现了观众与作者之间的双向信息传递与交流。

TouchDesigner技术分析模型见下表，它分析与研究了TouchDesigner的特点与功能，以及目前市场上利用此软件实现的专业领域，为利用TouchDesigner设计艺术作品提供参考。

2.2 应用TouchDesigner生成互动装置艺术的优势与意义

互动装置分为建立数据库、信号采集、信号处理、成像处理以及其他辅助设备，而信号处理是互动装置设计中的关键节点，作品信号的输出、输入以及转换都需要编程来实现，编程软件是实现互动装置作品的必要手段[4]。相较于运用AS3（ActionScript 3.0，面向对象编程语言）、C++（计算机编程语言）、Processing（图形设计语言）等编程语言创作互动装置艺术，TouchDesigner的可视化编程环境让设计师们无须传统的文本式代码，高集成化的元件让编程零基础的用户都能够轻松使用[5]，在搭建好的初始模块上延展出丰富的视觉创意效果。无论是实验室级别的Arduino（开源电子原型平台）、Kinect（3D体感摄影机）、Leap Motion（体感控制器），还是专业级别的舞台灯光、雷达追踪、人体捕捉系统，TouchDesigner强大的数据接口都能和它们无缝对接。清晰的界面、便捷的操作以及强大的API（Application Programming Interface，应用程序编程接口）接口让TouchDesigner促使新媒体艺术工作者创作更多优秀的互动装置艺术作品。

3 TouchDesigner互动装置艺术的创新应用

3.1 TouchDesigner在互动灯光装置中的创新应用

随着经济实力与文化建设的飞速进步，人们对于艺术的审美体验要求不断提升，互动灯光装置艺术在这样的背景下走进大众视野。互动灯光装置艺术利用光的语言进行创作，与基于纯视觉感受的传统艺术形式不同，互动灯光装置艺术以新型交互技术为媒介，利用声、光、电等元素给予观者视觉与听觉的双重感知体验[6]，让作品与观者间产生情感共鸣，增强大众参与性，同时赋予艺术作品更高的社会价值。

WhiteVoid（白色空隙）是一家来自柏林的著名互动灯光雕塑设计工作室，其Kinetic lighting（动态照明）项目遍及全世界，是使用TouchDesigner的先驱团队。同时其交互装置与产品被广泛运用于博物馆、展览会、展销会及音乐会中。《SKALAR（斯克拉）》是由WhiteVoid（白色空隙）工作室的创作者Christopher Bauder（克里斯托弗·波特）和Kangding Ray（康定·雷）结合TouchDesigner制作设计的大型声视互动灯光装置，探索了声音和光线对人类情绪的影响。Kraftwerk Berlin（柏林电厂）的漆黑工业空间内，大量动力镜面装置运用TouchDesigner进行现场实时控制，通过对光的折射形成了绚丽夺目的迷人光线，结合多维声音的试听叙述，呈现出移动的灯光和复杂的多声道音响系统。TouchDesigner的高稳定性让它可以在现场对灯光、声效进行实时控制，当观众身处装置中，在视觉、听觉与触觉的多重感官刺激下激发多样的情绪，观众在融入作品的同时也能够赋予作品本身更深层次的含义。

3.2 TouchDesigner在互动影像装置中的创新应用

相较于传统影像装置，互动性是互动影像装置区别于两者的一大特点。将互动性融入影像装置艺术，不仅完善了传统影像装置技术层面的缺陷，也在一定程度上改变了观者与作品间的交流与表达方式[7]，观者在欣赏作品的同时与作品互动，从而在情感上加深对艺术作品的认同。互动影像装置在创作过程中需要运用特定的传感器来进行信息采集，并及时传输到对应设备。通过现有的电脑语言链接程序来判断传感器传输的电信号，并完成数据的处理，接着用指令的形式将其传输到播放现实终端，实时反馈特定的影像或图像[8]。而TouchDesigner的高互通性为互动影像装置的创作提供了更多的便利与艺术可能性，其出色的硬件交互性能让其区别于其他类似的交互软件，在创作互动影像装置时可以直接利用TouchDesigner与传感器相连接，并在TouchDesigner平台编写程序完成数据处理，从而反馈影像画面。同时，可视化的节点式创作形式让更多在编程方面零基础的艺术家及设计师依然可以运用TouchDesigner设计出令人惊艳的互动影像装置作品。

VolvoxLabs（团藻实验室）设计团队来自纽约，他们为微软艺术长廊影剧院设计制作的互动屏幕墙就是由TouchDesigner生成，设计者在墙上安装好可以移动的木板，并在木板后面固定摄像头与灯光装置，通过TouchDesigner进行相应的数据处理，并结合摄像头实时捕捉人物动态，从而控制灯光的明暗与走向，每个观众通过自身运动的形态对屏幕上的影像进行控制，从而创造出独特的感官体验。

3.3 TouchDesigner在互動视听装置中的创新应用

互动视听装置是将声音与画面相结合，通过人机互动而产生的艺术表现形式。声音是现代社会的重要媒介传播方式，是增强人们感知体验的重要部分。互动艺术作品在有形或无形的装置空间实体内，与声音碰撞产生特定的艺术形态[9]。在设计互动视听装置作品时，作品与观者互动时产生的生理、心理及精神感受是创作的重要组成部分，通过听觉和视觉的双重感官刺激，能够引导观者更为充分地理解作品的深意和内涵，让作品与观者达到强烈的情感共鸣。

邹麓阳的互动视听装置《声子记忆》由TouchDesigner生成，体验者进入一个密闭空间，整个空间通过投影装置将视觉画面投射到空间中的每个平面上，运用几何形体将画面营造出一种无边界感，通过沉浸式视觉画面以及音频与观众互动，挑战实际空间和感知空间的边界，从而开放一个虚拟的记忆时间。作品只有在人的参与之下才会生成它独特的意义，“声子”是最小的声粒子，而“声子记忆”则是歌颂沉静与缓慢的一个视听景观。相较于一滑动就会被忘记的具有消耗性的视听信息，《声子记忆》互动视听装置是通过参与者用自己的方式去体验与感受这个环境。

4 结语

TouchDesigner的应用迎合了互动装置艺术的传播需求，在TouchDesigner平台的支持下，互动装置艺术的展示效果及互动体验都得到了提高。TouchDesigner强大的功能需要被更多的设计师及艺术家熟知并掌握，它将作为未来使艺术和技术实现跨界融合的纽带之一，引领艺术和各学科交叉发展新趋势，并适用于其他新媒体领域，产生更高的社会价值。如今，TouchDesigner已经开发到了第三代产品，众多的新媒体团队和艺术工作者在国际舞台上创作出了不计其数的经典作品。随着国内技术社区、论坛以及各类相关活动的兴起，TouchDesigner的国内用户量呈爆发式增长，其强大的生命力和广阔的发展前景为国家的经济、文化建设提供了强有力的支持，未来TouchDesigner将会为我国的新媒体领域创造更多的可能性。

参考文献：

[1] 孙艺桐，史立新.装置艺术创作中的交互体验设计应用研究[J].艺术教育，2020（02）：215-218.

[2] 达妮莎，郑海期.眼动技术在互动装置艺术中的应用[J].艺术与设计（理论），2020，2（08）：108-110.

[3] 苏镜如. TouchDesigner在新媒体艺术中的运用[J].新媒体研究，2020，6（14）：9-10.

[4] 刘桂华，张梅芳，王盈舒.多媒体互动装置作品特征及其影响分析——以米兰世博会日本馆《DIVERSITY》为例[J].设计，2018（22）：130-132.

[5] 郭开鹤.计算机生成艺术在图形世界中的意义[J].美术观察，2012（12）：124-129.

[6] 张泽方.试论可视化编程在数字媒体艺术中的运用——以TouchDesigner为例[J].时代报告，2019（06）：140-141.

[7] 方芳.互动装置艺术在数字展示中的特性研究[J].美术大观，2017（07）：136-137.

[8] 亓国梁.新媒体语境下互动影像装置的艺术特征与类型辨析[J].视听，2019（12）：82-83.

[9] 陈思洋.浅析在互动装置艺术中声音装置交互的情感体验[J].西部皮革，2019，41（12）：155-156.

作者简介：朱洪萱（1998—），女，江苏盐城人，硕士在读，研究方向：数字媒体艺术。

韩帆（1962—），女，江苏南京人，博士，教授，系本文通讯作者，研究方向：计算机图形学。