TouchDesigner在互动影像装置中的应用研究

李咏洁 王宏利

摘要：互动影像装置的基本构成为：感应信息—处理信息—输出影像。其中处理信息这一关键步骤一般由控制程序完成。传统的控制程序开发依赖Java和C语言这类以文本为主的代码语言进行程序编写。可视化编程TouchDesigner平台的出现使艺术家不依赖文本代码也能编写互动影像装置的程序设定。文章聚焦可视化编程平台TouchDesigner 参与制作的互动影像装置案例，分析TouchDesigner实现交互效果的原理、方式及該平台与其他硬件合作的多重可能，从创作、商业和美育的角度探讨TouchDesigner在互动影像装置中的应用前景。

关键词：TouchDesigner；互动装置；影像装置；可视化编程；新媒体艺术

中图分类号：TP37；J5 文献标识码：A 文章编号：1004-9436（2022）16-00-03

1 可视化编程平台TouchDesigner

控制程序是互动影像装置实现人机交互的关键。互动影像装置中的控制程序设计逐渐由文本代码向可视化演变。互动影像装置的技术实现主要有三步：传感设备向控制程序输入信息、控制程序接收并处理信息、控制程序将处理后的影像信息反馈给观众。早期艺术装置的控制程序开发流行使用C++的OpenFramework来完成［1］。2001年，麻省理工学院媒体实验室与艺术家共同研发了一种专门由设计师和艺术家使用的编程软件Processing。Processing，其优势在于“低算法”，但是其仍然是一款基于文本输入的编程软件。随着技术的革新与发展，可视化编程平台应运而生。可视化编程以逻辑、图像和视觉元素为主导，用视觉流程图取代了以往编程中的文本代码［2］。在互动影像装置的制作实施中，由Derivative Inc公司开发的可视化编程平台TouchDesigner顺利出圈。

TouchDesigner工作性能稳定，实时渲染流畅，可应用于数字投影、数据可视化、实时3D生成、电影场景环境控制和VJ（Visual Jockey，影像骑师）。TouchDesigner获得了全球艺术家和艺术团队的青睐。比如，来自纽约的设计团队Volvox Lab运用TouchDesigner为微软的艺术长廊影院制作了能与人互动的屏幕［3］。加拿大团队Moment Factory使用TouchDesigner制作建筑投影，使古老的建筑与梦幻的影像在同一个空间交融。日本数字媒体团队TeamLab在Borderless系列作品中运用TouchDesigner协调了人机交互。

2 TouchDesigner在互动影像装置中的应用

2.1 基于TouchDesigner传感程序设计

TouchDesigner在互动影像装置的制作中主要承担处理信息的功能，但是要完成整个互动程序，还需要与传感设备合作。传感设备主要用于捕捉声音、温度和人的动作等信息。传感设备接入计算机后，TouchDesigner开始处理捕捉到的信息，生成不同的影像，最终通过投影或者LED屏幕将影像信息展示在观众面前［4-5］。按照传感设备的类型，可大致将基于TouchDesigner的影像装置分为音画互动影像装置和体感互动影像装置两种。

2.1.1 音画互动传感

互动影像装置中的音画互动通常由控制平台根据声音的响度、音色以及音色要素自动生成相应的影像，被生成的影像通常用颜色、运动、形状和纹理的变化反映声音的变化。2014年，在星际争霸赛的舞台上，程序员Keith Lostracco使用TouchDesigner创作了名为Luminosity的VJ系统。该系统将声音控制台完全置入TouchDesigner，并由TouchDesigner结合现场声音生成即时影像。星际争霸赛中的Luminosity系统是将TouchDesigner应用到舞台现场的较早期的实践。由于TouchDesigner具备较强的稳定性，该平台被越来越多的媒体艺术家和音乐人应用到舞台音画互动中。2021年，在都柏林的Light Moves festival（光动艺术节）中，媒体艺术家Pauric Freeman（帕乌里·弗里曼）为音乐人Beatrice Dillon 制作了音画互动影像背景，这个项目由TouchDesigner与音响合成器以及音频编辑器Ableton合作完成。

2.1.2 体感互动传感

Lumina Borealis是由多媒体工作室Moment Factory于2020年创作的公共互动影像项目。Lumina Borealis装置所利用的空间是加拿大的亨利古堡， 该装置以冬天和冰雪为主题，在古堡的墙上随处可见代表冬天的植物、动物和元素。制作团队使用TouchDesigner平台，实现了观众与古堡里神奇的“生物们”的互动。目前，大部分互动影像装置中的互动方式和Lumina Borealis项目中的体感互动一样，装置中的影像内容根据观众反馈的信息变化。观众可传递的信息有手势、表情、语音、温度和位置坐标等。

TouchDesigner实现体感互动需要接入外部设备。其中，Kinect是互动影像装置中使用频率较高的传感设备。Kinect最初是微软公司推出的用于玩体感游戏的摄像头，由于亲民的价格和稳定的骨架追踪功能，Kinect也逐渐被运用于连接PC端的程序开发。Kinect骨架追踪的工作通过红外线和摄像头来识别人身上具有代表性的20个关节点，通过关节点离Kinect的距离、水平移动距离和垂直移动距离来确定人的位置和动作［6］。2017年，在Virada Cultural 艺术节上，跨学科创意团队Midiadub结合Kinect传感器和TouchDesigner打造了能与观众互动的户外砖墙，观众在墙体边停留和触摸墙面时，砖墙能给予观众实时动态影像反馈。除了Kinect传感摄像头， TouchDesigner 也能与追踪雷达、Arduino电路板以及Leap Motion控制器等设备合作完成互动影像装置的制作。

2.2 基于TouchDesigner的计算机生成艺术

装置中的传感器将捕捉到的信息传送给TouchDesigner。随后， TouchDesigner 根据接收的数据按照预设的程序对影像进行切换、叠画、图像形变或者触发特效。其中，粒子交互和可控拟态是目前互动影像装置中较常出现的效果［7］。

2.2.1 粒子交互

粒子特效是互动影像中经常出现的效果，比如人触碰到装置时屏幕开始出现粒子，屏幕上的粒子跟着人改变方向或者當人走到某个位置时影像中的某个图形图像变成粒子消散。TouchDesigner中粒子的原型一般由grid（网格）这类以线条为主的元件加入particle（粒子）元件生成，创作者可以在此基础上再对生成的粒子加以微调，如加入sort（排序）来改变粒子的方位、大小，或者加入pamp（分子模式）改变颜色等。粒子效果制作后可在TouchDesigner中点击链接Kinect等传感设备完成交互。

2.2.2 可控拟态

TouchDesigner中的可控拟态效果常与Leap Motion手势控制器一起使用。观众可在装置前用手势控制影像中图形图像的位置、颜色、生长方向和元素形态等。可控拟态的设计需要先建立或导入3D模型，如果用TouchDesigner建模，可考虑先拖入Box（立方体）、sphere（球体）或者tube（管）这类基础图形，随后需要在模型的基础上用sopto元件建立网格数据。将图形图像信息转为数字坐标数据后，再加入noise（噪声）元件建立动态数据，影像中的原始模型主要通过调整noise元件中的参数，实现变形、切换、消失和部件重组等效果。

3 TouchDesigner在互动影像装置中的应用前景

3.1 创作前景

基于TouchDesigner的装置设计比传统开源编程的创作效率更高。对艺术家而言，使用编程软件一般要有C语言或者Java的基础，这些并不是在短时间内就能精通的，使用TouchDesigner将大大提升创作潜能。另外，TouchDesigner将打破行业与技术壁垒，让更多的人参与到艺术创作与艺术体验之中。对程序员而言，TouchDesigner能尽可能减少程序员在与外界沟通时的“行业黑话”。比如，目前很多装置项目需要程序员、艺术家、政府以及商家共同完成，可视化编程能让外行人更快更准确地了解项目的实现效果和进展，有利于从整体上提高项目效率。

3.2 商业前景

TouchDesigner参与的互动影像装置的商业价值未来可期。对美术馆和博物馆而言，科学与艺术相结合的项目不仅更符合时代发展趋势，还增强了观众的参与感。比如TeamLab在上海无界美术馆的作品就大量使用了基于TouchDesigner制作的互动影像装置。据不完全统计，2019年，该展览有230万人观展。2020年9月至2021年1月，百度与UCCA Lab合作主办的展览“唤醒万物”在北京UCCA当代艺术中心举行。该展览的沉浸式互动体验主要由TouchDesigner完成，因为新颖的主题和良好的互动效果，该展览日均观看人数超过5000人，一度打破了北京UCCA的观展纪录。对公共区域的管理者和商家而言，互动装置能为场地带来更多的人流量，因为互动装置必然会增加人在空间中的停留时间。

3.3 美育前景

艺术作品的展览方除了展示作品外，也可以尝试将作品与公共教育以及艺术教育相结合。互动影像装置的创作涉及多个学科的跨界合作。其中，作品的观念是互动装置的灵魂，这需要创作者有一定的艺术、哲学、社会学和心理学等知识的沉淀。想要敏锐地捕捉观众反馈的信息，离不开物联网传感技术的支持。将捕捉到的观众信息传送到处理器以及处理器输出信息的过程涉及计算机编程和计算机图形技术。与作品相关的Workshop（艺术工作坊）有利于加深观众对作品的了解，艺术工作坊可以帮助观众过把“人人都是艺术家”的创作瘾。比如2021年12月在上海摩登天空举行的光点国际新媒体艺术节，开幕演出主要由TouchDesigner实现，后续的艺术工作坊也围绕TouchDesigner展开。TouchDesigner参与制作的互动影像装置的视觉效果炫酷，通过线上/线下艺术工作坊的方式，可让观众在观看作品之后也能创作出科技感十足的艺术作品。

4 结语

互动影像装置的实现得益于数字化进程的不断加快以及物联网技术与计算机技术的发展。从Processing到TouchDesigner，越来越简化的开发平台激发了创作者的潜能，也使互动影像装置创作有了“全民开发”的可能。目前的互动影像装置大致能分成音画互动和体感互动两种，要通过TouchDesigner实现音画互动和体感互动离不开其他硬件设备的协调。常与TouchDesigner合作的外部设备有Ableton、Arduino、Kinect、Leap Motion和追踪雷达等。TouchDesigner参与到互动影像装置的创作中，能激发艺术家的创作潜能、提高团队的创作效率。未来，TouchDesigner介入的互动影像装置将有一定的商业价值与美育价值。随着信息技术的深入发展，人类创作艺术的方式也会发生很大的变化。今后创作者们要顺应时代变化趋势和科技发展潮流，不断学习新技能，提升应用科技手段的能力，提高个人艺术修养，致力于艺术创作的创新发展，打破学术的边界与壁垒，拥抱大有可为的未来。

参考文献：

［1］ 列夫·曼诺维奇.新媒体的语言［M］.美国马萨诸塞：麻省理工学院出版社，2010：89.

［2］ 列夫·曼诺维奇.计算机视觉、人类感官和艺术语言［J］.人工智能与社会，2020，36（4）：1145-1152.

［3］ 苏镜如. TouchDesigner在新媒体艺术中的运用［J］.新媒体研究，2020，6（14）：9-10.

［4］ 卢卡斯·F.奥利韦罗，安东尼奥·阿劳霍.我正在看着你/我：基于Touch Designer的实时绘图和球形视角的VR可视化［C］.第十届数字与交互艺术国际会议，2021：121.

［5］ 埃里克·布伦范德，温迪·怀舍尔.集体电流：通过协作和互动装置探索可持续性［J］.莱昂纳多，2021，54（3）：320-324.

［6］ 毕倪飞.面向分布式同步数据并行训练的通信优化技术［D］.上海：华东师范大学，2022：15.

［7］ 艺力国际出版有限公司.互动装置艺术：科技驱动的艺术体验［M］.武汉：华中科技大学出版社，2020：45.

作者简介：李咏洁（1992—），女，湖南长沙人，硕士，助教，研究方向：影像媒体、当代艺术跨学科。

王宏利（1994—），男，湖南邵阳人，硕士，研究方向：深度学习。