数字媒体技术在新媒体艺术创作中的应用——以互动影像装置作品《大过年》为例

王志强

数字媒体技术主要是基于计算机技术、数字通信和互联网技术、数字信息处理技术及物联网技术等多种学科知识和技术领域。新媒体艺术以计算机技术和网络通信技术为基础，多学科、多领域交叉融合，强调艺术与科技的融合，是以数字媒体技术及数字信息传播技术为支撑的艺术形态。数字媒体技术是新媒体艺术作品的支撑和保障，是新媒体艺术作品的一部分,在整个作品中占有极其重要的地位。新媒体艺术家以数字媒体技术为主要手段，进行艺术作品的创作。数字媒体技术多领域融合技术的创新发展，必定为新媒体艺术创作提供更加灵活的技术支持，为艺术作品提供更多的展现方式。数字媒体技术与艺术的合作领域将更为广泛，数字媒体技术与艺术的融合将更为深入。

数字媒体技术；新媒体艺术；互动装置作品；年画

1.引言

2.数字媒体技术概述

数字媒体技术是指将文字、图形、图像、音频、视频等多种媒体信息，经过计算机系统对信息进行采集、加工、存储、传播及应用等一系列信息化操作，转化为计算机能够识别的二进制信息所运用的一些技术。[1]它所运用的技术主要是基于计算机技术、数字通信和互联网技术、数字信息处理技术及物联网技术等多种学科知识和技术领域。从定义中我们可知，数字媒体技术主要是利用计算机技术对文字、图形、图像、音频、视频等信息进行加工处理的综合技术的运用，如数字音频处理技术、数字图形图像处理技术、数字视频处理技术、数字媒体传播技术等。它研究的是数字媒体信息的采集、处理、存储、传播、管理等一些方法和技术的实际运用，所涉及的关键技术及内容主要包括数字媒体信息的获取与输出技术、数字媒体信息存储技术、数字媒体信息处理技术、数字媒体信息传播技术、数字媒体信息数据库技术、信息检索技术与信息安全技术、基于网络传播的流媒体技术、计算机动画技术、虚拟现实技术、人工智能技术、5G技术、网联网技术等。[2]

随着国家加快数字化发展、建设数字中国的发展理念，数字中国建设取得了显著的效果。数字化信息技术产业不断壮大、产业数字化转型步伐加快、区域性的数字化经济得到快速的发展。这些成效的取得都与数字媒体技术有着紧密的联系。随着国家数字中国建设的深入，5G网络建设全面展开、数字产业规模的逐渐扩大、产业数字化步伐的加快、智慧化城市的建设等，人工智能、大数据、物联网等数字技术发挥了很好的作用。随着网络在线课堂、在线教育教学、网上购物、网络办公、网络短视频平台等日渐成熟，数字媒体技术在今后的数字化应用领域有着广阔的前景。[3]数字媒体技术是新媒体艺术作品得以呈现给观众的支撑和保障。艺术家以数字媒体技术为手段，使用诸如虚拟仿真技术、裸眼3D技术、体感交互技术、人工智能技术及物联网技术等技术手段，进行艺术作品的创作。在数字媒体技术日渐成熟完善的今天，艺术家利用新技术、新材料、新观念表达创作者的情感。这类作品集人文、科技与艺术于一体，所呈现出来的高科技、数字化、虚拟化及交互性的特点，是当代新媒体艺术作品的一大特点。

3.新媒体艺术概述

在介绍新媒体艺术之前，先来看看什么是新媒体。所谓新媒体是与传统媒体相比较而言的。传统媒体一般是指报纸、电视、广播等过去人们比较熟悉的媒体形式，而新媒体则是指在传统媒体之后出现的新的媒体传播形式，它主要通过互联网进行传播，新媒体融入了现代新技术。新媒体艺术通常是指以数字媒体技术及信息传播技术为手段，集声、光、电于一体，融合艺术、科学、技术、人文等多种元素的一种艺术形态。新媒体艺术以计算机技术和网络通信技术为基础，多学科、多领域交叉融合，强调艺术与科技的融合，新媒体艺术有其自身的特征和审美特性，属于当代艺术的范畴。

新媒体艺术的基本特征是数字化、技术性、交互性、开放性。互动和参与是其主要特性，观众参与到作品中与创作者共同完成作品，观众成为作品的一部分，没有观众的参与，不能称之为一件完整的作品。艺术作品的表现形式是由内容决定的，作品中的技术是为艺术作品的呈现形式服务的，根据作品的表现形式选择合适的技术，能够提高观众对作品的体验满意度。技术之美，新媒体艺术是艺术与科技相融合的一种艺术形式，在新媒体艺术作品中往往使用诸如虚拟现实技术、数字投影技术、体感交互技术等技术手段；互动之美，增强了用户的参与度与体验感；虚拟沉浸之美，新媒体艺术借助数字化技术创造出的虚拟空间，给体验者带来视觉、听觉、触觉等多重感官刺激；融合之美,在新媒体艺术创作中，可以运用任何传统艺术形式和媒介材料，通过多学科、多领域共同协作，创作出艺术与科学完美结合的作品。新媒体艺术主要是以数字媒体技术及数字信息传播技术为支撑艺术形态，技术手段，科学技术的发展与进步对艺术的影响越来越大。在不久的将来艺术与科技还将影响着我们的生活方式、审美体验。[5]

4.数字媒体技术在互动影像装置作品《大过年》中的应用

互动装置艺术作品《大过年》，是年画这种传统的民间艺术形式与数字媒体技术融合而创作产生的。作品通过数字化手段对年画进行一系列的解构、重组及融合，融入声音及动态视觉效果。作品结合体感交互技术，观众在体验作品的时候通过触摸作品中相应的感应器，触发不同的动画效果，动态影像通过投影仪进行投射，从而让观众在体验作品时与作品进行互动。[4]这件作品在创作过程中运用了大量的数字媒体技术，比如让年画人物及触发场景动起来的动态影像技术、观众触摸传感器而触发影像的人机交互技术、Arduino平台技术等等。数字媒体技术在艺术作品中起到支撑和保障的作用，在整个作品中占有极其重要的地位，技术是组成新媒体艺术作品的一部分。

4.1 动态影像技术

数字媒体时代，信息传播不再以文字为主，传播形式更加多样性。视频、音频、动态影像等信息的传播，充分调动了人们的视觉、听觉、触觉等感官系统，使信息更加的形象化和立体化。动态影像也就是我们通常说的MG动画。MG是“Motion Graphic”的缩写，是一种融合动画影片和图形设计语言，按照时间轴的先后顺序而设计的视觉表现形式，是集音频、视频、动画、图像于一体的影像艺术形式。动态影像不同于平面设计语言和动画电影语言，它强调的是以时间轴为序动态的、连续变化的图形图像。[6]动态影视在制作技术上，通常会使用到Animate、After Effects、Photoshop等软件。

Animate 是Adobe公司旗下的一款基于时间轴的动画制作软件，它的前身是Flash软件，后来更名为Animate。Animate功能强大，可以将图像、音频、视频、动画融合在一起，输出SWF影片、GIF动画等。软件在功能方面增加了支持HTML5开发功能，为网页创作者应用音频、图片、视频、动画等创作提供支持。它还增加了诸如虚拟摄像头、矢量艺术笔刷、360度旋转画布、4K+视频导出等新功能。Animate使用基于时间轴的矢量动画技术，具有生成文件体积比较小、画面清晰不失真等优点，所以使用Animate软件制作的动画、视频等适合在互联网上传播。在互动影像装置作品《大过年》中，主要的动态影像包括作品中人物动作的动态化，观众触摸作品时触发事件的动态化及声音可视化动态视觉效果三个部分。以上这些动态影像效果的实现都是由Animate软件完成的。根据作品呈现效果的需要，使用Animate软件过程中，主要用到的技术有图像元素格式的转换技术、人物运动关节处所用到的骨骼工具技术、关键帧技术、动画补间技术、引导层技术以及图层技术等等。

随着互联网技术的飞速发展，人们日常生活、工作中使用信息沟通软件的概率大大增加，网络表情包、网络小视频、网络动态图形图像的使用频率也随之增加。面对如此大的市场需求，利用Animate软件的自身优点，来制作这些便于网络传播的动态表情包、网络小视频等优势就显得较为明显。Animate软件安装对硬件环境要求不是很高，操作比其他软件相对要简单一些，并且它的功能比较强大，这就决定了使用它去制作动画要比使用其他软件制作成本要低。由于Animate支持手绘板，可以使用它手绘出动画分镜头，并实现简单的动画效果。随着移动互联网络技术逐渐成熟，移动智能终端设备的大量普及，使用Animate制作的动画在新媒体传播中应用得也日益广泛。虽然其他多媒体技术会对其造成一定的影响，但Animate在竞争中也会得到发展，利用其生成文件体积小、制作成本较低、操作相对容易等自身优点，这项技术在今后会得到更加广泛的应用。

主动脉内球囊反搏辅助治疗急性冠脉综合征伴严重心力衰竭患者的预后…………………… 冯克福 余晓凡余华 等（6）789

4.2 人机交互技术

所谓人机交互是指人与计算机系统进行交流、互动的过程。工作流程主要包括交互信息的采集、对采集的信息进行加工及处理、对处理的结果进行反馈等。起初用于人机交互的设备主要是鼠标、键盘等输入设备，随着科技的不断发展，用于人机交互的技术，逐渐向集成化、智能化的方向发展，诸如语音识别技术、手势识别技术、肢体动作识别技术等。随着移动互联网、物联网及5G技术的发展，一些传感器设备能够实时采集所需的信息。比如光电式传感器、热电式传感器、超导传感器、智能传感器等，这些设备将采集的信息传输给计算机，经过计算处理后，生成我们所需要的数据。这些传感器成为我们采集数据的重要输入设备。在新媒体互动艺术作品中，通常用到的信息采集设备主要有红外线传感器、温度传感器、湿度传感器、声音传感器、运动传感器、图像传感器及电容式传感器等。

新媒体艺术作品的一个主要特征就是观众与作品进行互动，没有观众参与的作品，不能称之为一件完整的作品。观众成为完成作品的重要组成部分，观众与作品进行交互需要借助数字媒体技术来完成。具体使用什么样的技术，需要根据作品的表现形式来选择。在《大过年》作品中，实现观众与作品进行交互的主要是触摸式电容传感器。触摸式电容传感器的工作原理是基于电场变化而产生电信号。当用户身体的某部位（如手指等）接触到传感器时，此时人体相当于一个接地的导体，手指与电容传感器之间产生了电容的变化，感应器上的信号电平将被改变，同时可获得一个直流电压。这个电压随电容的改变而发生变化，将这个电压与缺省电压进行比较，即可知道感应器是否有信息产生。[7]这款传感器具有很多优点，如它能够在高温、强磁场及强辐射等环境下工作，并且响应速度快、灵敏度高、结构简单、使用稳定、价格低廉。感应器使用直流供电，工作电压小、功率小、耗能低等，被艺术家们大量用于交互艺术创作中。《大过年》作品中用的就是这款触摸式电容传感器，它有4个引脚，功能分别是接正极、负极、LED灯和用于接收数据。传感器与Arduino开发板进行连接，感应器采集到的触摸信号通过Arduino开发板传输给计算机系统。

随着人工智能、5G、物联网的发展，人机交互向更加智能的方向发展，人机交互技术和人工智能技术结合更加密切。人机交互从之前的图形界面交互逐渐向智能语音交互、手势识别及基于生物科技的脑机接口交互等形式。未来基于物联网的多模态交互更加流行，将人的听觉、味觉、触觉、视觉等融合在一起，进行全方位的感知、感受，通过智能设备可与世间万物互联互通。[8]

4.3 Arduino平台技术

Arduino是一款开源的电子交互平台，主要包括硬件和软件两大部分。硬件部分主要是微处理器及电路板等，软件部分主要是程序接口及语言部分。Arduino 软件部分对平台兼容性很好，可以在Windows、Mac OS、Linux三大主流平台上运行。其次它的代码是开源的，很多开发爱好者对其功能时时进行完善。再次开发代码相对简单，深受艺术家们的喜爱并广泛应用他们的交互作品中。Arduino硬件版本很多，比较常见的有Arduino UNO、Arduino MEGA、Arduino Leonardo等。他们都能够很好地兼容各种传感器，通过传感器感知周围的环境，将各种信息转换成数字信号传输给计算机系统。

在《大过年》作品中使用的Arduino硬件是基于ATmega32U4控制器的Arduino Leonardo开发板。它最大的一个优点是集成USB类库，能够模拟USB鼠标或键盘的功能，通过计算机的COM口与计算机进行通信。作品中实际的设计思路是把Arduino若干数字引脚模拟成计算机键盘输入的功能，不同的传感器采集的信息会向计算机发送不同的字母，然后通过Arduino开发板将这些字母通过计算机COM口传输给计算机系统。计算机系统经过计算后根据接收到的字母调取不同的动态影像并进行播放。

Arduino平台被艺术家们大量应用的新媒体交互设计中的一个重要原因是，它是一块包含微处理器的集成电路产品，电路板上集成若干个数字与模拟输入和输出端口，可接收大多数传感器的信息，将信息通过计算机串口传输给计算机。还可以将计算机发送的信息通过模块传输给外部设备，来操控现实世界中的物体。Arduino联通了计算机虚拟世界与现实物质世界的双向信息交流，使现实世界与虚拟世界的对话更加便捷，为新媒体交互设计提供了更多的可能性。[9]

5.结语

计算机技术、网络技术、人工智能技术、物联网技术及5G技术的发展，为数字媒体技术的发展与应用创造了一个良好的环境。数字媒体技术与各行业的融合更加深入，如在传播媒介领域、数字视频领域、教育教学领域、艺术创作领域及大众娱乐中的应用，特别是在新媒体艺术创作中的应用更加密切。数字媒体技术已经发展成为计算机信息处理、网络传播、人工智能等多领域、多学科交叉的融合技术。[10]数字媒体技术多领域融合技术的创新发展，必定为新媒体艺术创作提供更加灵活的技术支持，为艺术作品提供更多的展现方式。艺术作品给体验者带来的沉浸感、交互感更加真实，极大增强了观众对作品带来的视听等多感官体验满意度。未来随着数字媒体技术的发展与成熟，数字媒体技术与艺术的合作领域将更为广泛，数字媒体技术与艺术的融合将更为深入。

注释：

[1]夏丽雯等：《基于数字媒体技术的移动学习设计与优化》，重庆：重庆大学出版社，2020年，第7页。

[2]夏丽雯等：《基于数字媒体技术的移动学习设计与优化》，第8页。

[3]中华人民共和国国家互联网信息办公室：《数字中国发展报告（2020年）》，2021年。

[4]王志强：《互动影像装置作品<大过年>解析》，硕士学位论文，山东工艺美术学院，2020年。

[5]林迅：《新媒体艺术》，上海：上海交通大学出版社，2011年，第48页。

[6]谢艳虹：《动态影像——新媒体条件下的跨界探索》，《艺术教育》2018年第10期。

[7]翁小平：《触摸感应技术及其应用——基于CapSense》，北京：北京航空航天大学出版社，2010年，第8-9页。

[8]王琬琳：《智能时代人机交互未来发展趋势探析》，《视听界》2020年第5期。

[9]黄秋野：《互动媒体设计》，南京：东南大学出版社，2011年，第146页。

[10]李永利：《互联网时代下的数字媒体应用技术发展及应用探讨》，《中国新通信》2022年第8期。