从交互装置作品《饮画》谈互动艺术中的通感交互

王曼雪

（中国传媒大学动画与数字艺术学院，北京102208）

从交互装置作品《饮画》谈互动艺术中的通感交互

王曼雪

（中国传媒大学动画与数字艺术学院，北京102208）

本文将聚焦于交互装置的创作过程及通过对结果的分析感受绘画中色彩使用的规律性及受众对此交互装置的感知及情感体验。对互动艺术装置的通感体验与情感体验进行新的探索。通过分析其对受众心理及感知层面的影响以探索作品解读的全新方式，并对新媒体这种赏析形式所带来的情感传达过程中的心理体验误差加以探索。

通感交互；交互装置；新媒体艺术；色彩心理；传感器；processing；arduino

一、互动电子装置艺术的特性

（一）基于现代技术互动装置的新媒体

互动装置给受众创造了一种全新的与机器、环境和时代互通情感的交流模式。以互动性为第一表现特性，依托科技，借助传感器及多媒体参与，在人与机器及物理环境之间搭建交流桥梁。互动装置可以高度调动参与者的多种感知觉神经，创造一种全方位的沉浸式体验，从而达到人机交互的理想体验。

（二）交互装置艺术的跨学科应用特性

装置可以由任何材料构成，拥有广阔的包容性。在新媒体中通过嗅、味、温等材料的应用，人们发觉更多的可能性与可实践性。科技与材料的紧密结合，交互设计本身所涵盖的社会学、心理学、认知科学等内容，以及在设计方面所涵盖的平面设计、产品设计与商业美术等方面，使得交互装置艺术有着强烈的跨学科性。

（三）交互装置中“通感”的使用意义

无论之于生活或艺术创造，“通感”都是不可缺少的感官参与形式。通感包含了不止一种感官的参与，是一种由一种感官反应引起其他感官反应的多重反应的“连锁机制”。在审美过程中，感官成为感知的桥梁，为审美流程打下基础。在交互装置这座参与者与交互对象间的桥梁建造时，通感的应用必不可少。

二、媒体艺术创作中的通感体验

（一）互动媒体艺术创作中的感觉体验

感觉由人的感官诞生。把握感觉的特性可以为媒体艺术创作提供启示。在电影院欣赏一部电影作品时，给观众留下深刻印象的并非只有光影形象。声效、环境与氛围布置、观众座椅的舒适程度甚至爆米花与可乐的味道都会为观众体验这一影片提供多样的途径。显然，在媒体艺术创作的过程中，始终着眼于以一种特定的感觉方式并不能为体验者提供完整的体验。

（二）互动媒体艺术创作中的知觉体验

知觉以感觉为基础，本身又是后续思维活动的基础。在知觉的影响下，人们做出判断并进行后续的行为。在认知过程中，知觉受到多方面的心理因素影响。要设计一项有效率的交互装置，应当将知觉体验的选择性、排他性、与个体差异性纳入思考范围内，创造便利的体验条件与环境。

三、基于创作的实践探索

（一）课题研究背景

1.基于微控制器的物理交互设计试验

基于之前的心理学与传播学的理论支持和现有的新媒体技术手段，作者以作品设计的方法对理论研究进行实践支持。此作品运用微控制器Arduino和视觉软件processing制作，设定了全新的画作观赏体验场景，为体验者提供了全新的作品解读方式。

2.对艺术作品解读的全新诉求

以往的艺术作品赏析形式往往比较单一，缺多感官联动机制。而通过单方面感官体验对复杂的艺术作品进行分析，并不能令没有基础的普通观赏者有直观而深层的理解。而人们也通常不再满足与单一的观赏形式。新媒体的时代背景为艺术品的解读方式提供了全新的技术可能性与时代诉求。

3.印象派作品的特征及创作情感探索的可能性

印象派画家依据光谱七色来调配颜色。由于光是瞬息万变的，印象派画家在绘画中注重对外光的研究和表现。通过使用计算机对印象派画家作品中光的表现进行色彩解构和分析，可对其色彩的运用和个人感情倾向进行一定的规律性探索，并将分析的结果以可量化及多感官体验的形式反馈给受众。

4.色彩心理的个性与共性的存在

色彩心理是客观世界的主观反映。人们对色彩的认知与多方面条件相关。人们对于色彩的心理认知，在很大程度上同时受到自身认知模式与社会的价值取向的影响与控制。另一方面，人类对于色彩的认知依然存有共性。色彩心理中的个性与共性的并存，为本设计提供了基础条件。用户对传统名画直观的视觉解析，更多地体现了色彩心理中共性的部分；而经过对装置调配后的“色彩饮料”的品尝得出的感受，则更多地体现了个性体验。

（二）课题研究目的

通过解构印象派作品中的色彩，对特定光谱中七种色彩的使用频率的量化分析，将难于解读的艺术品转化成可量化的带有苦辣酸甜的饮料。使用者将获得全新的体验方法与解读渠道。

本文将聚焦于交互装置的创作过程，对互动艺术装置的通感体验与情感体验进行新的探索。通过分析其对受众心理及感知层面的影响以探索作品解读的全新方式，并对新媒体这种赏析形式所带来的情感传达过程中的心理体验误差加以探索。

（三）作品创作过程

作品采用processing，arduino，MakeyMakey制作完成了画作分析，串口通信，物理端电机驱动。

1.画作分析

上行串口使用processing程序对画作的颜色数值（用光及色彩倾向）进行可视化分析，让观者对画作中RGB三色的比重和亮度有更加直观的了解。

2.键盘传感器的数据传输

利用MakeyMakey这一电子板驱动的触摸调色板在装置中取代了键盘的角色。作为链接信息输出与输入的物理控制载体。

3.串口通信及物理端的电机控制

（1）颜色饮料的选择。通过65份有效调查结果可以发现，红色带给人们的视觉感受是热情，冲动，而感觉相似的红色饮料则是西瓜汽水；黄色给人以灿烂辉煌的感觉，对应柠檬汁；绿色青春活力，对应绿茶饮料；蓝色平静包容，而对应运动功能饮料；紫色神秘莫测，而最代表其特点的饮料则是葡萄酒。

基于这份调查数据，我们得出了人们在日常生活中基于经验对色彩感受的印象，和他们对味觉感受所形成的经验性预判。

将红绿蓝黄青紫六色控制的六个水泵与对应的饮料用软管链接。指定的饮料会在调色板上的颜色被触发时按图画中对应颜色的色彩值输出。

（2）通过arduino按照色彩数值对不同饮料的量化输出。通过arduino对数据进行量化处理并将可被受众直观接受的量化信息反馈给受众。将processing得出的各种色彩数值（0-255）通过串口传输数据给Arduino，由Arduino做为控制器，控制继电器开关从而控制水泵运行的时间。每个水泵对应不同的饮料，每个颜色值数据控制不同水泵。而由于画作的色彩数值不同，最后混合出的饮料也是完全不同的。

四、结语

借助传感器及多媒体的交互形式，互动装置为受众创造了全新的与机器互动与空间互通情感的氛围与环境，在人与机器及物理环境之间搭建可交流沟通的场域。随着电子传感器及媒体技术的发展与普及，可以相信，艺术家和设计者利用新媒体技术可以为大众创造更多通感体验。而同样可以预见的是，在不远的将来，信息的受众会越发不满足于形式单一、渠道单一的信息获取模式。借助多媒体技术与电子传感器寻求多感官的、多元化的信息交流模式，将会成为信息传播中不可忽视的全新诉求。而当技术成熟与诉求扩大达到一致时，借助新媒体技术实现的通感交互方式将不可避免的成为传播与交流的主流模式。

［1］张春兴.现代心理学［M］.上海：上海人民出版社，2005.

［2］邵志芳.知心理学：理论、实验和应用［M］.上海：上海教育出版社，2006.

［3］海姆，李学庆（译）.和谐界面：交互设计基础［M］.北京：电子工业出版社，2008.

［4］李万军.色彩：光与影的游戏［A］.色彩科学应用与发展——中国科协2005年学术年会论文集［C］.2005.

［5］柳喆俊.感觉、知觉与互动媒体艺术创作［A］.自主创新与持续增长第十一届中国科协年会论文集［C］.中国重庆：中国科学家协会、重庆人民政府，2009.

［6］周娉.互动装置的体验设计研究［D］.武汉：武汉理工大学，2009.

［7］孙煜珑.？感悟“真实的虚幻”［D］.北京：中央美术学院，2009.

［8］王丹.感知与回应［D］.北京：中央美术学院，2013.

J205

A

1005-5312（2016）08-0017-02