多模态理论在数字媒体交互艺术中的探索与研究

李 敏

（作者单位：广州美术学院）

1 多模态概述

随着数字媒体的兴起与发展，传统的视觉传达设计从单纯的视觉符号信息传达逐渐增添了听觉、触觉、嗅觉等多方式的多模态交互体验，给用户带来了更丰富的综合体验。数字交互的出现，让作品有了更多的艺术表现形式。

1.1 多模态理论

“多模态”俗称“多感官融合”，“模态”则为“感官”，是德国生理学家赫尔姆霍茨提出的一种生物学概念，即生物凭借感知器官与经验来接收信息的通道。例如，人类有视觉模态、听觉模态、触觉模态、嗅觉模态、味觉模态，而多种模态交互融合是指人通过声音、肢体语言、环境、信息载体（文字、图片、音频、视频）等多个通道与计算机交流，充分模拟人与人之间的交流方式。模态是人们通过感官与外部世界接触的主要方式，感官通过神经系统向大脑传递刺激信息，从而让我们感知事物的属性和特征。麦克卢汉的著名理论“媒介是人的延伸”，不仅是在诠释在技术的影响下人们对多模态功能融合的发展与延伸，而且指向了媒介对人的感知比率与感知模式的改造。比如，印刷术的出现强化了人的视觉习惯，使人逐渐培养了线形的逻辑思维方式；而广播则是强化了听觉，有助于人的情绪和知觉经历的形成。电子媒介与传统媒介的传播方式有所不同，电子媒介不仅仅是人类感官的工具，更是被认为参与了大脑中枢神经系统的构建。

1.2 应用领域

多模态感官理论具有三层内涵：一是通过多感官融合，调动受众的感官机能；二是将数字艺术从单一的视觉传播进行延伸；三是探索多感官联合对数字艺术在信息表达上的影响[1]。现在的屏幕化信息传播、大数据的流量推送、智能科技已经成为人们生活中的“必需品”[2]。钱钟书先生曾经说过，在人们的日常经验中，五感（视觉、听觉、触觉、嗅觉、味觉）往往是可以相互打通和交流，眼、耳、舌、鼻、身各个官能领域可以不分界限。这就说明了人的多模态是可以相互融合、相互转化的交互整体。数字交互艺术的出现，模糊了参与者与创作者之间的界线，多模态与智能化技术建立起一种新的交互模式，给观众的感官机能沉浸感与愉悦感。观众既可以是被动的欣赏者，也可以是主动的参与者。创作者可以留一定的空间想象由其余观众一起参与创作，这样会更大程度提高数字交互艺术的感染力与表现力，这也是未来交互模式的必然趋势。

2 数字交互艺术中的多模态潜意识要素

2.1 感知要素

有研究发现，决定是否注意并储存感官信息的是大脑中的海马区。那不同的感官对人的感受影响有什么不一样？比如，每一次到达新的国家或者新的城市，这个地方闻起来的味道是不一样的，给人留下的记忆和感觉也会不一样；有时候听到一首歌曲的时候，会想起来一件事或者一个人；要表现速度相关的感觉时，人们会采用流线型的设计元素，让人感受到强烈的速度感。这是因为人大脑中的海马区是帮助人们处理声音、光线、味道等事件记忆的大脑区域。海马区对于丰富的色彩、特殊的气味、特别响亮的声音、粗糙易感的表面信息会特别留意。数字交互装置作品《Boundless》（见图1）是一个实践项目，旨在进一步探索人们对触感的渴望。它通过交互互动装置叙述呈现出触感感知表达特点：细腻、温柔、激情、安静、移情。整个装置结构贯穿两个部分：第一阶段是以游戏捉迷藏的方式来追逐身影，这种体验丰富了柔软的声音渐强渐弱，调动体验者的感知情绪，更好去感受“皮肤饥饿”所带来的刺激反应；第二阶段是叙事达到高潮，接触并不是一种纯粹的由触觉传达的现象，而是一种深刻情感的愉悦的体验，是感知而不是物质性结果。

图1 Boundless

数字交互艺术作品是一种为了能够达到艺术创作目的而需观众参与的艺术形式。大多数交互艺术作品都具有趣味性、新颖性，会更加注重人在参与过程中的感受。因此，在这种交互前提下，各个感官的感知元素被调动就显得尤为重要。

3) 为避免使用阶段再次发生上浮破坏，对地下车库底板进行加厚处理，或在基坑周围预留排水井，当雨季来临时，及时对基坑进行降排水，避免超过抗浮水头.

2.2 习惯要素

由国际著名展览设计事务所Tinker imagineers负责人实时互动的《interactive博物馆》（见图4）展览，设计目的以全新的视角引导人们以正确的方式看待媒体文化。媒体定义了我们，但同时我们也在塑造媒体。我们重新审视媒体对我们的影响，并有更多的方式与媒体互动。在博物馆中，观众需要使用面部识别与自己的智能手机参与到展览中。展览向观众展示出几十个互动展品游艺机和数百个的视听材料。博物馆个性化的整体空间规划、图形设计以及媒介选择的呈现为观众提供了独一无二的参观体验。

随着我国人口的不断增长,老年人因机体功能下降发病率呈逐渐上升的趋势,老年脑出血的发病率也不断上升,其发病的主要原因是与脑血管病变有关[1],病人会出现运动障碍、呕吐及意识障碍等症状,如果术后康复的效果不好,严重影响病人以后的生活质量[3],因此从我院选出脑出血病人180例,为病人提供不同的护理措施,现报道如下。

图2 声之味

2.3 情境要素

新媒体艺术之父罗伊·阿斯科特曾指出：“新媒体艺术最鲜明的特质为连结性与互动性。其创作过程需要经过连结、融入、互动、转化、出现五个阶段。首先必须连结并全身融入其中，而非仅仅在远距离观看，与系统和他人产生互动，这将导致作品与意识转化，最后出现全新的影像、关系、思维与经验。”人们通过多模态元素的融合与数字交互艺术作品产生有意识或无意识的交互，通过这种参与性来表达与探讨人、物、环境三者之间的关系，以达到凸显主题的目的[4]。《Polluted Sounds》（见图3）是一个空间项目，是由设计师Carlotta Bianchi和设计师Jocelyn Murray共同完成的。该项目通过沉浸式声音体验来展现伦敦空气质量。基于情感研究的声音设计，是人们通过身体、声音以及空间理解这一全球性的问题。场馆中的空气质量检测传感器用来记录实时数据，并传输回电脑中，实现实时改变空间的声音。声音能够让人们更加直观地了解这一基本的环境问题，增强人们对环境健康状况的理解。人们通常使用多个感官来感知和理解世界，而多模态理论可以帮助人们将来自不同感官的信息有机结合起来，从而加深对主题和场景环境的理解和体验，同时也能提高观赏过程的趣味性和吸引力。

图3 Polluted Sounds

3 多模态理论下数字媒体交互艺术的发展趋势

3.1 提升多维度的交互空间

交互艺术的审美建立在人的感官感知基础之上。例如去观赏一幅画时，人们会观察到这其中的构图、线条、用色程度与风格表现；而在欣赏音乐时，人们则依靠听觉来感知音符律动与节奏的快慢。通过艺术化的手段创作或者再创作，不同的艺术形式可以调动多模态元素融合，从而创造出更加立体、丰富、多样化的交互艺术的审美体验。当多模态一起相互起作用时，单模态之间的隔阂逐渐消融，进入多模态通融状态。在这样的状态下，人们看到一幅画就会产生如同听到优美乐曲般的感觉，从而带来沉浸式体验，并实现不同层次转化。这种交互艺术的情境融合，人们能够达到主客合一的最佳状态，从而实现更高水平的沉浸式艺术体验。

特定的元素和场景能够唤醒潜意识，而行为习惯元素是潜意识最大的表现之一。反反复复操作就会产生记忆点，进而形成人的常规习惯意识。例如人看到门把手，就会意识到去推开门；看见插头就知道这是连接电器设备的，这些都可以说是潜意识作用下根深蒂固的习惯动作。在交互过程中，主要有两种方式激发人的潜意识行为习惯：其一是让交互方式符合人固有的、本身具有条件反射的行为习惯；其二是通过不断的尝试与训练养成大脑的常规习惯，增加熟悉感与依赖感。在不断发展的互联网设备中，视觉、听觉、触觉的输入和输出体验已经成为一种常见的交互形式[3]。除此之外，将听觉习惯和味觉习惯相结合，可以设计出更具生动性、可视化的数字交互艺术装置。艺术家邱宇在创作中使用声音、味道、装置等混合媒介与数字技术手段相结合探索生命感知的内在逻辑思维与语言表达关系。他的作品之一《声之味》（见图2）是在声音和味觉之间建立一种新的感知与延展体验。喇叭产生不同频率的震动使不同香料分子在空气中散发并混合，在声音和味觉之间建立一种新的感知与延展体验。

图4 interactive博物馆

数字交互艺术的特点在于多维融合，这种融合产生的效果可以引起观众多模态融合参与。数字交互艺术通过沉浸式的交互性审美，让观众更加深刻地领会到艺术家与设计师所追求的多元感受。观众可以在数字交互艺术的观赏中达到情感与交互的最佳状态，从而进入一种模态与模态之间的转化。

伦敦设计博物馆《ASMR的世界》展览，探索多模态新体验（见图5）。ASMR是Autonomous Sensory Meridien Response的缩写，意为“自发性知觉经络反应”，指人体通过感官的刺激，在颅内、头皮、背部或身体其他部位产生的独特感受，ASMR又被媒体称为“颅内高潮”。创作者们通过耳语或吃东西，触摸或者敲击的方式录制视频，试图通过多模态之间的转化触发观众的身体与大脑的连锁反应，从而达到放松的目的。这个展览提供了一个环境，让创作者能够更好探索主题的广度与深度，通过一系列的音频、视觉作品、交互装置的互动，邀请观众去感受不同类型的ASMR，沉浸于“颅内高潮”的放松感中。

由图3可知，A、B、C和D四组试验组的摇瓶发酵效价均高于对照组，且与对照组之间差异显著。A组与B组和D组的摇瓶发酵效价之间差异显著，与C组摇瓶发酵效价差异不显著。B、C组和D组之间的摇瓶发酵效价差异不显著，但D组摇瓶发酵效价高于C组和B组。A组发酵效价比CK组高17.3%；B组发酵效价比A组提高5.1%；C组发酵效价比A组提高了3.4%，D组发酵效价比A组提高了6.4%。因此，添加一定量的微量元素和发酵增效剂可以提高金色链霉菌的生产发酵能力。

3.2 多模态转化与融合

设计不再单纯满足“物性”的需求，更重要的是考虑全方位感官体验的“人性”需求[6]。在一个互动的空间范围里，观众可以自由选择某一种视角与维度去欣赏作品，体验过程因为有多模态的融入参与而变得更有画面感，更加律动化，更有真实感，观众也能够更好地沉浸在创作者的设计空间之中。

数字交互艺术实现了创作者、作品、观众之间的多维度的互动，打开了传统艺术的封闭疆界[5]。现在的数字技术快速发展为数字交互艺术带来了更多样的创作手段和更深入的艺术表达方式，让艺术家、作品、观众之间达到多方位的互动，使艺术作品和创作过程成为一个开放多维空间。观众不仅可以欣赏艺术作品，而且可以与艺术作品进行交互与沟通。

影响政治体制改革的因素是多方面的，不只是有经济体制改革的推动因素。特定社会的政治体制改革是在各种因素的交织互动的影响下才探索出自己特有的变革之路。中国30多年来的改革开放似乎向我们传达着一个宝贵的经验：那就是治理模式的创新对于一个社会的顺利、平稳的改革起着重要的积极作用。在这个意义上，模式探索与创新对于政治体制改革便具有了非同寻常的意义。

图5 ASMR的世界

3.3 丰富数字交互艺术创作的呈现方式

数字交互艺术利用现代数字科技的多样性，重新定义了艺术的呈现方式，将原本封闭、单一的艺术表现形式打破，使得双向、多向互动发展有了更多的可能性。数字交互艺术在创作、展示和观赏的过程中，呈现更为生动、多元和开放的艺术表现方式。人对作品的交互模式突破了人机交互的距离限制，并为观众营造了一种“场”的独有的体验互动空间[7]。观众通过调动全身的多模态肢体语言与作品产生直接的互动，使呈现形式变得多变且随机，还能获得丰富多样的感受通道。

阻抗参数的模糊调整规则如下：如果小腿绝对平均主动作用力fs和大腿绝对平均主动作用力fb为同级，则表明小腿和大腿主动运动意图相同，此时阻抗参数为初始值为z；如果小腿绝对平均主动作用力fs比大腿绝对平均主动作用力fb大n级，则表明小腿主动运动意图强，此时阻抗参数为初始值z加上0.1n倍的z；如果大腿绝对平均主动作用力fb比小腿绝对平均主动作用力fs大n级，则表明大腿主动运动意图强，此时阻抗参数为初始值z加上0.2n倍的z。由于整体小腿运动范围大于大腿，所以在相差级别相同时，小腿主动运动意识强则增加的阻抗参数稍小，大腿主动运动意识强则增加的阻抗参数稍大。

《Martin Messier-IMPULSE》（见图6）作品是由五个并列部分组成的悬浮作品。每个部分由两个金属面组成，通过八根电线相互连接，这些电线在计算机化的声音和光线程序中连接与转化。在创作过程中，创作者提出一个对大脑功能技术扭曲的诗意类比，其形式是光路径在两个面板之间移动可见的能量循环，并且路线的断裂产生了自主的编舞片段，在整个构图中呈现出电气化的效果，刺激观众的感官系统，不仅在视觉上受到了影响，在听觉上也会受到一定限制。这是因为声音的同步化，最终整个身体都受到了多感官传播的影响。通常对大脑编码的刺激作出反应的涌入本身就会变成一种刺激反应。这种刺激放大了观众的感知，使他们能够接触到多模态的本质。

图6 Martin Messier-IMPULSE

4 结语

基于多模态理论，数字交互艺术在科技与形式上具有前瞻性和先进性，数字媒体的交互应用促使人们对技术追求发生转变，从以前较为机械、枯燥的低层面的期待转为“一加一大于二”富有生命和节奏韵律的情感式多维度的多模态交错融合感受[8]。这种融合感受通过多模态的交互方式，将不同感官的信息进行整合和协调，从而创造出更加丰富和精确的体验，也更符合数字化信息化的发展趋势。这种融合与叠加的设计方式可以调动人体多模态的机能，带体验者穿梭不同的时间和空间，从而创造出更富有趣味性和参与感的数字艺术体验，为未来的数字媒体的多模态交互艺术设计提供更长远的设计研究方法与参考价值。