多模态交互在数字体验设计中的策略探究

徐威，徐梦陶

（大连理工大学 建筑与艺术学院，辽宁 大连 116024）

一、多模态的理论

在数字化时代的趋势下，科技的发展为用户的产品体验带来不一样的全新形式。多模态下的数字体验设计不仅仅是传统的满足用户的需求，还能通过数字化、多媒体化的技术和形式提升用户在体验中的感受质量，并且通过联合多种感官的交互方式，调动用户的整体感官机能，使用户获得多重维度的生理体验与精神满足。

（一）多模态概述

“模态”俗称感官，单模态指单个感官，“多模态”即两个以上感官的融合，多模态交互指人通过不同模态通道内的信息合并统一，感知与物体（包括人、机器、动物等）进行交互的行为。人们对于世界的认知是从“感知”开始的，我们所听、所视、所嗅、所触、所品味到的都是感知的结果，模态是人体与外部接触的主要途径，通过神经传输系统将感知到的刺激传输给大脑，从而感受到事物属性的信息。钱钟书先生曾说过：“在日常经验里，视觉、听觉、触觉、嗅觉、味觉往往可以彼此打通或交通，眼、耳、舌、鼻、身各个官能的领域，可以不分界线。”说明人体的感官是一个相互融合、相辅相成的整体，对接收到的信息是由一种感觉体验的刺激引起另一种感觉体验形式，从而产生感官之间的互通现象，同时由原研哉提出的“五感设计”，即没有像视觉一样带来的冲击力，却具有内心唤醒般的吸引力，加强对人方便性和情感性的追求，使感知效果能更加趋向于真实的感受，也为多模态理论提供了理论依据和实践基础。

（二）多模态应用范围

对于多模态的应用范围，根据日本博报堂生活综合研究所在《五感的时代——视、听、嗅、味、触觉的消费社会学》中进行的总结概述，其主要体现在四个方面。第一是文化体验追求方面，传统的文化交流方式主要是视觉、听觉这两个最直观的表现方式，成熟的文化追求需要多种感官的融合，比如5D影院、多感互动游戏、公共艺术展览中的三维立体形态等。第二是电子科技应用方面，随着科技的不断进步，虚拟现实技术、增强现实技术、混合现实技术都使多模态的应用范围不断扩张，使我们的感官对世界的信息接收更趋于真实。第三是恢复感官认知方面，随着屏幕化的日益流行、大数据时代的逐渐来临，使得智能手机占据了人们生活中的一大部分，用户日常接触到的多为视觉和听觉，所以通过为用户提供超越这二者的各种感官元素，将人体二十多种感官调动起来恢复渐渐丧失的多模态认知。最后是掌握人性的整体化方面，在社会的发展中更多地注意到了人的多模态交互，将人的整体作为研究对象，从理性开始转变为用感性和感觉作为分析重点来探讨社会。

二、数字体验设计中的多模态体验层级

随着体验经济时代的来临，以及感官传感、人体识别与跟踪技术的不断发展，多模态交互被运用在数字体验设计创作中的频率逐渐提高，传统的物理体验装置已经逐步被数字体验装置取代，给用户带来由多种感官元素组成的、能接受多种外部信息传达的多模态交互体验过程以及更深刻的情感价值。

>图1 体验阶段层级图

>图2 《Fan Mirror》

>图3 大英博物馆VR体验

>图4 一号画廊

>图5 ValoClimb攀岩墙

在多模态数字体验设计中，包含着感觉、知觉、思维这三部分内容（图1），感觉是指当用户的感官受到外部刺激后做出的反应，知觉是利用已知的感觉来区分，是对感觉信息解释的过程。思维则是一种用推理或判断间接地反映事物本质的认识活动。这三者的最终目的是通过数字化的体验、多种感官的重叠达到对世界的信息接收的认知，从而意识到人体对客观物体的认知并不是一蹴而就的，是具有从浅层次到深层次的不断深化的过程，深层活动通常由一系列的浅层活动构成并由多种模态共同完成，通过提升浅层次的感官体验达到更深层次的与体验者的交互体验。通过总结现有的数字体验装置，归纳出三种不同层级的体验阶段，探讨设计师在面对数字体验设计时如何能够使体验不断深化进行思考和策略制定。

（一）基础感知阶段

基础感知阶段是体验阶段的最初层级，也是指在体验过程中的“感觉”与“认知”。在数字体验的过程中用户会发现人的感官接受信息是具有本能的特征，具有主动接收信息的意识，在一种感官的刺激下会引领另一不同感官的体验，触发多模态的新形式。这种感官与感官的结合使得信息的接收、与物体的交互变得更加有趣。艺术家Daniel Rozin热衷于使用不同的材料制作“魔镜”系列的互动体验装置，例如他的作品《Fan Mirror》（图2）。当体验者站于镜前摆出各种不同的姿势时，魔镜就会通过传感器自动捕捉体验者的身体形态，并通过不同材料的镜面呈现出不一样的剪影，视觉、触觉协同工作增强了数字体验的丰富性。在公共艺术的数字体验装置方面，大英博物馆走在了领先的位置，通过VR虚拟现实技术将游客带到了青铜时代（图3），让游客通过灯光、氛围来更为真实地体验青铜器时代的生活，参与古人包括祭祀太阳在内的各种仪式，并且游客可以通过虚拟现实深刻体会青铜时代的历史与文化，不再只是单纯地参观摆放在玻璃后面的文物。除此之外，浙江理工大学虚拟现实实验室致力于研究虚拟嗅觉技术，他们在博物馆研究方面认为博物馆的应用要注重多种模态的融合，使得参观者在视觉、触觉接触到文物的同时使用到平时在参观体验中使用频率较低的嗅觉，这样能够更全面、更自然地感知文物，获得更强烈的存在感和真实感。

对于设计师来讲，在数字体验设计中营造多模态交互的受众体验，规避传统单一的展现方式，将多种感官融入设计创作中，可使体验者的感受得到大幅提高，让数字体验装置传达的信息更具说服力。但是也并不意味着需要将人体的二十多种感官都进行融合，在设计时要注重模态的重要程度，有主有次，相辅相成，更利于之后的设计研究。

（二）行为交互阶段

行为交互阶段是体验阶段的中等层级。是指在多模态交互的基础上，将多模态的理性认知与感性认知进行融合，从而构成一个多维的多模态体验整体。在交互过程中用户对数字体验装置的好奇心增强，根据想象、联想等方式对数字体验装置进行探索，在体验中进行有意识的干预，满足精神上体验的过程。克利夫兰艺术博物馆的创意互动装置1号画廊（图4）在数字体验设计中同样使用了创新的方式来让观众搜索博物馆的一系列艺术品。允许用户简单地绘制线条和形状，让游客得以从具有相似几何形状的集合中调出相对应的艺术品，并且当游客在屏幕上做一张面部表情的图片时，画廊将展示具有相同面部表情的系列中的艺术品。与此同时，Valomotion公司推出的增强攀岩墙 ValoClimb（图5），在这个室内攀岩墙上能够投影交互式图像，在训练过程中加入竞技游戏的因素，在相对紧凑的空间内，用户可以参与多种即时的互动体验，使数字体验的过程变得有声、有色、有趣，让用户达到全身心融入的状态，帮助用户找到运动的快乐。除此之外，以色列设计师Oren Geva为盲人研发出一款独特的名叫2C3D的相机（图6），它可以实时地将镜头影像变成三维触觉数据，供盲人触摸，其精度甚至可以描绘出人脸的细节，这些体验都融合了多种模态，同时又增加了用户的交互探索。

对于设计师来讲，体验既不是用户的主观认知和感受，也不是一般意义上的客观存在，不能够生硬地照搬现实世界，它是人与环境相遇时动态的、连续的相互作用所产生的结果，在行为探索阶段这个过程中通过不同个体对于体验的认知，在交互的过程中能够使用户在基础感知层次之上进行自身思想与行为探索的体验，达到融入情感产生共鸣的目的。

（三）思维联通阶段

思维联通阶段是体验阶段的最高层级，是在感知与探索基础上的抽象的情感体验，数字体验需要人的介入和参与，体验也是艺术创作者通过引导观众参与互动的方式。多模态下的数字体验设计的根本目的是加强对人方便性和情感性的追求，也是一个人实现包括内心情感在内的心理需求、生理需求和精神层次上的途径，使感知效果更加地趋向于真实的感受。在数字体验过程中通过多模态的感官互动体会到了丰富的体验方式与乐趣，通过感官与联想融合的行为探索阶段，融入了感情的共鸣，在思维联通阶段是对数字体验的反思，还可以把观众的思绪带到不同的时间和空间，激发埋藏在深处的记忆，传递给用户此项设计想要表达的思想。

针对数字体验中的思维联通阶段，有以下几个例子能够更好地对其进行解释，Michelle Oui团队为了纪念莎士比亚逝世400周年而制作的体验装置《Life Scape》，装置有六个不同的影盒，每个影盒代表着人生不同阶段。当人们靠近时装置点亮，影盒开始变化，戴上耳机倾听不同的韵律。它让观众以不一样的方式经历人生的各个阶段，在一瞬间激起部分体验者内心深处的记忆，不同的人在体验中可能会获得不一样的感悟，联想到相似的经历可能演变成不同的故事，鼓励观众以独特的视角看待人生，感悟到每个人的珍贵之处，这正是数字体验中的最高层次的作用。除此之外。在2019年Local Projects公司设计的时尚体验博物馆（Fashion for Good Experience Museum），博物馆通过数字体验装置向人们讲述衣服背后的故事，改变参观者原有的看法，使人们通过时尚体验博物馆意识到衣服可持续发展的重要性。每位参观者进馆前会分发智能手环，通过手环的个性化数字旅程，观众可以通过视觉观看设计者的创新故事，通过触觉接触到从织物线到棉布的各个部分，转换身份成为服装设计师，从一系列以可持续性为灵感的图像中选择并定制属于自己的专属服装。设计师以传播可持续发展为目标，使用多模态的设计理念使参观者体会到不一样的感悟，成为可持续发展的并肩作战者。数字体验中的思维联通迎合了参观者在体验时进行情感交流和互动时产生的一种不可言状的微妙感受，充满了与心灵的私密沟通所产生的服帖感，这种内心感触的欣喜是单纯的基础感知阶段所不能实现的，是感官、探索的升华。

>图6 2C3D的相机

>图7 《Life Scape》

>图8 时尚体验博物馆

对设计师来讲，在数字体验设计的过程中，体验者与装置进行互动不应该仅仅注重交互行为，更应该注重在体验的过程中传递给用户设计想要表达的思想，使得数字体验在满足用户行为感官体验的同时在思想上得以有更深的理解。做到“以人为本”，引导浅层次基础体验，通过不同个体对体验的认知与探索形成各自独特的感受，在整个数字体验中融入情感共鸣。

三、多模态交互下数字体验设计的应用意义

（一）提升感官体验

新兴的科学技术为当代人们的生活带来了翻天覆地的变化，数字体验装置的发展是传统体验方式的变革，改变了传统体验多以视听为主的信息传递方式，通过科技的运用更新了用户在接收信息、使用产品时的形式，使其不再满足于单一的感官所带来的体验，而更倾向于“一加一大于二”的多模态体验。在数字体验过程中通过多种感官的融合与叠加，能充分调动体验者的身体机能，使信息的接受更加有趣，使体验的认知更趋向于真实。典型的多模态数字体验有虚拟现实技术，创造虚拟的体验环境给人脑以真实的认知，它可以通过叙事性的设计法则，用故事的形式，设计营造虚拟场景、真实或虚拟角色、引人入胜的情节、沉浸式的体验、真实的气氛等基本元素，直接调动参与者的情绪模态的融合，使体验在抽象与具象之间反复横跨，并且通过多模态交互对虚拟环境做出反馈，提升整体的感官体验，让趣味性、直观性贯穿数字体验的始末。

（二）扩宽表现形式

艺术家们利用多模态交互这个能够触发多种感官融合交错、影响人体生理与心理的特质，将艺术与科技互联，使用当今发展得如火如荼的传感技术以及增强现实、混合现实等技术，将数字信息世界与真实的世界建立起互通的桥梁，将自己的作品融入到数字体验当中，在各行各业都能看到他们的身影。在公共艺术场所，博物馆中的数字体验装置加深观众对于文物的理解，在视觉触觉乃至嗅觉方面都能与受众进行情感交流和互动，带动参与者的感官穿越到不同的时间和空间中。在互动娱乐场所、商业运营场所的数字体验装置通过强化我们的感知，将以往单一的体验延伸至多维模态体验，例如耐克在上海的首家概念创新店，在试穿新产品之前需要经过短暂练习，然后体验者就能轻松掌握游戏规则、开启挑战。互动画面和立体音效的结合能够扩宽体验的表现形式，使信息能够更好地传递。

（三）加深情感共鸣

不同的颜色、声音、味道都给人以不同的感官体验，例如红色让人有热情与激昂的感觉，蓝色让人联想到冷静与理智的感觉，舒缓与紧张的乐曲给人的感觉也截然不同，我们对家、对妈妈身上的味道、对那些充满记忆的事情都可以通过嗅闻来进行记忆的提取。多模态的数字体验设计联合多种感官，当体验者通过听、视、嗅、触、味不同的模态进行体验时，由低层次的基础感知体验上升转移到行为探索阶段，最后到达思想联通的阶段，三个阶段层层递进，进一步激发起体验者更深层次的思考，从而引起情感共鸣，最终让体验者能够真正理解设计者的想法，同时也融入了其自身对数字体验的理解，产生全新的感悟。

四、总结

多模态交互以人五感及大脑认知为基础，在数字体验设计中起着重要的作用，多模态的融入给新兴生态发展下的数字体验设计指明了新的方向，契合了数字体验的特性并顺应了发展趋势。未来的体验设计，必将是技术与感知、艺术的合力传递，无论单独讨论哪一方，都是片面的。数字体验设计为用户的体验提供了新的交互方式与表现形式，进一步激发起体验者更深层次的思考。多模态交互下数字体验设计的目的是加强人对信息的感知，对方便性和情感性的追求，使感知效果更加趋向于真实的感受，但是如果为了数字化而数字化，单纯地追求技术带来的乐趣，就不能算达到多模态思想联通的深层次。科技与艺术同步发展，设计者清楚地意识到精神和文化的重要性，数字体验设计才能真正地做到“以人为本”。