基于联觉效应的VR交互式动画中的视觉语言研究

张真

摘  要  VR交互式动画的出现为传统单纯叙事的动画带来了全新的感知体验，视觉元素作为动画中的核心构成部分，在交互式动画中也起到了重要的作用。文章通过分析视觉语言中的图像造型语言和色彩蒙太奇手法，论述交互式动画中视觉语言联觉效应的作用，意图通过探索视觉语言所带来的多感官联觉效应，达到交互式动画带给观众更好的感官体验的目的。

关键词  视觉语言;交互式动画;联觉

中图分类号  G2      文献标识码  A      文章编号  2096-0360（2019）17-0120-03

感官之间的联结活动可以使我们更好地对一个事物进行感知，而视觉作为直接接受外界图像信息最重要的感官，是我们在创作活动中必须要关注的部分。VR交互式动画不再受传统动画中画框的限制，观众视线所及的地方都是动画的一部分。创作者将“摄影”的权利赋予给观众，观众可以自主选择想要观看的画面，动画中的视觉语言也被赋予了新的要求。VR交互式动画中，观众在各自的叙事空间中活动，意味着视觉语言在一定程度上引导着交互式动画叙事主线的发展，而视觉活动的认知又与观众的感官和情绪相关联，由此所带来的联觉体验使观众与动画产生了更好的互动。

1  画面造型语言吸引用户的注意力

画面造型语言是视觉语言中主要的构成部分，在VR交互式动画中，是吸引受众与动画产生交互行为，并引导叙事向着创作者预期的结局进行下去的关键。在视觉信息的传送过程中，最重要的是引起注意。注意是人知觉的起点，引起注意是实现诱导欲望、加强记忆的重要因素，只有引起注意，才能导致行动的产生[1]29-30。因此，吸引观众的视觉注意力，并利用联觉效应传达故事的阶段情节感受对于推动交互式动画叙事的发展是至关重要的。

1.1  色彩的意蕴渲染故事情节

人们在观察到某种色彩的时，大脑往往会与以往经历的感知活动产生联觉。康定斯基在《艺术的精神》中提到：“色彩能引发相应的精神感应，通过心理联想引起眼睛及其他感官的生理反应。”[2]色彩本身没有情感，这种情感是人们对色彩产生的联想与感受。动画的创作者将色彩带给人们的这种情感体验运用到动画的创作当中，渲染VR交互式动画中的场景气氛，以此增强观众的情感体验。例如，由Google spotlight story出品的交互式动画《Duet》中，整个背景色彩以蓝色调为基准，而主人公则以高明度黄色线条来描绘，形成蓝色与黄色强烈的色彩对比，使观众在观看动画时，视线追寻着主人公并与主人公展开互动。在这里色彩的作用就是通过吸引观众的视觉注意来保持观众对影片的持续关注，同时蓝色也渲染了一种神秘的气氛。可见，色彩的意蕴与剧情的有机结合，能表达出丰富的情感，达到事半功倍的效果。

1.2  光线的运用帮助聚焦故事主视点

光线在传统动画中有温暖画面、烘托气氛的作用。作为交互式动画中的一种视觉元素，任何有别于其他景物的元素出现，都会影响观众观看交互式动画的进程，并吸引观众的视线去主动探索。人脑在同一瞬间，对信息的加工能力是有限的，不能加工全部信息。注意的选择功能可以促使大脑排除次要信息的干扰，选择重要的信息进行加工，而光线在VR交互式动画中就扮演着帮助观众的视线排除次要信息的角色。例如，Pinta Studio团队在2017年制作的VR交互式动画《拾梦老人》中，故事开篇失梦者丢掉了自己的吉他，在吉他变成碎片时，点点星光吸引着观众的视线去追踪剧情的发展，而周围的废弃垃圾场则成为故事的背景，被观众的视线选择性的略过。可见，在VR交互式动画中，光线有助于创作者制作一个视线焦点，来帮助观众聚焦故事主体部分。

1.3  图形流动的变换推动故事情节的发展

休伯（Hubel）和威赛尔（Wiesel）在研究大脑的生理结构时发现，人的有些细胞对视觉形状的元素比较敏感，这些细胞被称为特征察觉细胞，是辨析形状的主力军[1]31。图形语言在动画中出现一般是以静态的状态存在，而对于交互式动画来说，电影中的蒙太奇手法并不适用，强行采用蒙太奇手法进行画面转场会带给观众眩晕感和镜头间切换不自然的感觉。例如在VR交互式动画《Planet of the Couches》中，镜头之间的转场直接用画面被揭掉的方式处理，打断了观众在虚拟现实中的沉浸式观看节奏，强行将观众拉回现实，影响受众体验。而反观由Oculus Story Studio制作的交互式动画《Dear Angelica》中，观众进入到影片中小女孩的房间时，小女孩已经沉浸在睡梦中，此时，一道墨迹从小女孩身旁的日记本上延伸向观众，并伴随着小女孩妈妈的声音绕过观众，不断往观众身后蔓延，由于视觉引起的心理上对未知的联想，促使观众跟随着墨迹转身，最后将视线定格在电视机上。电视里播放的是小女孩母亲所饰演的电影。这种将原本字迹的流动转换成切镜头的方式，使受众更易接受，也勾起受众的联觉。观众不自觉的进入到下一场景中，达到创作者推动故事情节发展的目的。

2  色彩蒙太奇唤起观众的联想

“蒙太奇主要指电影创作中把镜头组接起来进行叙事、抒情和观念表达的表意手法。”[3]VR交互式动画中由于全景画面的呈现，画框的限制被取消，电影中蒙太奇的手法无法得到发挥，镜头与镜头间的联系又需要得到建立，所以，就需要构建新的蒙太奇语言，为交互式动画的镜头语言寻找新的出路。“特殊的颜色联系为蒙太奇提供了各种新的表现方法。颜色的相似和反差在影像间建立了一种比形式的相似与反差深刻得多的关系。各种色彩具有强大的象征力量，颜色唤起联想，激发感情。”[4]镜头内色彩的变化，正好与VR交互式动画中的“一镜到底”的特点形成呼应，为交互式动画与观众之间建立情感联系找到了突破口。例如，Google spotlight story團队制作的交互式动画《Peal》中，画面一开始设定在一个已经沾满尘土的车子中，女主人公进入到车子内，打开收音机的同时，画面的色彩由冷向暖进行色调的转变，女主人公也回到了小时候的记忆，色彩的转变唤起了观众对女主人公小时候幸福场景的感知，画面依旧在车内，场景却瞬间变得温暖。色彩蒙太奇产生的联觉效应不仅带给观众适当的想象空间，还解决了VR交互式动画中转场生硬的问题。色彩的感知来源于人们大脑中对颜色的某种联想，色彩本身不具有情感，而当颜色投影在我们的视觉感知器官时，我们会将自己原有的生活经验混入到实际所看到的影像之中，使我们产生对颜色冷暖的联想，并赋予颜色温馨或可怕的心理体验。因此，创作者在设计交互式动画的剧情时，可以考虑运用存在于观众记忆中的知识影像，帮助观众更好的参与到交互式动画的互动当中，以便使作品的主题思想传达的更加精准。

3  视觉语言带来的多感官联觉体验

一种感官的刺激会连带刺激另一种感官的现象在心理学中称为通感或共感觉[5]。联觉即一种感官感受到的刺激激起了另一种或多种感官的感受。交互式动画中，画面占主导地位，观众的眼睛随着画面图像运动，并试图与之产生互动。这就要求在交互式动画中视觉语言不止要发挥其视知觉的作用，同时也是多感官的联觉互动体验。

3.1  视觉形象带来的感官体验

交互式动画中视觉语言在色彩、光线、图形上具有引导观众回归动画叙事主线，并烘托人物情感，渲染背景气氛的联觉效应。交互式动画中，观众感受到的视觉元素不仅带来视觉上的感知，同时也可以作用于触觉、嗅觉、味觉等感官体验。我们可以从最初的绘画中寻找视觉与其他感觉的联系。例如，亚当·埃尔森海默的《逃亡埃及》，是画家1609年在罗马完成的一幅夜景绘画。作者用现实主义的手法描绘出当时周围的景象，景物可以再现，但是对于视觉之外可以激发的其他感觉（空气和露水的湿润、太阳的温暖、风的吹动等），就是欣赏者在观赏作品后产生的自然感知与联想，是联觉效应发挥的作用。类似的例子还有由米高梅电影公司制作的经典动画片《Tom and Jerry》中，Tom在吃了辣椒后，观众观看到的是Tom脸部逐渐变红，可是感觉到的是味觉上辣的体验。这种由视觉语言所产生的联觉效应运用到以后的交互式动画中，会使人物形象和剧情更加丰满，同时，也能增加观众与交互式动画的互动观赏体验。

3.2  视觉语言带来的多感官连结互动

现如今大部分的VR交互式动画由于技术的局限，在制作的过程中考虑的多是怎样使叙事更加完整，而在故事情节细节的部分花费的心思较少，视觉语言虽然在其中运用，所带来的联觉效果却并没有得到很好地体现。视觉语言是作品创作者与受众之间交流和传达的主要媒介，也是作品主题信息传达的重要手段，对视觉语言的理解、运用和表现，已成为每个创作者不可缺少的基本素质。VR交互式动画的创作者要注重视觉语言中所可能引申出来的含义，并将交互式动画中的视觉元素与感官建立联系。例如当图片在智能手机上支持放大缩小后，人们由原来的凑近去观看一幅画变为两指拖动改变大小。随着人类认知的不断丰富，视觉所产生的联觉会更加的多样，观众会渴望跟着动画中的主人公一起前进后退，甚至想要放大交互式动画中的某个视觉元素。由视觉产生的触觉渴望，支配着我们的行为，而这种多感官的连结所引起的互动就是未来交互式动画观众所期待的互动方式之一。

4  结束语

根据认知符号学观点，感觉性与认知性是密切联系的：基本的符号学结构正好反映了我们的感知活动——我们的身体正是认知机制的符号[6]。这种感知活动在我们的感觉器官中汇集了由大脑提供的各种信息，并将这些信息进行整合，使我们的感觉连结、融合，视觉语言在交互式动画中起到了沟通这些感觉的引导作用。虽然交互式动画中的视觉语言可以引导叙事节奏，但在以交互性为主要优势的交互式动画中，利用视觉语言的联觉效应可以带给观众更多参与到动画交互中的欲望。并且使观众获得更多的情感体验，将视觉互动转换为感官互动，以期建立观众与作品之间的连结。

参考文献

[1]宗世英.艺术视觉素养[M].北京：科学出版社，2017：29-30，31.

[2]康定斯基.艺术中的精神[M].余敏玲，译.重庆：重庆大学出版社，2011：69-70.

[3]汪流.電影艺术大辞典[M].北京：中国广播电视出版社，2001：88-89.

[4]巴拉兹·贝拉.可见的人·电影精神[M].安利，译.北京：中国电影出版社，2003.

[5]杨静，刘军.动画色彩[M].北京：中国青年出版社，2012：69.

[6]安娜·埃诺，安娜·贝雅埃.视觉艺术符号[M].怀宇，译.四川：四川大学出版社，2014：61.