视觉传达多模态下的视知觉分析

冯 文 博

(渭南师范学院 莫斯科艺术学院，陕西 渭南 714099)



【艺术研究】

视觉传达多模态下的视知觉分析

冯 文 博

(渭南师范学院 莫斯科艺术学院，陕西 渭南 714099)

研究数字环境下，视觉传达多模态下人的视知觉表现。方法：从人类认知事物的环境变化入手，把虚拟作为数字技术下视知觉的主要特征进行分析，探讨了人认识活动被动到主动的转变，并随着对视觉信息多元化的理解，人类记忆的矛盾也开始凸显。结论：提出了在多模态的视觉信息传达中，人类视知觉体验发生了变化，视觉信息内容表现形式和视觉信息传达手段的多样化，以及人和信息之间交互关系的增加，也让审美主体的审美体验越来越个性化、风格化。

视觉传达；多模态；视知觉；视觉语言

一、发展变化中的视觉形式

随着社会信息化和数字化的普及，我们面临的视觉形式也产生了变化，其中最主要的变化就是视觉信息的传播由单模态向多模态转变。单模态下的信息传播主要以单一的手段或者形式完成，比如图形模态、图像模态、声音模态、视频模态、交互模态等；多模态下的信息传播可以是两种或者两种以上的单模态相互组合，形成传播手段和承载形式完成信息传达。

这种变化的主要原因在于，随着科学技术的发展，受众对信息载体的要求越来越高，信息的表现形式也越发复杂和多样。这种多样化的视觉信息表现形式在信息传达中，不仅要考虑形式自身的表现能力、表达方式、形式美感以及形式中所包含的内容，还要考虑人的视知觉反应、群体心理特征、个体的人生经验和视觉体验。同时在以互联网为基础、数字技术为支持的环境下，技术因素也是其发展的重要成因。

多模态正是在这种数字语境下出现的信息传播形式。互联网作为受众日常生活的重要组成部分，正是这种生活方式的转变使得信息传播方式逐渐转变，原有的单一模态的、线性的传达形式转为多模态、非线性的形式，数字技术更是让这种形式有了更大的发展空间和表现力。

二、视知觉心理活动

(一)认知环境的变化

视知觉是人类对事物认知的主要手段，“而视觉知觉则包括图形知觉、图像识别、空间知觉等，是人从客观环境的许多刺激物中区别某种图形，识别熟悉的图像，产生三维空间感的能力”[1]23。不论是图形知觉、图像识别还是空间知觉，这都是人类对认知客体的视知觉感受，这种感受可以是图形图像和形状色彩，也可以是客体的运动变化。如果认为这就是主体对客体的视觉知觉，那就错了，就人类产生的视觉认知来说，除了认知客体自身外，客体所处的环境也是重要的组成部分。环境的不同，使得人类在认知过程会产生差别，同样大小的一个黑圆，分别位于大小不同的方形环境中，或者放在大小不同圆的包围中，给人的感觉却是形状大小不一样(如图1)。同样长短的直线因为环境不同，给人造成长短不一的错觉(如图2)。

图1 圆的错觉

图2 直线的错觉

在数字技术的影响下，视觉形式发展了(单模态到多模态)，人类认知事物的环境也逐渐发生变化。在传统情况下，人类的视知觉产生是在一个真实的光影环境下，光线和阴影是视知觉发生的前提条件。正如阿恩海姆所说：“明暗是个别和独立的物体的一个属性，而光线照射却为一切物体的存在提供了一个共同的基础。有了这个基础，物体和物体的各个部分才能从黑暗的深渊中显现出来。”[2]442光线通过明暗、色彩、强弱等形成一定的环境氛围，影响受众的主观视觉认知。在视觉传达过程中有些环境是人类有意形成的，目的无外乎加强信息表现的力度，加强视知觉的强度。换句话说环境也是有“意味的形式”。环境的视觉认知主要是以色彩、光影的象征、主体和背景相互对比衬托来实现的(如图3)。这种衬托的元素越多，主体的视知觉范围越明确，衬托环境数量、内容、关系的变化影响人的视知觉认知。在新的数字语境下，人类的视知觉环境发生了改变，虚拟是其主要特征。虚拟是相对于真实环境而言的，数字虚拟下的视觉认知环境，更多地依靠计算机、数据头盔、环幕、数据手套、全息投影等技术设备来实现。这种虚拟环境人为因素比真实环境要大得多，真实环境下的人为设计虽然也有，但是大都因势利导，不像虚拟环境中纯粹的人为设计操作，使得信息的传达更具目的性。

图3 在黑色背景衬托下的白色三角

(二)从被动接受到主动参与

人类的认知活动是从知觉开始的，当感觉的视觉信息被注意才能完成识别。人类的注意行为通常分为主动注意和被动注意，被动注意是因为客体对象的原因，刺激到受众从而产生注意行为。传统环境中，被动注意下的视觉信息是信息编码者提前编辑设计好的，受众只能被动接受，在认知过程中处于被动接受地位，然后提出批评。如某个活动的标志设计、海报、宣传标语、形象大使、宣传片等，这种提前被设计好的视觉信息受众无权修改变换，只能被动接受。主动注意指的是受众有意识的认识客观对象，而产生的意识行为。主动注意下受众的行为模式会受到改变，在信息的编码和解码过程中，受众会成视觉语言信息的主导者，从而主动参与到信息传播过程中。如在数字环境中我们了解一个地方，除了在官方网站、微博、微信和信息圈中，通过图形图像、视频动画、交流互动等了解其文化意义表达外，我们又可以主动参与其中，把自己对该地方的了解通过数字手段表达出来，个人的表达可能会有些偏颇，但是不能否认它在一定程度上完善了该地方的视觉语言，有甚至还会成为该地方另一个文化。视觉语言的多模态呈现则最大化的加速了这一过程，其加速不仅体现在视觉信息交流手段方式的变化，更体现在视觉信息内涵的拓展上。

(三)对视觉信息的理解多元化

随着人们逐渐参与到视觉信息本体的构建上来，把自己对视觉对象的理解看作是对象的一部分，不再人云亦云，随之而来的就是人们对视觉信息表达方式提出更高的要求，于是视觉信息多模态表现应运而生。应该说这两者之间是一个相辅相成的关系，相互促进的关系，多模态化视觉信息表达手段丰富了人类的语言表达能力，人类对信息本质的追求又更进一步促进了表达手段的发展。就认知心理学来说，人类所有的行为意识，都可以理解为对信息对象的问题解决过程，从对信息的输入认识—信息的编码加工—信息的输出传播，无不显示其对信息的理解。数字环境下的今天，人们对信息尤其是视觉信息的认知已经到了主动阶段，也就是说人们不仅仅限于对视觉信息本身的认识，更要求在自我理解下对其进一步进行设计加工，形成视觉表达，进而进入大众传播(如图4)。

图4 视觉信息多元化示意图

认知心理学之所以被称之为信息加工理论，就是因为它以信息加工为核心来理解和解释人类的高层次思维活动和信息加工之间的关系。在这种关系下多模态化视觉信息被人的视知觉感知，通过知觉、注意、理解、思维活动、视觉语言和人工智能等方式完成。

(四)记忆矛盾显现

普通心理学将记忆定义为：经验的印留、保持和再作用的过程。[3]71记忆的过程就是把感知到的信息经过编码转化成人脑可保存的模式。如果说传统环境下记忆的目的是存储，那么视觉语言多模态情况下记忆的目的已经不再仅仅是存储，更多的是信息二次加工，是对信息的解码到编码加工的过程。多模态化的视觉信息传播使得信息源在更直观的方式下被识别、记忆，同时其内涵也不断得到扩充。随着人的知觉经验不断增加，人类在数字技术的支持下，利用人机交互的手段、通过多模态的方式，信息源被无限的抽象和简化了。

三、信息多模态下思维活动模式分析

(一)思维活动的变化

人的思维活动，不仅受认知环境影响，更是受到信息传达手段、方式的影响。当我们的神经元感受到的信息越多，信息强度越大，大脑所产生的思维反应就越大。信息单模态下，大脑接受的信息比较单一，思维活动相对的比较单一，层级也比较低。信息多模态下，大脑接受得信息渠道变多，手段变强，本来只是一个图形模态传递的信息，变成声音、文字、图形图像、视频等多个模态组合传播(如图5)，受众可在角度、多层级，多维度的了解信息，思维活动相应的也变得强烈深刻起来，受众的思维受到的影响因素随之变得多起来。

图5 信息多模态下视知觉活动

(二)视知觉的变化

信息多模态下，人的思维活动变化了，相应的人的视知觉也跟着改变。首先改变的是人的视觉注意力，人的视觉注意力一般受客体和客体存在环境的影响，信息多模态下，客体表达方式多样化以及虚拟环境的强化认知，使得视觉注意力得到加强；其次视觉记忆加快了，当人单独通过视觉记忆感知一个物体时，思维所形成的联想和想象是单纯的视觉式的，如果这种记忆感知再配合听觉、嗅觉、触觉等方式，其造成联想和想象则是立体的、全方位的，这种对神经元多层次的冲击，让记忆的速度被无限加快了。第三就是视觉想象力的降低，当我们告诉一个人狮子的外貌的时候，他对狮子的想象则是无穷大的，是各式各样的，因为这一切全部源于你的语言描述，就如同中国民间艺人对狮子的造型一样。但是当你不仅让他看了狮子的造型，还介绍甚至让他身临其境感受狮子的威猛，那么它对狮子的想象就受到局限，他甚至再也画不出个性化的狮子造型来。这种多角度的信息传达，就是这样，它让受众对对象的理解变得简单，让受众的想象力受到约束。最后图形的识别能力得到加强，单纯的视觉信息，让人对图形的辨别能力降低，多模态的信息传达，则使得受众可以得到多种提示，来加强视觉认知。

(三)视知觉思维模式

在新的数字环境下，受众的思维活动变得更加活跃和强烈起来，视知觉的注意力进一步加强，视觉记忆加快，对图形图像的识别能力变强，不过相应的视觉想象力降低。在这种情形下视觉思维的模式也有了变化。通常我们谈到思维模式，就会说理性思维、感性思维、线性思维、非线性思维等，在信息多模态传达下，思维活动已经不是单纯的某一种模式，而是多样的结合。我们可以把它称之为技术艺术思维模式，技术艺术思维模式是一种把技术的理性思维和艺术的感性思维相结合的复合型思维类型。这种思维模式在活动过程中，具备群体性思维、互动性思维、合作性思维、资源性思维和形式思维五个特点。[4]26-27

四、信息多模态下视知觉体验特征

(一)视知觉的选择性

随着人类认知环境的逐渐变化，在虚拟环境中，受众面临对象的表达方式以多样的形式呈现出来，(好比图形图像的表述手段，可以有若干种不同的艺术形式表达每一种的审美体验和视觉感受都不相同，达达主义的、表现主义的、水墨风格的、剪纸、皮影、刺绣等民间风格的)这么多种形式以及形式的组合方式，带给受众的则是多样化的选择。

当然除了选择客体的视觉表现形式外，视觉认知方式也是可以选择的。视觉认知方式就是人类在网络虚拟环境中采用什么手段认知对象。视觉信息多模态下，不仅视觉信息的承载媒介或者信息传达的技术手段有多样化的选择，比如现代科学技术给我们提供的诸如电脑、手机、数据头盔、数据手套、触摸屏、环幕、增强现实技术等，每一样都可以增强人类视知觉认知上的能力；而且视觉信息表现的多模态化，也使得视知觉的选择多样起来，视知觉可以选择单一模态的文字、图形、图像、视频、虚拟对象等，也可以多模态的方式呈现。

(二)视知觉的交互性

视觉语言的信息传播，在数字技术的支持下从单向已经变化为双向的。单向传达指的是视觉信息的编码到解码的过程，比如传统的读书看报，听广播看电视。双向传达指的是视觉信息的输入到信息的加工再到信息传播的过程双向可逆性(图4)。这一情况在数字技术的介入下已经成为信息主客体双向变化影响的过程，客体在向主体传递信息的时候，主体因其生活经验的不同，知识、学历、认知等背景差别，视角的变化，会以自身反馈给客体，使得信息客体的内涵变化更丰富起来，而且这种变化在现代技术的支持下会及时作用于信息客体。甚至会因为一些社交媒体如微博、微信平台、网络、聊天平台等让信息和受众的交互上升到受众—信息—受众的多方互动，这种多模态的信息交流方式，让人类认知得到极大化的提升，事物本质也被这种交互的方式从更多的角度得以挖掘。

就交互性来说，新媒体下的交互有两种表现形式，一种是桌面式交互，一种是现场式交互。[5]38桌面式交互主要是通过电脑、手机、PDA、电子阅读器、iPad等屏幕来实现，以鼠标或触屏为交互手段，这种交互方式中，视知觉的多模态体验局限在视听交互层次，比如多媒体动画、虚拟漫游、虚拟展览馆、VR展示等。这种桌面式的人机互动把纯粹的视觉动画和受众的参与结合起来，让人身临其境，极大地拓展了人的视觉主动性，对信息的接受也由完全被动变为有选择性的主动参与。2008年故宫的“超越紫禁城项目”就是这样一个典型，受众在网络上进入故宫，并且体验大臣、宫女、太监等不同身份，感受皇宫不同的活动，如同游戏一般。现场式交互多是借助虚拟现实技术，通过多通道的人机交互来让受众体验包括视觉、味觉、触觉、听觉等在内的沉浸式体验。这种形式的信息感知更多样，已不仅仅局限于视知觉。

(三)视知觉的审美体验的个性化

众所周知，视觉艺术的审美样式来自于专业的图形图像设计师和艺术家的手中，但是随着20世纪60年代后期，波普艺术在世界范围内流行开来，它打破了生活和艺术的界限，打破了高雅和低俗的界限，使得艺术走向了大众化、个性化、通俗化的方向。而这一过程被互联网无限加快和放大了。人民群众的生活、学习、工作等都受其影响，在这里人人都是P图高手，人人都是视觉符号的设计者和传播者，手机随手随时拍的图片视频，飞快地在一个个事物周围形成信息群，这些信息群也因为设计者审美背景的差异，形成视觉表现百花齐放的情形。

视觉语言的多模态化让受众之间出现了分化，形成了一个一个群体，这些群体因为职业不同、信仰差异、知识学历背景、民族、地域等聚在一起，他们的审美认知有着这样那样的相似点。相似的社交群之间又因为个体的差异，在信息视觉表达中呈现个性化的特征。

(四)全色相的色彩感知

色彩不是视觉传达下的一个表达模态，它的信息传达通常要借助某种具体的形式来完成。传统的单模态下，色彩是减色模式，以印刷色为主。新媒体环境下，多模态的传达模式过程中，色彩的表现发生了很大变化，主要表现为RGB模式的应用。RGB模式是一种红色、绿色、蓝色相互叠加混合而成的色彩模式，也叫加色模式。这种模式是一种屏幕显示模式，它主要用于网络多媒体的显示上。色彩有16777216种之多，几乎显示了人眼所能感知的和不能感知的所有颜色。色彩对视知觉的影响除了颜色数量外，颜色强度(明度和饱和度)也是一个很重要的因素。RGB模式下颜色强度到了一个新的高度，尤其是颜色之间的组合使得这个高度范围更广更大。从手机、电脑显示屏到立体投影，人能感知的色彩效果越来越多。

总而言之，在读图时代的今天，人们对事物的观察，对事件本质认知，已经越来越多的依赖更加直观的视觉形式(图形图像、视频)，越来越多的通过多模态化的语言模式，通过现代各种数字媒介来实现。人们主动的参与到信息源的构建，他们既是设计者和传播者又是接受者，这种主动的心理态势也让信息的内涵呈现出动态的组成中。相应的多模态视觉语言下的视知觉也出现了多样化特点，人类可以在多样选择中，通过人机交互的方式完成个人的审美体验之旅。

[1] 曹方.视觉传达设计原理[M].南京：江苏美术出版社，2005.

[2] [美]鲁道夫·阿恩海姆.艺术与视知觉[M].滕守尧，译.成都：四川人民出版社，2005.

[3] 张祖述，沈德力.基础心理学[M].北京：教育科学出版社，1987.

[4] 杨岗，罗维亮.技术和艺术思维[M].西安：西北大学出版社，2010.

[5] 李四达.数字媒体艺术[M].北京：清华大学出版社，2012.

【责任编辑 郝丹娜】

An Analysis of Visual Perception from the Multi-modal Visual Communication

FENG Wen-bo

(Moscow Art School, Weinan Normal University, Weinan 714099, China)

The paper is to study the visual perception performance of human beings under the multi-modality of visual communication in the digital environment. From the environment change of human cognition, it analyzes the main features of virtual perception as digital technology, and discusses the change from passive to active. And with the understanding of visual information diversification, the contradiction of human memory also began to highlight. Conclusion. In the multimodal visual information transmission, human visual perception experience has changed, visual information content expression forms and visual information communication means diversification, as well as the interaction between human and information increase, which makes the subject’s aesthetic experience individualized and stylized.

visual communication; multi-modal; visual perception; visual language

J0-05

A

1009-5128(2016)23-0093-05

2016-10-09

渭南师范学院特色学科建设项目：秦东非遗文化传承的多模态(14TSXK09)

冯文博(1979—)，男，陕西咸阳人，渭南师范学院莫斯科艺术学院副教授，艺术学硕士，主要从事民间艺术数字化研究。