多媒体视听交互中的符号学浅析

林倩倩 谭坤 刘佳文

摘要：多媒体系统目前在国内已经普及，不论是学校教学还是公司会议，都离不开多媒体技术。多媒体语言的运用为信息传递过程构架了一个全新的文化系统和意义系统，也是一个具有特定结构形态的符号系统。多媒体技术在传播信息过程中所构建的交互系统即为视听意义上的动态情景。本文试图以符号学为视角，将多媒体技术的信息载体延伸到符号层面，具体分析了蕴含其中的三种六类符号。旨在探讨如何运用符号学观念更好地设计多媒体文件，并为更好地达到信息传递效果提供依据。

关键词：多媒体文件；动态情境；交互设计；符号

中图分类号：G642.41 文献标志码：A 文章编号：1674-9324（2016）23-0222-02

一、引言

科学技术的发展，带来了社会的变革，同时，也迎来了系列产品的生成。譬如媒体，媒体不可否认是技术的产物，正是有了技术，才能将声音、图像等元素综合在一起。传统印刷媒体就是印刷技术的结果，多媒体更是如此。多媒体涵盖的技术较传统的行业而言，范围更广，内容更综合。其信息载体的样数多、交互性强、集成度综合的特点决定了与技术之间的密切关系。由此也可得知多媒体的信息载体与技术两者相辅相成缺一不可的关系，多媒体如若脱离了技术，则会处于孤立的局面，无法使用。

虽然多媒体在展示和运行的时候需要技术的支持，但归根结底，技术也只是保持其能正常运行的手段和工具，多媒体使用的目的是能够将信息更好的传播，使聆听者能更好地接受汇报者的信息。因此，多媒体文件设计的核心还在于视听的交互，而不是以技术为中心，这是使用多媒体进行交互的主要目的。

关于多媒体文件的设计，如何在视听交互方面做到更好，我们联想到了符号学的相关知识。在符号学的范畴内，多媒体文件的主要内容可划分为文本符号、图像符号和视频符号。以上符号结合多媒体交互的情境，又可划分为静态情境符号和动态情境符号，而我们之前讨论过的文本、图像和视频，同样也存在两种符号情境。接下来，我们将对此内容进行详细论述。

二、多媒体动态语境的信息符号

在多媒体视听交互系统内，语言是非常重要的信息载体，也是我们要花重点去研究的信息符号，语言在我们的生活中起到交流和传达信息的作用，在视听交互中更是如此。在我们之前讨论的两个语境中，文本由文字符号构建，人的声音作为传播信息的重要载体，也可作为一种声音符号，多媒体中的音乐、音响又可作为声响符号，而最重要的展示图像，可作为图像符号。

1.声音符号。由于声音符号的范畴较大，不同人对声音符号的认识存在不同看法，因此，声音符号在本文中特指人的声音。关于声音在多媒体视听交互过程中的作用，有的认为声音的功能就是传递信息，把多媒体系统中的图像、文字以一种辅助性解释的功能传递，其实就是文字或图片符号，然而，我们认为这是对语言符号认识的偏差，人是复杂的、有感情的动物，同样，声音的发出也会带出不同的情感，而不仅仅是传递话语、文字、图像的意义，而且，声音的音色、节奏、声调对多媒体系统的视听交互效果有不可忽视的影响。

音色与参与活动者的性别、特征密切相关，男女性及不同年龄者的声音形象是有差别的。女性的声音形象是“文雅轻柔、亮丽清纯”。男性“浑厚、粗放、醇和、有磁性，具有一定的气势和力量感”，而老年人则是“稳重、厚实、醇和、老成”。假设在一个目标人群为儿童的多媒体情境里，为达到更好的视听效果，制作者就要考虑插入儿童的声音和较为轻快、活泼向上的儿童语言，或选择一些年轻男性或女性的声音，在选择时要注意男性的声音不要过于有气势和力量感。

因此，在其构建多媒体文件时，音色的选择不能随意。同样的道理，声音的其他方面对其表义也有重要的影响。

2.声响符号。声响符号与声音符号不同，声响符号主要是指多媒体系统中的音乐和音响。音响是除去人的声音和音乐之外的一切声音，音乐大家都比较熟悉，不同音乐会给人带来情绪上的不同感受。而音响，在多媒体系统中更有其举足轻重的地位，甚至具备特别的语用功能，尤其是音乐。音乐在导入情境时，会将聆听者带入不同的环境，多达到的交互效果的好坏与带入音乐有很大的关系。同时，音乐和音响可对视听内容进行渲染，达到电影中的煽情效果，另外，我们都还知道音乐所具备的时代感，音乐能塑造交互环境的场景和气氛，影响视听交互的效果。

3.图像符号。多媒体情境里的图像符号主要涉及到色彩、动作与场景等。图像符号是多媒体信息交互中极为重要的符号，聆听者在多媒体环境中，视觉是与之最直接的交互。通过视觉的刺激，可以带动视听者的情绪。同时，在陈述一些较为抽象且不易被人理解的内容时，图像总是能起到辅助信息理解的作用。如目前被津津乐道的大数据，数字作为文本符号，如若没有声音、声响、图像符号，是很难被人接受的信息，在交互系统中肯定会影响交互的效果。倘若能借助图像符号，便会产生很大改观，如大数据可视化。技术高超的设计师可以将繁缛庞杂的数据信息以各种各样的图像展示出来，有助于观察者对信息的理解。同样，色彩也是图像符号中较为重要的因素，以儿童的多媒体情境为例，儿童的视觉系统发育还不完善，鲜艳的色彩更容易吸引儿童的注意力，因此，在多媒体文件设计的过程中，要注意选择适当的颜色，以达到较好的交互效果。

三、多媒体视听交互系统设计的两个原则

1.文本符号与视听符号的合理分配。文本符号在多媒体系统中是较为常见的符号，文本符号作为视听符号的辅助元素，在多媒体系统中所起到的作用不可忽视。但如若想达到较好的交互效果，应尽量减少文本符号，能达到辅助作用即可。但文本符号和视听符号在多媒体系统中是相辅相成的，缺一不可，他们同时作用于交互的整个过程，因此，必须将两者所能起到的作用详细划分，根据其产生的效果来合理划分两者在整个系统中所占的比例，才能实现较好的交互，达到信息传递的目的。还是以儿童的多媒体系统为例，由于儿童识字数量有限，因此，在设计多媒体系统时，文本符号所占的比例当少之又少，文本符号可能只是给儿童的家长看，起到辅助性的作用，因此，在设计过程中，还是要以受众和内容为导向，合理的分配两者的比例。

2.合理分配视听元素。在上一段我们已经讨论了文本符合和视听符号，在这段我们将视听符号的分配再进一步细分。视听元素反应在符号学里即为图像符号、声音符号和声响符号，以上都会通过受众者的视觉和听觉感知。视觉工作记忆区与听觉工作记忆区是相对独立的，因此，当其中的一个元素产生效果时，如果另一个没有任何反应，肯定会对交互效果产生影响。尽管视觉和听觉的工作记忆区虽然是相对独立的，但视觉和听觉在整个交互过程中，也是相辅相成、不可分割的。我们也可以通过例子来论述视觉和听觉的关系，假设我们看到的是一个喜庆的画面，但我们听到的却是一个低沉的音乐，这在我们的印象区便会产生差别，只有看到的和听到的一样，才会加大感知度。因此，视觉和听觉的分配一定要合理，不能随意搭配，要能产生渲染和加深印象的效果。

四、结语

多媒体视听交互具有信息载体与技术的二重性。多媒体视听交互系统的研究，需要从根本出发，从符号学的角度理清多媒体文件制作过程中各信息符号的特点、优势、接受过程，并进行合理搭配，不断完善和改良这一符号体系，以达到信息传递效果的目的。

参考文献：

[1]常樱.多媒体画面语言的符号学分析[J].学术论坛，2007，01.

[2]张先亮.非语言符号特征论[J].浙江师范大学学报，2002，（6）.

[3]胡飞.杨瑞，设计符号与产品语意：理论、方法与应用[M].中国建筑工业出版社，2003.

[4]项国雄，王佑美.交互媒体与交互模式[J].计算机世界，2001.

[5]马颖峰，杨栋.何探究式教育游戏的学习交互设计[J].现代教育技术，2010，（05）.

[6]张宪荣.设计符号学[M].北京：化学工业出版社，2004：80-88.

[7]曾方本.外语多媒体设计的符号学思考[J].外语教学，2006，（11）.

[8]杨勤.外语多媒体设计的动态语境符号思考[J].软件导刊，2008，（1）.