多模态视野下图文关系研究的机遇与挑战

2016-03-21刘成科,颜志蓉

当代教育理论与实践 2016年1期

多模态视野下图文关系研究的机遇与挑战

刘成科1,2，颜志蓉1

(1.安徽农业大学外国语学院，安徽合肥 230036；2.中国科学技术大学人文学院，安徽合肥 230026 )

摘要：多模态理论研究正处于学术研究的活跃期。多模态中的语言和图像之间的关系问题更是该领域的研究重点。然而，目前学术界在多模态语篇中图文之间的地位关系、图文之间的意义冲突和互动关系等方面的认识还存在一定的分歧。因此，在梳理国内外图文关系研究的基础上，主要探讨了图文关系研究的核心课题、面临的主要挑战和可能的研究方法等，这既有助于丰富多模态语篇的理论研究，又将进一步拓展和完善读图时代下的图文关系研究。

关键词：多模态；语篇；图文关系；认知努力

多模态理论的系统研究主要始于20世纪末。然而，图文关系研究虽然只有短暂的历史，却有着久远的过去，甚至可以追溯到古希腊时代柏拉图的“线段之喻”。随着社会符号学和语言学等相关学科的迅猛发展，近几十年来，图文关系的研究不仅引发了学术界激烈争论，而且在相关的社会实践领域也产生了巨大的影响。

1图文关系研究概述

1.1　国外图文关系研究的主要流派

在国外学术界，很多学者都对图文之间的关系有一些零散的论述，如O’Halloran[1]，Kress &Van Leeuven[2]，Lemke[3]，Norris[4]和Jewitt[5]等，然而对图文关系比较系统的研究却并不多见。根据研究视角的不同，我们可以粗略地分为符号派、信息派、功能派和逻辑语义派。首先，以Barthes为主要代表的学者，从符号学视角来审视图文关系。他着重提出了三种简单的图文关系模式：说明、锚定和接递[6]。该模式虽然较为简单，却为后来图文关系的探讨打下了坚实的基础和构建了基本的框架；其次，以Schriver为主要代表的学者，尝试从图文对语篇信息量的生成为出发点，提出了基于信息视角的图文关系模式：冗余，互补，增补，并置和布景[7]；再者，Carney &Levin提出了图文在多模态语篇中扮演不同的角色或执行不同的功能：装饰功能、再现功能、组织功能、阐释功能和转换功能[8]；Marsh &White 则是利用分类法阐述了图片在文本中的功能[9]。他们的分类含有三个层面，每一层都根据精密度分为不同的功能类型。整个模式系统性强，分类详细，结构清晰。上述两组代表性的学者都是基于功能的视角来构建图文关系的模式；最后，以Martinec & Salway为代表的学者则从逻辑语义的视角出发，借鉴功能语言学的小句关系理论，重点关注了多模态语篇中图文互动模式的构建[10]。

1.2　国内图文关系研究的主要特点

近年来，国内对多模态理论的研究十分活跃。但对于多模态语篇中图文关系的研究仍然略显不足，除了自古以来对于图文关系相对定势的观念外，基本处在对国外图文关系模式的理论探讨和应用阶段。

国内学术界对多模态语篇中图文关系的研究主要可以概括为几个方面：

首先，图文关系的和谐性占主体地位。图文关系在中国古代文化中一直处于水乳交融的和谐状况,两者并没有被看成是对立的两面。纵观中国文化的发展历程，图文关系体现在“言、像、意”、“文学之象”、“诗画一律”和“书画同源”等不同方面。图文之间的和谐共生关系占据了主体地位。然而，单纯的和谐关系并不是图文关系的全貌，应该结合当下的语篇趋势，全面阐述图文之间的“和谐”和“冲突”。

其次，图文关系的交叉性占主流地位。近年来，我国语言学、文学、传播学、美学、艺术学等诸多学科领域的学者，纷纷对图文关系问题展开探讨，使得图文关系的研究始终呈现学科交叉性的特点。主要研究的问题包括：图文关系在各类语篇中的表意特点、图像与文学的关系、美学重构下图文关系的再思考、图文修辞的内在结构等。可见，各种学科相互借鉴，相互交叉，对图文关系展开不同视角、不同层面的探讨和研究，然而，研究也多于分散独立，缺少统一平台，单纯的理论评介较多，系统性不强，也不够深入。

最后，图文关系的应用性占主导地位。国内学者更关注图文关系在不同领域的实际应用性，如图文关系理论在辞书编纂[11]、新闻传播[12]、艺术创作[13]、广告创意[14]、课堂教学[15]等不同领域的应用，但是，对图文之间的内部逻辑结构关系的理论探讨相对较少。

综上所述，国外学术界尝试从不同视角解构图文之间的关系，但是，其倡导的图文关系模式过于简单或复杂，精密度的弹性不足，可操作性偏低。国内的研究偏向图文关系现象的解读以及在不同领域的实际应用，缺乏对图文关系的系统研究，即关于图文关系本体的探讨明显不足。

2图文关系研究的核心课题

图文关系与不同的社会文化语境、不同的符号表意系统、不同的受众群体特点等紧密相关。要合理建构图文关系模式，必须注意具备理论性、现实性和可行性等方面的有机统一。因此，图文关系的研究，应该按照统一平台，学科互融的原则，打破学科之间的壁垒，并且把图文关系模式的建构与应用结合起来，从而适应多模态语篇在各领域的最新发展需要，更好地为语篇实践服务。因此，图文关系研究应该着力从如下几个方面深入探讨。

2.1　图文内在结构与多重互文关系

首先，通过视觉语法和功能语法分别解析图文之间的内在结构特征，讨论两者内在结构的异同，并研究图文在多模态语篇意义建构时的角色分配与功能差异。其次，分析图文作为独立的表意符号重构语篇世界的方式和特点，结合读者认知能力等因素探讨图文关系的差异对信息传递与意义输出的影响。最后，研究多模态语篇中图文之间的多重互文关系，解构图文之间的二元对立，特别是通过阐释图文之间如何通过冲突和碰撞表达语义张力，颠覆传统的图文关系模式，从而拓展图文关系研究的领域。

2.2　图文关系模式的建构和应用

首先，通过分析不同学科领域对图文关系的论述，探索图文关系概念的演变历程，认识图文关系的内涵和外延，准确界定图文关系研究的学科属性和适用范围，从而为图文关系研究的进一步发展清除障碍。其次，通过系统地梳理、对比和整合国内外关于图文关系理论和实践方面的已有成果，结合当今世界多模态语篇的发展趋势，利用跨学科的研究平台，以多模态语篇分析为基本理论框架，吸收众学之长，尝试建构一种相对完整、系统和有效的图文关系互动模式，既方便语篇生产者的图文关系建构，又易于语篇消费者的图文关系解读。最后，分析图文关系模式在不同领域里的应用实践，总结归纳典型的成功案例，进而不断修正和完善新型图文关系模式的建构，并尝试在多模态语篇实践中检验新型图文关系模式的实际可操作性。此外，重点探讨如何将图文关系模式更好地应用到课堂教学、教材编写、新闻传播、广告创意和网页制作等不同领域中，从而应对新形势下多模态语篇发展的挑战。

2.3　图文关系与社会文化的交互

首先，研究图文关系与社会文化之间的历时关系。图文关系模式的建构离不开特定时期的社会文化语境，反过来，图文关系模式又折射出不同时期的社会文化特征。例如，随着“读图时代”和“注意力经济”的到来，图片在语篇中的地位和意义得到了明显的凸显，那么，这种社会文化将直接影响图文关系的演变。其次，研究图文关系与中西方社会文化的共时关系。运用多学科的理论知识对中西方不同社会文化背景下的图文关系模式进行系统地对比分析，探讨不同的社会文化背景对图文关系模式建构的具体影响，揭示图文关系背后隐藏的文化属性和社会特点，并分析图文关系如何反映社会文化和艺术美学诉求，或迎合不同主流文化背景读者的审美或意义需求。

3图文关系研究的主要挑战

在“注意力经济”盛行的当下，图文关系的研究顺应了时代发展的需要，诸多学者分别从各自的视角阐释了图文关系理论体系的建构，也探讨了图文关系在各个具体领域的应用，它既迎来了难得的发展机遇，又面临着实际操作过程中的种种挑战。首先，如何合理调控图文关系模式的精密度，建构具有一定弹性的图文关系模式，以适应不同语篇实际的需求[16]。过于简单或者繁杂的模式，都不利于图文关系的清晰表征。未来科学的图文关系模式应该以语篇需求为导向，繁简适度，适用性强。第二，如何从图文意义生成的角度出发，根据多模态语篇意义生成的经济性原则，综合考量去建构图片与文本之间的关系模式。此处的“经济性”指恰巧可以满足语篇意义生成需要的图文关系模式，“不能更少，也无需更多”。第三，如何从图文意义消费的角度出发，根据语篇潜在读者群体的特点，灵活建构图文关系模式，尽量减少读者解读图文意义时的认知努力，把语篇生产和语篇消费有机结合起来。第四，如何在图文关系模式的建构中，摒弃僵化的“语言中心论”或“图像霸权”的片面思想，把图文意义看成动态的有机整体，充分考虑图文意义的互动性特点，合理建构图文关系模式。最后，如何系统地梳理整合各学科图文关系研究的成果，创造图文关系研究统一学科平台；如何清楚地界定图文之间内在结构的差异；如何准确把握读者解读图文意义时的认知心理等，这些都是未来图文关系研究不可逃避的问题。对于这些问题的圆满解答，必将极大地促进图文关系研究的发展。

4图文关系研究的主要方法

图文关系研究是跨文化跨学科的综合性研究，必须以多模态语篇分析理论为理论基础，借鉴符号学、艺术理论、传播学和图像学等多门学科的研究成果和理论知识，尝试对多模态语篇中的图文关系模式的建构进行综合研究。

从基础研究的角度来说，首先，通过图片与文字两种不同符号编码体系的比较，讨论两种不同的表意系统如何建构意义的，分析这两种符号系统各自不同的再现和叙述手段，各自独特的内部结构以及两者之间的多重互文关系。其次，通过对比分析中西方文化背景下图文关系建构的异同，试图挖掘差异背后的深层原因，使得图文关系的研究能够得到更加系统全面的发展。最后，重点把图文关系置于符号学的宽广视野之下，一方面，结合多学科的理论知识全面审视图文关系模式的建构，另一方面，又打破学科之间的壁垒，博采众长，创造图文关系模式研究的统一平台，从而最终建构适应语篇发展趋势的新的图文关系模式。

从应用研究的角度来说，分析图文关系模式建构的成功范式，探讨如何运用图文关系理论促进数字化多媒体网络时代下的语篇建构和信息传播，特别关注图文关系理论在教材编写、教育教学、广告创意和媒体传播等诸多领域的应用实践。

5结语

综上所述，在知识爆炸的今天，信息量的剧增要求对语篇的生产方式作出相应的变革，语篇的多模态性顺应了时代发展的趋势，满足了读者对语篇的消费需求。本文从不同视角简要地剖析了多模态语篇中的图文之间的关系，指出了图文研究的核心课题、主要挑战和研究方法。无论是符号学视角下的简单分类，还是逻辑语义视角下的复杂划分，都清楚地表明，图片和文本都是多模态语篇意义生成过程中不可缺少的组成部分，两者之间的关系并不是相互冲突，相互对立的，而是相互协作，相互补充，你中有我，我中有你的共生关系。因此，图片和文本不应该被简单地割裂开来，也不要过分地强调谁主谁次，而是应该基于语篇的具体情况，合理控制图文关系模式的精密度，并且综合考虑图文意义生成的经济性和图文意义消费的便利性，把语篇生产与语篇消费有机结合起来，运用图片与文本这两种符号编码体系在表意时的各自特点，充分发挥两者的优势，更加科学有效地建构多模态语篇的意义。

参考文献：

[1] O’Halloran K L. Towards a Systemic Functional Analysis of Multisemiotic Mathematics Texts[J]. Semiotica,1999, 124(1/2): 1-29.

[2] Kress G & T van Leeuwen. Reading Images: The Grammar of Visual Design [M]. London: Routledge. 2006.

[3] Lemke J. Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text[C]// J.R. Martin, R. Veel. Reading Science. London:Routeldge.1998: 87-113.

[4] Norris S. Analyzing Multimodal Interaction: A Methodological Framework, London:Routledge. 2004.

[5] Jewitt C. The Routledge Handbook of Multimodal Analysis[M]. London: Routledge.2009.

[6] Barthes R. Image-Music-Text [M]. London: Fontana.1977.

[7] Schriver KA. Dynamics in document design: creating text for readers[M]. Willey Computer Publishing. 1997.

[8] Carney R N and Levin J R. Pictorial illustrations still improve students learning from text[J]. Educational Psychology Review, 2002,14(1): 5-26.

[9] Marsh E E and White M D. A Taxonomy of Relationships between Images and Texts[J]. J. of Documentation , 2003,59(6):647-672.

[10] Martinec R, Salway A. A system for image-text relations in new media [J]. Visual Communication, 2005,4(3):347-352.

[11] 杨信彰.学习型英汉双解词典中的图文关系[J].北京科技大学学报(社科版)，2012(4):45-51.

[12] 朱淑姣. 视觉传播时代报纸版面设计的图文关系[J]. 大舞台，2013(4):111-112.

[13] 李承华. 图像?还是文本—微博时代的图文关系[J]. 美术研究，2013(2):123-124.

[14] 甘莅豪.平面广告图文关系的分析框架：基于“语法、语义、语用”三个维度[J].国际新闻界,2012(5):93-100.

[15] 张德禄,王璐.多模态话语模态的协同及在外语教学中的体现[J].外语学刊，2010(2):97-102.