浅谈多模态在阅读与写作中的应用及研究现状

【摘要】随着社会的快速发展，信息和软件的应用在当代被广泛应用，人们发现除了语言文字之外，各种各样的符号也可以表达一定的意义，于是外国学者开始扩展了话语分析的手段，提出了多模态话语分析理论，并把该理论应用到了教学邻域，取得了良好的成果。多模态语篇的阅读和写作是当代交际的必然要求。

【关键词】 多模态;多模态教学;阅读;写作

【作者简介】赵香玉（1994.07-），女，蒙古族，河北承德人，云南师范大学，硕士，研究方向：语用学。

一、多模态语篇的阅读和写作

多模态语篇的阅读和写作是当代交际的必然要求。第二语言作者长期阅读和书写各种各样的多模态文本（如学术海报、图画书、小册子、漫画小说、幻灯片、视频纪录片、网页）。随着新技术的出现，二语和多语作者越来越多地能为不同的目的和处理越来越复杂和复杂的多模态文本。例如，英语和学生在不同的语境中，从精英学校资源不足的设置，暴露于多通道组合和外部对说汉语的课堂和说西班牙语的成年人的写作实践，图片分享社交网站，土耳其青少年学生的漫画创作，新加坡青年的数字故事，中国大学生的视频制作，以及乌干达年轻的学生和教师对图画书的参与。为了应对这种参与多通道组合在日常生活中，越来越多的研究人员检查了二语或多语种作家如何设计、解释、和应对多通道文本结合的话、声音、和图片，以及课堂教师如何使用多通道方法支持二语或多语种作家在英语和英语语境。许多在二语语境下进行的多模态作曲研究已经探索了多模态作曲的启示，并发现通过多模态作曲，二语/多语言作者练习和/或发展书面和口语英语或传统语言，提高符号学意识，体验真实的写作机会和学校写作的多种途径，探索和传达身份;培养媒介和声音，提高观众意识和创作目的，批判性地参与生活中的社会政治问题。

这些研究试图通过借鉴不同的理论视角来阐释二语/多语言学习者的多模态创作，如多文字学、系统功能语言学和社会符号学等。尽管阅读和写作多模态文本是必要的，二语多模态写作的研究正在兴起，但一些学者仍然对二语和多语作者的多模态写作持有怀疑态度，因为他们认为二语写作研究需要以语言发展为中心。类似的，一些教师对在他们的二语和多语言课堂中采用多模态写作持有矛盾态度或抵制态度，因为他们可能觉得多模态写作远离了他们的课堂现实，并且因为他们缺乏资源、时间和多模态写作教学的培训。学者、教师和学生体验或感知到当代交流的现实（更多的基于多媒体和多模式）和长期持有的写作信念和实践（基于印刷的语言实践）之间的冲突和紧张。在课堂中采用多模态组合为第二语言写作教学提出了新的挑战和问题。

在这个多模式、多媒体、多语言的传播时代，第二语言写作研究和教学法的探索是必要的、及时的。主动将研究扩展到二语语境下的多模态组合教学法的复杂性。它有助于批判性地考查多模态意义生成实践的话语、社会和文化过程，以促进二语/多语写作领域的多模态构成研究和教学。

二、多模式组合、模式和多模式

多模式组合、模式和多模式——它们对理解多模式组合非常重要。多模态构成泛指将多种符号资源，包括语言和其他模式（如图像、声音、视频）设计成文本进行表达和传播（Kress， 2003;Kress & van Leeuwen， 2001）。文本是“一种复杂的符号实体”（Kress， 2011），它包括语言和非语言意义创造资源（如图像、声音），超越了仅基于字母字符的传统单音书写形式。从社会符号学的角度看，模式是指一个社会群体为交际的文化实践所创造和使用的语言和非语言意义生成资源。模式可以包括语言、视觉、听觉、空间和手势内容。在二语写作研究中，语言模式和视觉模式考查得最多，但听觉模式、空间模式和手势模式对交流都很重要。每种模式具有不同的生成意义的模式资源;例如，语言有词汇语法和单词，而图像有色彩、光线和透视的氛围。Mode是单独使用还是与其他模式组合使用，表达不同的含义（Bezemer & Kress， 2016）。模式的概念在多通道组合的研究尤其重要，因为多通道组合的一个关键方面的研究是探讨符号模式，如何相互作用，导致意思一个多通道的文本对其作为一个整体，考虑的含义在两个或两个以上co-present符号模式，例如，视觉/图像和口头/语言，结合在这样一种新形式的意义可能获得“（Wales，2006）。多模态也需要解释，以防止一些混淆。多模态意味着以多种方式呈现。它涉及多种模式，不一定是多种模式。

三、多模态的不同主题

1. 扩展语言和非语言符号库多模态组合不再是一种选择。学生需要能够解释、设计和评价多模态文本。换句话说，他们应该能够把恰当的符号学资源组合成多模态的合奏（文本）。因此，在二语写作中，非语言模式与语言模式同样重要，这一事实尚未得到充分證实或承认。在拥抱多模态组合时，我们对多模态组合的启示持批判态度，同时对多模态组合保持平衡的观点（例如，多模态组合用于增强非语言模式意识和扩展语言资源）。本期特刊强调了二语或多语作者培养多模态交际能力的重要性;然而，这并没有忽视语言发展的重要性。这个问题探讨了通过多模态组合的语言发展和多模态组合的元语言发展。此外，还强调了需要一种互补的方法来整合语言和其他模式来理解内容领域的二语写作。

2. 探索多模态创作任务的过程和结果中另一个可见的主题是，为了探索多模态创作的构成要素，考查作者在产品之外的多模态创作过程（如头脑风暴、创作和分享文本）的重要性。鉴于目前对多模态合成过程和结果的研究还很少，我们的综合研究有助于从写作过程的角度更好地理解多模态合成的本质。实证研究，通过关注影响第二语言作者模式选择的语境因素，以及为第二语言习得编写活动和生成文本来考查第二语言作者的写作过程。此外，这些研究强调了第二语言作者在写作过程中对过程和产品进行多重评估的重要性（Hafner & Ho）。

3. 关于多模态写作评估的问题，这是二语写作专业人士面临的最具挑战性和紧迫性的问题之一。在认识到将多模态写作任务融入第二语言写作课程的重要性的同时，许多专业人士一直在努力寻找评估多模态文本的有效方法。

4. 增强多模态教学法和教师知识要在探索多模态作曲实践的同时，对多模态作曲教学方法的稳健实施。美国的六年级课堂，澳大利亚的普通小学课堂，香港的大学EAP课堂。重要的是，这三项研究的研究者都与课堂教师合作，计划了关于多模态作曲的课程单元。这些合作提供了宝贵的见解，让教师了解语言之外的其他符号模式，以及教师可以在教学中使用的教学知识。我们的特刊强调了一个事实，即学习和实施多模式组合教学法是具有挑战性的，但应对这些挑战的合作行动，将有助于第二语言写作社区设想改变写作教学法的方法。

四、結语

未来的方向和启示：我们探讨了在二语和多语言学习和教学环境中的多模态构成的复杂性。关于多模态作曲的研究和教学的关键问题。拓宽二语写作研究和教学法的议程，通过收集经验和概念论文，邀请二语写作专业人士考虑多模态写作研究和教学法出现的可能性和挑战。例如，尽管这个问题探讨了不同语境下的多模态组合，但所有的文章都考查了在课堂上用单一目标语言（我们的例子是英语）进行语篇生成。没有人探讨在翻译实践中的多模态组合，为身份和机构发展而进行的多模态组合，或英语以外语言中的多模态组合。

参考文献：

[1]Bezemer， J.， & Kress， G. Multimodality， learning and communication： A social semiotic frame[J]. New York： Routledge， 2016.

[2]Cimasko， T.， & Shin， D. Resemiotization and authorial agency in L2 multimodal writing[J]. Written Communication， 2017，34（4）：387–413.

[3]Kress， G. Literacy in the new media age[J]. London： Routledge， 2003.

[4]Kress， G. Partnerships in research： Multimodality and ethnography [J]. Qualitative Research， 2011，11（3）：239-260.

[5]Kress， G.， & van Leeuwen， T. Multimodal discourse： The modes and media of contemporary communication[J]. London： Arnold， 2001.

[6]Halliday， M. A. K. Language as social semiotic. The social interpretation of language and meaning[J]. London： Edward Arnold， 1978.

[7]Hirvela， A.， & Belcher， D. Reading/writing and speaking/writing connections： The advantages of multimodal pedagogy[J]. 2016.

[8]Hafner， C. Embedding digital literacies in English language teaching： Students digital video projects as multimodal ensembles[J]. TESOL Quarterly， 2014，48（4）.

[9]Wales， P. Telling tales in and out of school： Youth performativities with digital storytelling[J]. RiDE： The Journal of Applied Theatre and Performance， 2012，17（4）.