一个知识类短视频意义构建的多模态解读

张祝香，张青妹

(北京工业大学 文法学部，北京 100023)

一、研究综述

迅猛发展的信息技术对人际交往方式和话语模式产生了巨大的影响，人们越来越依赖多模态话语交际，相关主题得到了研究者的持续关注。国外的多模态话语研究起步较早，学者从多个方面丰富了多模态话语研究的领域和成果，Kress和Van Leeuwen的最大贡献在于视觉语法，二人的研究聚集于图文关系研究[1]；O’Toole研究了展览艺术的多模态语言[2]；O' Halloran分析了数学教科书中语言、图表以及数学符号的关系[3]；Norris把语言运用看成一种社会活动过程，关注模态间互动实现意义的方式[4]；Bateman和Schmidt把多模态话语分析延伸到电影语篇意义的构建[5]。国内的多模态话语研究始于李战子，他写作《多模式话语的社会符号学分析》一文[6]详细描述了Kress和Leeuwen提出的视觉语法概念，在相关研究领域起到极大的启发作用，带动了国内的多模态话语研究，研究成果主要集中在静态语篇中图文关系的探讨；此后，张德禄提出了多模态话语分析的综合理论框架，关注到模态间协同关系[7]。受到信息技术快速发展的影响，多模态话语分析研究对象从二维语篇发展到三维动态语篇(集合文、图、声于一体)，各种多模态话语类型不断涌现且已然成为学界关注的重点。

二、语料和研究框架

(一)语料选取

当前处于web3.0时代，短视频以大众化的内容生产与传播成为即时通讯方式之外第二大时间杀手，以抖音为代表的短视频平台在很大程度上改变了人际沟通和社交方式，比如，知识类短视频有效推动了知识的分享和普惠，已成为一种具有社会积极意义的新话语类型。根据字节跳动、清华大学新闻与传播学院、中国科学报社联合发布的《知识的普惠——短视频与知识传播研究报告》，“知识类短视频，是指以分享知识作为主要目的、以知识讲解作为主要内容、观看者能从中获得知识的短视频[8]”；考虑到短视频对于知识边界的拓展，该报告特别界定了“知识”的内容，既包括来自学校教育的硬知识，也包括来自日常实践的软知识，兼顾陈述性知识和程序性知识(二者分别对应常用表达中的“知识”和“技能”)。根据上述定义，本研究选取哔哩哔哩平台一个典型的知识类短视频“一看就会！日本首相如何选出？超简单干货讲解”为研究语料[9]。

(二)研究框架

任何多模态话语研究归根结底都是意义的研究，各种模态协同和符号互动完成了多模态话语的意义构建。目前，针对各种模态之间关系的研究成果中，张德禄提出的多模态话语分析综合理论框架是最为深入和全面的观点，该框架(图1)包括四个层面，即文化语境、情景语境、内容层面以及表达层面，文化层面统筹整个交际活动，是其他三个层面的总依据，其中，文化语境表现在情景语境层面，情景语境决定内容层面，内容层面由表达层面体现。具体来说，在一个特定的文化语境中，受意识形态、交际规约等因素的影响，讲话者根据具体的情景语境(语场、语旨、语式)和交际目的确定想要表达的内容和意义，并选择合适的形式和一定的媒介加以呈现。

图1 多模态话语分析综合理论框架

三、知识类短视频的整体意义构建

(一)文化语境

文化语境涵盖话语产生的全部社会历史文化背景，包括意识形态、价值观念、思维方式、生活习惯以及社会潜在规则。人们的话语交际活动总是限定在一定的文化语境范围内，文化语境不仅决定话语的体裁和语类，而且对话语的形式、风格、表达效果产生重要的影响和制约作用。短视频是当前视觉传播文化语境下一种视频文本和话语实践，已成为新媒体语境的主流传播方式。在商品经济和知识经济的双重影响下，知识类短视频兴起是时代的必然产物，诸多新媒体短视频平台为“知识盈余”的人们提供了展示舞台，知识生产者不再局限于传统的教育机构，互联网呈现“能者为师、百花齐放”的时代特色。制作者依托社交平台发布知识类短视频，通过短小精悍且主题突出的视频内容展示个人的知识和阅历，以期获得观众的点赞和转发，视频作品整体的意义建构方式呈现出明显的碎片化、生活化、轻娱乐化倾向。本研究的视频语料出自一位长期生活在日本的中国人，作品以轻松诙谐的话语风格讲述了2020年日本首相选举的相关知识。

(二)情景语境

情景语境是文化语境的具体体现，语言的三大元功能投射到情景语境产生了三个变量，即语场、语旨和语式[10]。语境因素与多模态语篇的意义结构存在对应关系，语场指话语范围，即正在谈论或发生的事情，是概念意义的体现；语旨是话语基调，指相关说话人的身份和话语双方的关系，是人际意义的体现；语式是话语方式，指语言组织和意义传达的方式或渠道，是语篇意义的体现。在视觉文化和新媒体语境中，本研究中知识类短视频的语场指题主(视频制作者或内容讲解者)给观众讲解有关日本首相的知识；语旨指知识分享方和知识获得方，即屏幕内外的题主和观众；语式是题主运用的声像合一的技术多模态手段。知识类短视频借助声音、图像、文字、动画等多种符号影响观众对知识的理解，达到知识传播和营销题主的目的，语场、语旨以及语式既制约话语的形式和特征，也决定意义构建方式的选择。

(三)内容层面和表达层面

在内容层面和表达层面，本研究选择的视频对象主要介绍了日本首相选举的相关知识，比如选举程序、任期、换首相的原因等，视频中，题主着装休闲得体，通过自身媒体(眼神、表情、肢体动作等)和非自身媒体(字幕、文字、图片、音乐、音效等)等符号元素的综合运用与模态协同，共同构建完整的语篇意义。基于内容和表达层面的意义构建分析，本研究主要从视频内容结构切分、每个阶段不同模态符号的互动和协同等方面阐述观点。

1.视频样本的内容结构切分

张德禄提出了动态多模态切分的三个标准，第一是语篇结构，语篇的整体意义包含若干个阶段，每个阶段又包含若干个步骤；第二是经验意义，找出标志过程变化的转折点，转折点标志一个新过程的开始；第三是前景化的事物和特征，即语篇的显著特征。综合相关研究的成果，本研究主要从几个方面探讨知识类短视频意义的整体构建，即视频内容的结构切分、模态提取以及模态间协同关系，综合运用张德禄提出的动态多模态切分标准，模态拆分采用张青妹在多模态微课研究中运用的分类方法[11]。视频样本共使用9种模态符号种类，即题主、图像、人声、音乐、声效、字幕、文字、色彩、动画，内容结构切分情况见表1。

表1 视频样本的语篇内容结构切分

2.视频样本的模态符号协同与意义构建

第一阶段只用半分钟不到的时间完成两个步骤，即开场和提出主题。视频一开始，题主出现在画面中打招呼和自我介绍，目的在于让观众认识自己，轻快活泼的背景音乐起到背景烘托和气氛渲染的作用，步骤1并没有提供任何概念、意义以及信息，提出几个问题意在引发观众的注意和思考，意义贡献模态为人声和字幕，人声为主模态。步骤2和步骤1中的模态基本一样，只是步骤2在结尾处使用了能够吸引观众注意的其他模态，包括视觉模态的动画和听觉模态的声效等，增加模态既可以呈现不一样的视听体验，也标志着阶段之间的过渡，除了引出主题的概念意义，其余模态均以人际意义和语篇意义构建为主。

第二阶段是主题阐述部分，核心是概念意义的构建，题主围绕日本首相分享了很多知识，此阶段包括六个步骤，即日本的政治制度、国会、内阁、国会和内阁关系、众议院总选举、首相更换，题主通过六个步骤分解日本首相选举的相关内容。人声和题主是这一阶段主模态，配合文字、图像(图表)、字幕、音乐以及音效完成意义的阐释，在视频呈现过程中，题主偶尔作为视觉模态退去，一方面以黑色屏幕为背景，着重呈现相关的白色关键词，并通过变化文字位置清晰展示逻辑关系；另一方面运用反差强烈的颜色突出重点内容，色彩和文字两种符号组合共同体现概念意义；此外，题主选用图表呈现数字达到内容可视化的效果。这一阶段，题主通过多种模态符号的互动和协同表意，构建了日本首相选举的相关知识和概念意义。整体来看，文字和图像通过人声信息的补充和延伸，体现出多重信息的整合，有助于观众理解密集且复杂的人声信息；偶尔出现的声效是关键信息的提示或强调，讲解过程有强有弱、有时中断的背景音乐发挥了表现语篇意义的辅助作用；此外，题主通过眼神、手势以及抱起小猫的动作塑造亲切自然的人格化讲述风格，既是题主与观众互动的有效方式，也是人际意义的体现，与其他模态符号一起构建完整的语篇意义。

第三阶段是主题阐述完成进入结束语的一点“题外话”，题主简要回答了观众以前提出日本首相选举(即政治事务)问题的看法和观点。这一阶段，人声和题主是绝对的主模态，与前一阶段的承接也由题主的人声模态实现。

第四阶段是视频的结尾部分，题主明确提示观众视频内容讲解完毕，希望观众多多支持自己的作品(如点赞、转发)。这一阶段中，人声和题主是主模态，题主说话时没有音乐；直到人声模态退去，音乐、图片以及文字模态才同时出现，提示视频即将结束的同时也实现了转场等语篇意义，题主与观众再次互动，希望进一步吸引观众了解自己更多的作品。

笔者分析样本视频的模态后发现，在整个短视频语篇中，人声和题主是主模态，这一现象由知识类短视频的教育属性决定，人声模态主导整个交际过程。具体来说，有声知识类短视频的信息获取主要依靠人声，采取线性推进过程，讲解者依据逻辑顺序组织语言，并通过技术手段整合多种符号模态，配合人声和人物(通常是题主自己)共同实现语篇意义的构建。从模态选择来看，制作知识类短视频对模态选取没有固定的规约，短视频制作者可以在掌握模态可供性的基础上，根据意义构建或交际需要进行模态选择，比如阶段过渡和视频完结的时候往往使用多种符号模态。本研究的知识类短视频样本在视频语篇不同阶段选取的模态不尽相同，比如，视频开头和结尾部分的模态种类相对较少，主题阐述过程中模态搭配复杂且模态密度较高。究其原因，模态特征与语篇表达的意义紧密相关：开头和结尾部分信息量小，又有很多固定的表达方式，不需要制作者选择多种模态协助表意；主题阐述部分时间长、内容多，借助人声、题主以外的多种模态(如图片、动画、音效等)既可以强化和突出信息，也可以补充延伸主题，不仅能够维系在线交际，而且可以更清楚地阐释信息，从而实现更好的语义传达。

综上所述，短视频是近年兴起的新型交际方式，知识类短视频更是有效推动了知识的普惠，是一种颇具社会意义的话语形式。基于多模态话语综合分析框架，本研究选取了一个典型个案完成了知识类短视频多模态解读，这是一次有意义的尝试，希望带给全新话语形式的多模态意义构建一定的借鉴意义，期待更多的研究成果。