多模态·融媒体·新实践

黄鑫 王文浩

【摘要】2022年10月16日，中国共产党第二十次全国代表大会在北京召开。《人民日报》作为担负着深入宣传、阐释二十大报告任务的主流媒体，推出了系列融媒体作品并在人民网设立“党的二十大报道专区”和“大型融媒体报道专题”。从内容生产和知觉传播两个方面来看，《人民日报》的融媒体创新实践呈多模态报道模式。以《人民日报》对党的二十大报道为例，针对出现于文本和传播事件之中的现象，通过研究多种符号整合为一个整体的新闻作品，考察多模态融媒体新闻的模式属性及传播潜力。

【关键词】《人民日报》；多模态；二十大；融媒体

多模态研究视角关注于各种特征模型的交互作用和对信息内容的多模态感知分析，以接收者为导向，强调接收者的选择、兴趣和处理信息的能力。最初多模态研究通过使用语言学模型，将交流中的不同传播类型归纳为“类型语言”，比如视觉传播可描述为“图像的语言”，音乐传播为“音乐的语言”等。罗兰·巴特通过设计符号模式概念框架，探索出多模态传播的一般性原则，并发展为研究文本和图像与多模态文本的整合方式的理论。图恩·梵·迪克在《Multimodal Discourse》中则将多模态研究分为四个层次：话语、设计、生产和分布，将媒介视为“不那么系统性组成的符号资源”，依赖文化含蓄意指和经验性隐喻来生成意义。[1]从多模态视角分析《人民日报》关于党的二十大报道的融媒体新闻作品，可以从数据资源层、学习感知层、情感增量层三个方面对多模态交流中所使用的素材资源和对使用资源来进行沟通和表达的方式进行研究。

一、数据资源层：集成与细度分解

《人民日报》依托强大的平台和数据采集势能，实现了文本、图像和视频新闻素材物质与非物质、原生性与再生性的数据资源积累。因此在融媒体产品的完成中，一方面，根据各存储要素的属性、特征、表现划分出不同模态数据之间的潜在关系，再聚合分散的数据存储要素，使报道深度有序。[2]另一方面，通过文本综合、平台分类、主题聚合、时空考量等各类侧重点，对不同模态的存储数据进行特征关联和意义映射，生成了多样化、批量化、有效组织和深层意涵的融媒体作品。人民网在关于党的二十大PC端专题中，除现场报道、聚焦报告等板块外，还设置了中国共产党第二十次全国代表大会电子资料中心，包括“跟着总书记学党史”“经典文献”“中国共产党基本知识资料库”等海量数据集成资源。

视觉数据库作为图像和视频产品的数据来源，为融媒体产品提供基于文本内容补充角度的图像模态信息。2022年10月18日，《人民日报》在微信、新浪微博等移动媒体端推出海报数据新闻产品《看！这就是2035年的中国》，通过数字、文本、图表和环形逻辑关系图，整理国民经济和社会发展第十四个五年规划和2035年远景目标，推送当日新浪微博话题总量为5487万。通过这种基于文本、模拟搜索关键词引擎的方式，依托元数据完成了文本内容的图像描述，实现了文字和数字模态的图像构建，在视觉关系的发现角度和图像模态信息提取中，形成对元数据和内容本身的关注，避免了海报类新闻产品相对简单化、碎片化的传播。这种结构性长图+逻辑化要点的报道形式，在二十大报道中连续呈现在《人民日报》的《一图速览！二十大报告要点要来了》《党的二十大报告思维导图》和《数读二十大报告》等融媒体作品中。通过提炼数据、归纳要点、特征图形的多模态共同作用，生成了党的二十大报告“电子版图”和关于二十大报道的海报矩阵。

声音模态主要以表示描述实体音频属性的形式存在，声音的模态主要包含语音信号转换并完成特征向量的提取和提取特征向量的高阶表示两个过程。[3]经由语音信号的数字化采集后，根据新闻产品的需求将其进行存储并处理离散序列，最后进行声学特征向量的提取。向量的高阶表示对声音特征向量进行多级非线性映射，学习特征向量中包含不同抽象层次的信息。[4]针对图片内容偏向显著性、缺乏描述性的表征，视频模态将声音和图像二者的描述任务结合起来，在理解视觉内容的基础上，通过声音的传递和语义的表达生成完整的内容。视频模态通过动态视觉信息集成、交叉使用声音和图像模态间的注意机制，最终生成从文本到视觉内容的自然转换。党的二十大召开期间，人民网推出系列视频产品《跟着总书记看中国》，汇集了习近平总书记在全国各个省区市的视频素材，呈现出总书记和“千家万户”的故事——从社区到大湾区，从古都胡同到小村致富路，观众与总书记一起见证了个体脱贫，也见证了村寨的“变身”；认识了逐梦的平凡电力人，更领略了大国工匠的蓝天梦。总书记同期声的视音频采集，结合其他人物采访与空镜拍摄，使新闻素材有了艺术感知，原始图像信息与视觉叙事完成了报道中的视觉增量和受众需要的语义增量。将新闻信息素材升华为集合场景、人物、事件和意义融合而完整的新闻作品。

二十大召开期间，人民网以吸底导航的形式，连续推出一系列微视频融媒体产品《中国种·中国粮·中国心》，采用人物传记的呈现方式，将专业度较高的科研知识通过场景视觉和科学家讲述的声音信息，用受众所熟知的“饭碗”作为主题符号串联，将“粮食育种”的专业符码逐层编入易懂的视觉图像，采取视听层级递进融合的方法，实现复杂时空中对陌生交流目标较为准确的聚焦，解决了受众与文本本身内容的知识异构问题。此外，《人民日报》還推出了一系列新媒体作品，在问题式短视频《这是9671.2万分之一的回答》中，众多二十大党代表围绕同一个问题“你，为什么如此坚定”进行作答，张桂梅的回答是“想让山里的孩子也能走进最好的学校”，祁发宝的回答是“决不能把祖国的领土守小了、守丢了”，让受众直面党代表的内心。系列视频《二十大时光——听听他们怎么说》中则采访了医护人员、三农践行者、青年学子、海外侨胞、部队官兵等50余名各行各业的工作者，听他们关于二十大学习的心得体会，视频阅读总量为423万；在新媒体作品《二十大代表Vlog》中，奥运冠军、普通公司员工、艺术舞者、边疆青年等平凡而年轻的二十大代表，用Vlog记录了自己的日常工作和生活，用第一视角的视音模态讲述方式拉近了二十大与受众的距离。

二、学习感知层：多维度知识获得

多模态新闻产品在表示学习的层面有两种基本思路，一种是从自然语言处理角度出发，依赖于传统文本在知识图谱上做补充，对实体补充视觉信息并在图像间进行视觉关系的发现和模式实体横向链接。图像实体的扩展以及链接关系的确定主要取决于文本，比如“一句话海报”“二十大报告金句”等，依托简单明了的图片传播方式传达信息，可以描述为粗粒度的关系挖掘。另一种是感知性的学习办法，以计算机技术为依托，通过模拟神经元体感，不仅完成视觉和听觉知识的捕捉，还可以进一步达到推理学习、场景进入、角色扮演等多维度的学习感知体验，把抽象的文本概念识别链接为实体场景图谱，甚至达到亲身参与的沉浸式学习体验，实现细粒度的对齐关系。

党的二十大胜利闭幕后，人民网在PC端和移动端同时上线了H5产品《党的二十大报告学习工具》。通过热搜关键词如“共同富裕”“中国式现代化”“社会主义发展强国”等知识概念，生成思维导图和知识网络，挖掘初始概念的表征提取和域间概念表达融合，一键生成二十大思维导图。点击思维导图即可抵达二十大原文章节，同时附英文全文报告。《学习工具》对大型会议进行了关键词识别和数据集中，操作便捷、权威准确，依托文本模态直接完成知识获得。

除此之外，人民网联合百家红色展馆，采用感知学习思路设立“红色云展厅”。借助5G技术汇集全国31个省区市红色展馆，包含重大历史事件、特征性地点、英雄事迹、革命人物等各类红色资源，根据不同模态的传播特质，一次性在网络页面和移动端综合呈现作品，实现文本、图像、视频、音频的同频发布，满足受众的多元化观赏需求。“红色云展厅”中设计的视音频简介，相当于远程导览，使受众在展厅浏览的过程中获得参观指南，自觉结合所具有的知识水平和人生经验，达到个性化的观展目的，“红色云展厅”通过多模态融媒体作品完成了夯实红色记忆的传播效果。在党的理论和党史知识学习的研究和应用中，《人民日报》设立了多个学习渠道。“党章党规”以电子书架的形式呈现，在保持特定模式意义完整性的同时集中于文本描述，详尽的识别模态间的信息关联；“党史”微课上线25个微课视频，诸多专家学者为受众解读、阐释中国共产党为什么“能”、中国特色社会主义为什么“好”的深刻意涵；“好书荐读”建立全年电子书单；“理论研究”嵌入中共中央党史和文献研究院网，为受众打造权威理论学习阵地。《人民日报》基于全网关于党的二十大期间的报道和党史知识学习，将多源异种结构的党史知识结构化，促进党史、党建知识的显在沉淀和关联，形成具有重大意义的党史党建数据集。[5]

除此之外，人民网PC端还提供了党员学习自测板块。通过记忆获得的知识，以问答形式完成思维强化的能力。自测题目旁设计了7个“电子积木”，用积木结构、视觉文本、问答测试作为知识子能量，设计成行之有效的学习方法。这些子能量又构成了知识谱系的总和，为学习者丰富了记忆，提高了学习能力。

三、情感增量层：宏观与微观相结合

党的二十大召开前夕，《人民日报》视频客户端“视界”推出了作品《新千里江山图》，以我国北宋名画《千里江山图》为背景、《只此青绿》舞蹈诗剧为串联，使用实景+CG、三维建模、场景CG复现等技术，在4分33秒的时长里将现代中国的发展和人民的时代精神融入传统文化当中。产品上线一日，《人民日报》新媒体平台的阅读播放量即超过1.46亿次，总点赞量超210万次。《新千里江山图》“爆款”的出现，可以从以下几个方面进行分析。

首先，《新千里江山图》为观众提供了还原历史的宏观情景体验。依靠实体资料和原景再现的方式，为受众提供了拟真的穿梭感。由于展示的情境有客观存在的历史画作、真实的舞者、船舶和水流，也有固定存在的现代建筑如港珠澳大桥、国家公园等，让受众能够在熟悉的模拟动画环境中认识和理解作品，缩短了古今和时空之间的距离感。其次，放大具有视觉冲击力的细节元素，为受众带来新的体验视角。稻田里的袁隆平院士、学校前的张桂梅校长、田间的黄文秀书记、攀登珠峰的测量隊，都以原音重现的形式与受众见面，结合静态的山水图和动态的生活情景，用“一句话”放大新时期人物的精神细节，无需向受众进行引导和暗示，只需关注艺术形态的直观表现，就能使观众以联系已有的信息积累理解作品。再次，动画制作形式拓展了信息的获取。用特效手段带领受众进行数字化“看中国江山”，实现了跨越地域和时间的串联，将不同位置、不同时期的人物和景物置于一张动态图谱之中。《新千里江山图》的基本布景和工具都是根据真实场景复原的，但在动态链接的过程中营造了具有中国特色的虚拟过渡元素，如飞翔的白鹤，高山流水，荷塘景色等。设计者恰当的发挥，营造出作品的古典意蕴，也串联起情节的连贯性和场景的完整性，对作品内容进行了艺术化的补充。

《新千里江山图》可以视为多模态新闻产品的范例模型，内含图像生成器、信息表示器和情感编码器三个模块。具有统一视觉特征的CG图像与真实存在的原始图像合成后，仍完成原始图像的最终指令，并借助受众的记忆信息推理历史视觉信息，保持了“千里江山图”的视觉增量，使得画面调性统一，融今景于古色。另外，作品表达了“江山就是人民，人民就是江山”的情感内涵。多模态情感分析中，文本模态大多占据主要地位，然而《新千里江山图》的文本却以人物同期声的方式存在，寥寥数语，本来不存在逻辑上的关联性，但在人类情感交往中，可以通过“聆听”识别情感信息，进行情感的代入和共融。受众在收看作品之前，已经对袁隆平院士、张桂梅校长等人物完成了情感构建，在视觉模态的同时作用下，轻量级文本也能够达到情感编码的要求。人物群像类型化同期声的使用形式，也满足了一致性的接收信息特征，提升了语音模态的识别能力。图像生成器、信息表示器和情感编码器三种模态表示之间，任务相关性的增强形成了模态的融合。《新千里江山图》作品的情感叙事，通过图像生成的逻辑合理性和受众信息的增量连接保证了文本和图像的相互作用。

四、融媒体报道作品的发展要求

模态融合的目的是将不同单模态中提取的信息整合到一个紧凑的多模态表示中。[6]新闻作品早期的报道模态主要是特征的叠加，随着技术的不断进步和媒介环境的变化，各类单模态元素可以迅速达到模态间的信息交互。从《人民日报》推出的党的二十大系列报道作品来看，不仅传播了信息，还加入了情感交互，增加了接收者感知的权重。展望未来，多模态新闻作品仍然有巨大的发展空间。

（一）从融媒体报道作品中能够进行多任务学习

多任务学习是机器学习的一个子领域，其训练过程中包含多个学习任务，通过利用不同任务间的共性和差异来提高模型的泛化能力和预测准确率。新闻报道和产品传播的过程也是学习达到的过程。在新闻产品中宣传党的大政方针，要能够通过简明有效的方式进行学习训练。《人民日报》的“数读报告”用9个关键词表述做引擎，阐述二十大报告原文；“二十大报告”思维导图，用一张图厘清报告逻辑。同时，融媒体新闻报道还要注重学习任务的可完成性，人民网在二十大报道中采取“百秒说”的播报方式，每次报道100秒，各领域记者以“快、准、新”的评述，聚焦党和国家事业发展，碎片化的传播方式更能适应移动端受众的观看习惯，让学习随时随地发生。

（二）融媒体报道要挖掘作品的多模态设计

通过将不同类型模态嵌入具有传播目的的结构或模型里，或呈现出不同的形式、或产生特定的关系，最终实现统一的编码。《阅读图像》提出，根据作品元素所处的位置——或左或右、或高或低，在中间或边缘，为它们赋予了不同的信息价值。作为新闻报道的融媒体作品，其传播目的不仅仅是要把各类元素联系起来，更重要的是把受众定位为已经掌握部分信息但还需新知识的接收者。因此，新闻报道和融媒体产品的设计模式，要能综合运用文本、图片、视频、声音、互动等模态，共同表达文化和历史。值得注意的是，人群的自然属性划分也应当作为设计参考，比如趣味性的互动和沉浸式体验可以为不同年龄职业、不同需求的受众提供个性化的使用与满足。

（三）融媒体报道要坚定不移地引领价值取向

党的二十大是我们党进入全面建设社会主义现代化国家、向第二个百年奋斗目标进军新征程的重要时刻召开的一次十分重要的代表大会，是党和国家政治生活中的一件大事。[7]宣传黨的二十大，以《人民日报》为代表的主流媒体肩负着夯实主流价值观的重任。2022年中国新媒体大会上，人民日报社副总编辑王一彪用“六个坚持”来阐述新时期媒体之责：坚持聚焦首要政治任务，切实担当起最重要的政治责任，精心做好习近平总书记活动报道，继续深化习近平新时代中国特色社会主义思想宣传阐释，努力做到平实务实，做到天天见、天天新、天天深；坚持以人民为中心，积极探索“新闻+服务”模式，让《人民日报》离人民更近，做到《人民日报》为人民；坚持讲好中国故事，努力塑造可信、可爱、可敬的中国形象，展示真实、立体、全面的中国；坚持做有品质的新闻，充分发挥在舆论上的导向作用、旗帜作用、引领作用，努力推出更多有思想、有温度、有品质的新媒体产品；坚持尊重互联网传播规律，积极推进传播理念、内容、形式、方法、手段、机制创新，与用户实现共鸣、共情、共创；坚持以技术创新驱动融合发展，扎实推进新型主流媒体的智能化升级。[8]

党的二十大蕴含着伟大的精神力量，在宣传报道的过程中，一方面应着眼于全景式报道，全面展现会议精神，宣传好党和国家事业取得的历史性成就；另一方面也要善于发现细节，充分发挥先进人物、典型事件的主流价值观导向，宣传好新时期各族人民奋发向上的精神风貌。不断提升新闻资源聚合与整合能力，打造面向未来的主流媒体新闻阵地和全媒体信息传播网络。

五、结语

传播效能的前置因素分析和验证发现，多模态聚合的媒体信息最终呈现是由符号、情绪、情境这三维度信息的叠加得以表征。[9]《人民日报》的多模态报道旨在将党的二十大相关内容和知识资源以更具传播效能的形式综合呈现，通过建立各类表达模型，达到数据层的集中和细度划分、学习层的多维感知和情感层的增量，将数据、文本、图片、视频、声音、互动协同融合，重视信息传播中的情感体验。作为自主全媒体矩阵，《人民日报》在传播层面现有十余种新闻呈现载体，综合覆盖用户超13亿人次，在党的二十大宣传报道中，提供12种外语、5种少数民族语言版本。除自有平台端，《人民日报》在新浪微博、抖音、微信和海外媒体等平台面向全球播报，真正实现全媒体覆盖、多终端向世界展示二十大会议盛况。在资源整合方面，《人民日报》与各级广播电台、高校、红色纪念馆、企业联合产出新闻素材和产品，整合新闻资源、实现优势互补、完成作品转化，形成既有深度又具广度的系列融媒体作品。然而，面对复杂多变的国际传播态势，多模态新闻产品内容设计和传播机制还需进行进一步探索，在全面建设社会主义现代化国家的征程中提升主流媒体宣传效能，讲好中国故事，不断完善融媒体新闻作品的创作和实践。

[本文为2020国家哲学社会科学基金重大项目“百年中国马克思主义新闻观话语的历史建构与实践研究”（20&ZD323）成果]

参考文献：

[1]TeunA.van Dijk.Discour Studies：A Multidisciplinary Introducition[M].重庆：重庆大学出版社，2015：108.

[2]徐晨飞，包平，张惠敏，姜霖.基于关联数据的方志物产史料语义化知识组织研究[J].大学图书馆学报，2020（6）：78-88.

[3]刘建伟，丁熙浩，罗雄麟.多模态深度学习综述[J].计算机应用研究，2020（6）：1604.

[4]刘建伟，丁熙浩，罗雄麟.多模态深度学习综述[J].计算机应用研究，2020（6）：1605.

[5]李鑫.融媒体视域下党史传播的创新实践：以人民网“红色云展厅为例”[J].新闻战线，2021（7下）：65.

[6]Zhang C，Yang Z，He X，et al. Multimodal Intelligence：representation learning，information fusion，and applications.IEEE Journal of Selected Topics in Signal Processing，2020，14（3）：478–493.

[7]中国共产党第十九届中央委员会第六次全体会议公报[EB/OL].www.gov.cn/xinwen/2021-11/11/content5650329.htm.

[8]2022中国新媒体大会丨王一彪：让人民日报离人民更近[EB/OL].https：//baijiahao.baidu.com/s？id=1742574853503078775&wfr=spider&for=pc.

[9]喻国明，胥伟岚.多模态融合：媒体传播的效能提升及其研究模式[J].传媒观察，2021（12）：18.

[黄鑫为复旦大学新闻学院在读博士；王文浩（通讯作者）为长春人文学院副教授]

编校：董方晓