多模态视域下数字出版的技术演进与实践探索

吴炜华　张海超

关键词：数字出版；多模态；融合出版；数字嗅觉；VR出版

DOI：10.3969/j.issn.2095-0330.2023.01.009

一、问题的提出

2021年12月12日，国务院印发的《“十四五”数字经济发展规划》明确指出要“大力推进产业数字化转型”，“加快推动数字产业化”，“持续提升公共服务数字化水平”，并对数字经济新业态培育、社会服务数字化提升等工作进行了细致指导。数字出版作为数字经济的重要组成部分，与文化、教育等社会公共服务密切相关。传统出版产业能否适应时代发展趋势完成转型升级，数字出版产业能否得到飞速发展，事关我国数字经济的未来。2021年12月28日，国家新闻出版署印发《出版业“十四五”时期发展规划》。《出版业“十四五”时期发展规划》立足战略视野，明确提出建设出版强国的总体目标，并要求在壮大数字出版产业的工作中着力推出一批数字出版精品，大力发展数字出版新业态，做大做强新型数字出版企业，健全完善数字出版科技创新体系。《出版业“十四五”时期发展规划》也明确指出出版产业当下的改革重点和未来发展方向：“着眼满足消费升级新要求，顺应数字时代文化生活移动化智能化个性化新趋势，精准匹配用户需求和应用场景，推广互动式、服务式、场景式传播，打造数字出版新产品新服务新模式。”在“十四五”相关政策的指导下，我国的出版产业紧跟数字时代发展机遇，进入高速发展建设的新时期。

在媒介技术飞速发展的当下，数字出版不仅是指对传统的印刷出版进行数字化，还强调出版内容的数字化、生产模式和运作流程的数字化、传播载体的数字化和阅读消费形态的数字化，这是一种更为复杂的生产、传播和消费形态。考察这种复杂的生产、传播和消费形态可以发现，当下的数字出版具有明显的“融合”特征。所谓的“融合”不仅是内容融合、技术融合，也是“模态”的融合。数字出版带来了全新的内容表征、技术表征和模态表征形式，这为数字出版的发展带来了极大挑战。从内容融合角度来说，数字出版既包括对传统出版物的数字化处理，也包括依托数字媒介直接生产出的内容，那么在出版实践中应如何有针对性地生产和加工这些内容才能平衡出版工作效率和用户使用效果？从技术融合角度来说，数字出版既包括出版印刷、平面设计等技术，也包括数字转化、三维处理等技术，那么在出版实践中哪些技术才是数字出版融合发展的核心和方向？从模态融合角度说，数字出版既继承了传统的视觉模态和听觉模态，也日益开始向触觉、嗅觉等模态积极扩展，那么在出版实践中如何经济又高效地调动合适的模态满足出版需求和用户需要？要对传统出版产业进行升级转型，并推动数字出版产业发展新业态，必然要厘清这些问题。

二、多模态与数字出版

随着内容融合和技术融合的不断深入，数字出版的模态融合趋势日益明显。冈瑟·克雷斯（GuntherKress）和西奥·范·鲁文（Theo Van Leeuwen）教授认为，“模态”（modality）是物质媒体景观社会长时间塑造而形成的意义潜势，是用于表征和交流意义的社会文化资源；而胡壮麟认为，“模态”是可对比、可对立、可表达、可感知的符号系统；才亚楠认为，模态指人类通过感官和外部环境进行互动的方式。无论从哪个角度来看，“模态”都与“意义”“系统”和“互动”密切相关。多模态（multimodality），即多种模态，在数字出版中体现为数字内容由多种模态的符号系统呈现和表达，或者调动用户的多种感官与外部环境进行互动。当下数字出版的模态融合趋势即指向多模态的融合。多种模态的融合并非单一模态的简单相加，而是综合构建出一种更为复杂但却往往更易被用户感知的符号系统。多模态融合通过调动用户的多种感官系统实现与用户的互动，给予用户有用、有效、有趣的信息体验。

多模态理论的诞生与语言学中的话语分析密不可分。传统的语言学以文字语言为中心，但随着研究的深入，越来越多的学者意识到，仅凭借文字并不能满足话语分析研究的需要。图像、音乐等非语言符号，均可以作为一种话语模态影响文字语言的意义表达，但是这些非语言符号在语言学中却常常被忽略。在意识到语言学研究的不足后，学界便逐渐开始关注除语言模态之外的非语言模态。有学者认为，罗兰·巴特（Roland Barthes）在《图像的修辞》中探讨了语言和图像之间的关系，开启了多模态话语分析的先河；但也有学者提出，罗兰·巴特所分析的语言和视觉是分离的，并不能算是真正意義上的多模态话语分析。直到20世纪90年代，在冈瑟·克雷斯和西奥·范·鲁文探讨了文字和图像的意义问题之后，多模态话语分析作为一个理论才开始蓬勃发展。多模态话语分析理论的诞生证明了单一模态的话语分析理论无法解释除语言文字以外的、复杂的意义现象，更不能满足相关研究的需要。

冈瑟·克雷斯和西奥·范·鲁文认为，就语言学而言，多模态研究主要有四种范式，分别是博拉各学派、巴黎学派、美国语言学家对口语与非语言的研究以及韩礼德（Halliday）的系统功能语言学。经过数十年发展，多模态话语分析又出现了地理符号学、多模态互动分析、多模态民族志、多模态语料分析和多模态感知分析等等。由此可以发现，多模态话语分析已不再局限于语言和图像之间。从话语角度来说，多模态话语可以分为语言话语和非语言话语；从形式关系角度来说，多模态话语可从形式和关系两个角度考察；也有学者从宏观到微观，提出了逐步深入的文化、语境、内容、表达等多模态话语分析的综合框架，但是，上述理论均在话语分析的框架内。当多模态脱离话语分析的范畴乃至语言学的范畴时，尤其是不将其视作一种研究方法，而将其视作一个理论框架时，多模态仍旧体现出多种意义系统的符号互动。在此基础上，笔者认为，多模态作为一个理论框架，提示了研究者应对传播过程中的感官体验问题加以特别关注。

多模态理论中的多模态并不等同于多媒体，多模态强调的是多种感知模式，而多媒体更强调媒介的物质属性。同样，数字出版的多模态化不同于数字出版的多媒体化。李战子和陆丹云认为，多媒体化是社会实践的常态，而多模态化是当今文化系统的固有特性。按照李战子和陆丹云的观点来解释数字出版，多媒体化是数字出版实践中显露出的普遍态势，而多模态化则是一种文化层面的特性。就数字出版物而言，多媒体化强调的是将多种媒体要素应用于数字出版物；而多模态化强调的是数字出版物的多种模态对用户信息感知、文化感知产生的影响。当然，从多模态理论出发，考察媒介的多模态，并不是要脱离媒介的物质属性，而是要更加关注用户（受众）的信息体验。随着媒介的发展，时间碎片化、阅读碎片化、知识碎片化等等已经成为社会发展的必然趋势，而多模态理论则为语言学、符号学、传播学、教育学等学科提供了应对社会“碎片化”发展的重要理论资源，多模态理论也为数字出版应对当下时间碎片化、阅读碎片化、知识碎片化等趋势提供了应对策略。

冈瑟·克雷斯和西奥·范·鲁文认为，相較于传统语言模态的单一阐释，文化中的多模态资源可以在任一符号、层次和模式中产生意义；而从单一模态到多种模态，正是当下数字出版实践中的突出特点。一般来说，模态可以分为视觉、听觉、触觉、嗅觉、味觉等。早期的出版物多以视觉模态的形式表达意义，随着电子媒介的发展，听觉也渐渐成为出版物的新模态；而当下的数字出版不仅包括视觉模态的出版形态和电子出版早期阶段的听觉模态的出版形态，还逐渐面向触觉、嗅觉等多种模态的出版形态，并朝着综合全感模态的出版形态发展。

数字出版，从字面上看，即数字化的出版形式。孙玮认为，这种数字化的出版形式不是意味着将纸质媒介原封不动地放置到数字媒介上，数字出版意味着一种全新的知识生产和传输方式；侯欣洁也认为，虽然数字出版重视数字化手段，但是更重视其用数字化手段重塑传统出版形态并萌生新形态的出版行为领域。数字出版通过AI、VR、MR、感官交互、传感器、大数据等技术打造出融合多种感官模态的出版形态；与此同时，这些技术的发展也推动了“阅读”的数字化和多模态化。在多模态的理论框架下，数字出版通过媒介技术与感官交互连接了现代出版观与科技传播观，并通过符号生成与意义感知搭建起知识社会学和新闻传播学沟通的桥梁。多模态作为数字出版研究的一个新视角，不仅聚焦于媒介技术问题，其也对媒介技术与内容意义、知识生产与文化传播进行了综合考察。目前，学界对出版数字化、阅读数字化的研究较为充分，但是少有学者关注到数字出版和数字阅读的多模态问题。数字出版的多模态赋能可以建构出更加灵活多元的数字阅读环境，为用户提供更丰富的阅读体验；数字阅读调动的多种感官系统也将“阅读”从单一的视觉行为或听觉行为扩展为多种感官共同参与的过程。随着数字出版实践深度融合进程的加快，建构数字出版物的多模态理论，用其指导数字出版实践，并使数字出版实践得到进一步发展，具有迫切的现实需求和较高的学理意义。

三、数字出版的多模态实践与探索

从模态的角度来看，现有的数字出版物主要存在视觉模态、听觉模态、触觉模态和嗅觉模态四种模态。按照罗杰·菲德勒（Roger Fidler）媒介形态变化的观点，媒介的发展是共同演进的，而不是相继进化或者相互取代，依托媒介技术的数字出版模态也是如此。四种模态是一个相互叠加的过程，而不是一个取代的过程。从当下数字出版实践的发展历程来看，视觉模态、听觉模态、触觉模态和嗅觉模态依次叠加发展，形成了以视觉模态、听觉模态为主，触觉模态和嗅觉模态为辅的多模态数字出版形态，并朝着综合全感模态的数字出版形态发展。

（一）数字出版的基础视觉模态：文字和图像的数字化

如果将抄本书籍或者印刷书籍视为阅读行为的对象，那么书籍的出版和阅读便可追溯至公元前5世纪。抄本书籍作为重要的媒介载体，突破了口语传播的局限，使信息得以更为广泛和持久地传播；随着印刷技术的发展，文字和图像得以被快速地大量复制，印刷书籍进一步推动了知识的传播。马歇尔·麦克卢汉（Marshall McLuhan）认为，印刷书籍的历史大约只占西方书籍史的三分之一，但是，不管是抄本书籍还是印刷书籍，读者都是通过眼睛获取书籍的内容信息。对于传统出版物而言，无论是文字还是图像，无论是抄本书籍还是印刷书籍，首先要保证其在视觉维度是可见的。梅洛-庞蒂（Merleau Ponty）在通过绘画论述眼睛和身体的关系时也表明，“不知者求教于一个懂得一切的视觉”。梅洛-庞蒂重视视觉的观点也从侧面反映出“观看”对于信息获取、知觉感知和行为活动等的重要性。绘画作为出版物的一种内容类型和文字一样，都是以视觉的模态传递信息，脱离了视觉模态，人类好像就无法感知到传统出版物所带来的知识和信息。由于媒介技术的限制，在大多数情况下，传统出版物只能带给读者视觉模态的感知。

在数字出版的浪潮下，视觉模态作为一种基础的阅读模态首先实现了跨越式发展。原本的纸质出版物被电子化、数字化为电子出版物和数字出版物。从早先的电子书、电子阅读器，再到今天的移动阅读、融合出版客户端，视觉模态已经完成媒介形式的拓展，即将纸质书籍拓展为电脑、阅读器、手机等电子设备。除了媒介的变化，人们对视觉模态的感知体验也得到大幅度提升。由于纸质印刷物的机器、纸张、油墨等因素，书籍出版物的形式往往会受到一定限制，比如印刷不清晰、出现色差等问题，但是在数字出版物中，这些问题基本上都得到了解决。由于媒介技术的发展，电子屏幕清晰度、色彩度不断提升，相较于纸质出版物而言，数字出版物不仅便于携带、便于保存，还可提供更为清晰、多彩的阅读体验。并且，数字出版物的一大优势就是其文字和图像不仅是静态的，还可以进行动态化呈现。亚马逊公司就曾在2017年推出了Kindle in Motion（KiM）格式，在原本静态的电子书籍中加入动画、视频等动态的视觉效果。这样一来，数字出版物便大大丰富了读者的视觉体验。随着VR、MR、AR等技术的发展，数字出版已经开始打破虚拟和现实的界限，借助VR眼镜等设备，用户可进行全息式的数字阅读。范雨竹和周安平认为，借助可穿戴设备，阅读不仅是二维的“平面阅读”，还可以是三维的“立体阅读”。“立体阅读”是一种“沉浸传播”，可以使观众主动进行阅读探索。从二维到三维，调动的仍然是读者的视觉模态，但就阅读体验而言，数字出版提供了一种更为形象、真实、立体的视觉模态，这与传统出版物的视觉体验存在显著差异。

（二）数字出版的拓展听觉模态：有声书籍的听读

由于媒介技术的局限和人类获取信息的惯习等因素，书籍出版物在两千多年的历史中主要是以“可看”的视觉模态传播，直到进入电子时代，听觉才和书籍出版联系在了一起。在早期的广播中，就已经有了“读书”的节目，虽然这并不是今天意义上的数字出版物或者“有声书籍”，但是“阅读”从视觉模态向听觉模态拓展的趋势在那时就已初见端倪。随着录音带、CD等声音载录技术的发展，今天意义上的有声出版物应运而生。宋青认为，在改革开放之初，“广播长书”已经开始“中兴”，“在辑听书”“网络听书”都是广播长书融合发展的结果。在互联网时代，有声出版平台不仅提供了暂停、回放等功能，还具备无限的“货架空间”供用户选择和存储，相较于之前的录音带、CD而言，用户收听更加便利，有声出版物也因此得到飞速发展。

将文字的视觉阅读转换为可听声音的有聲出版物主要可分为两种：一种是作为视觉阅读的辅助模态，即在看书的过程中，可以同时听书，常用于辅助近视、远视等群体的阅读；另一种则是在一定程度上脱离视觉模态的有声出版物，常出现于驾驶、运动等视觉模态无法完全被数字出版物所调动的场景中。视觉模态和听觉模态的协作和转换为数字出版提供了极为丰富的功能和场景。《中国共产党简史（有声版）》《新中国口述史（1949—1978）（有声版）》《写给青少年的党史（有声书）》等有声读物入选了国家新闻出版署“2021年全国有声读物精品出版工程”。这些红色出版物以有声书为形式，对重大主题的宣传和教育进行了数字化出版创新，实现了思想、知识、艺术等方面的共赢。此外，还有一种有声出版物引入了听觉模态，但是其“有声”并非体现在对视觉阅读的模态转换上，而是以配乐的形式出现。这里的配乐与出版物内容无直接关系，但是可以起到营造阅读环境、配合情节发展等作用，这种配乐式的有声出版物在惊悚小说和儿童读物领域比较常见，听觉模态在此类数字出版物中也是一种辅助视觉模态叙事感知的方式。

早期的有声书发展依托录音带、CD等媒介，进入互联网时代后，有声书便开始借助网络平台的传播优势。在大数据、人工智能、物联网等媒介技术高速发展的当下，有声书开始向个性化设计、个性化推荐等方向发展。比如，用户可以通过自主操作，选择有声书的播送音色。很多有声书App都提供了多位著名播音员、演员、歌手的声音以供用户选择。这些音色具有较高的辨识度，相较于一般的有声书籍而言，用户的接受度和体验感都会更高。不过，仅凭人工播读，数字出版物的多模态处理效率难以保障。随着人工智能技术的发展，机器可以根据算法程序实现自动播读，这便解决了传统出版物在进行多模态处理时的效率问题。除此之外，用户还可自主调节有声书播送的语速、辅助阅读的音效等等。在数字出版多模态化发展的当下，有声出版物不仅实现了对传统出版物的模态扩展，其自身模态也在被不断地开发和细化，以便更好地服务于用户的数字阅读，提升用户数字阅读的多模态化体验。

（三）数字出版的互动触觉模态：交互技术下的参与反馈

如果以多模态的视角梳理数字出版的相关文献，现有的数字出版文献主要集中在视觉模态和听觉模态上，很少有学者关注视觉模态和听觉模态以外的模态。但是随着技术的发展，电子书、有声书也积极探索新的出版形态，其中最常见的就是将触觉模态的“交互”引入数字出版物。例如2020年由新华网推出，获得第31届中国新闻奖页（界）面设计项目一等奖的《大河奔流——黄河流域生态保护和高质量发展》就立足交互，结合3D动画框架、海量数据可视化、VR全景等技术讲述黄河文化和生态保护等方面的故事和知识，并通过视频互动和嵌入地图框架等方式与用户进行互动，全网累计访问3000余万次，获得了广泛好评。用户通过界面操作深度参与阅读，这便反映出交互作为数字出版的重要模态具有巨大的应用前景。

在数字阅读的视野下，“阅读”不仅是“可视”和“可听”的，还是在触觉上“可感”的。实际上，关于出版物的触觉应用并非新鲜事物，盲文书籍就是通过触觉传达信息的。由于盲文书籍的特殊性，触觉模态自然是信息传播的主要模态。广东大音音像出版社使用国际前沿的DAISY（Digital AccessibleInformation System）技术，即数字无障碍信息系统技术，推出了“盲人中小学生无障碍阅读工程”。通过数字转化，出版物的文字内容不仅可以以触觉模态被感知，还可同时以听觉模态被呈现。“盲人中小学生无障碍阅读工程”获得了国家新闻出版署评选的第五届中国出版政府奖，对无障碍阅读的数字化发展具有重要意义。

除了盲文书籍以外，触觉模态在传统出版物中并不是很受重视，因为出版物主要的信息并不通过触觉模态传达；在感观上，虽然装帧、纸张等也通过触觉模态传递着一定信息，但这一般很难给读者带来具有实际价值的信息。在数字出版时代，触觉模态则在数字出版物中衍化出丰富的功能和体验。从文本阅读的过程来说，数字出版物依托电子或数字阅读器，通过交互技术，向用户提供加入书签、跳转页面、添加笔记、标记内容等多项使用功能，用户只需要通过手指在屏幕上操作便可便捷地完成多种辅助阅读行为。由于媒介载体的不同，“阅读”从“翻阅式”拓展为以“点击式”为主，并和“翻阅式”共存。无论是用鼠标还是用手指，“点击式”阅读均需要调动用户的触觉模态，使用户进入数字出版物所建构的“超文本”（HyperText）之中。超文本，即以超链接的形式互相连接的文本。超链接文本具有复杂的网状结构，通过点击，用户可以实现实时的页面跳转、在线查询、文字翻译等功能，而这些在传统出版中是难以实现的。由此可见，用户触摸的感觉和反馈对于数字出版而言非常重要。从技术可供性的角度说，也正是触觉模态的存在，才使用户的想法得以在媒介上得到表达和反馈。触觉模态的引入赋予了用户极大的自主性，较之于传统书籍，参与性和操作性更强的数字出版物提供给用户更高的主体价值和使用体验。为了提升用户的使用体验，开发触觉模态便成为当下数字出版实践持续发力的目标之一。从高校数字出版人才培养来看，与交互编创素养培育相关的课程也已经成为当下数字出版人才培养体系的重要组成部分。以中国传媒大学为代表的高校，就在数字出版人才培养体系中加入了多门交互设计类课程，以满足业界对数字出版人才的技能要求。

当然，对于数字出版物触觉模态的探讨不能仅停留在操作层面的机械反馈，触觉模态强调互动，更强调如何通过互动调动用户的触觉感官，提升数字出版物的综合阅读体验。比如在进行点击、翻页、调整背光等操作时的振动反馈，就从触觉模态的维度强化了数字阅读的体验。从文本内部来说，数字出版物经常以振动反馈的形式唤起触觉模态，辅助数字阅读，建构数字化阅读语境，提升数字阅读的交互体验。在应用中体现为根据数字出版物的内容需要进行振动反馈，如遇到紧张的动作情节，可以通过一定频率的振动帮助用户进入阅读节奏和阅读环境。除了振动之外，技术还有望通过传感器实现压力、作用力、平衡、热量、寒冷/潮湿、电击、疼痛和瘙痒等触觉体验，这些不同的触觉模态可能在未来给用户带来交互性更强、体验感更为丰富的数字阅读体验。

（四）数字出版的前沿嗅觉模态：数字嗅觉信号与辅助阅读

报纸从诞生之日起，就带有一种油墨气味。随着印刷技术的提升，如今报纸、书籍很少再有浓重的油墨气味。但是，由于纸张、装订方式等原因，传统出版物还是经常出现独特的“书香”。不过，所谓的“书香”只是作为一种出版形态的标识，本身并不意图传递特殊的信息意义。2011年，《洛阳晚报》推出了国内首份“4D”报纸，尝试将气味作为传递信息的模态方式。“4D”报纸是在通过3D眼镜观看立体图像的基础上，增加了牡丹的花香气味。牡丹是洛阳市市花，在报纸中引入牡丹气味，对推广牡丹文化、推动牡丹产业发展来说是一个巨大的创新尝试，这也是对出版物多模态化的创新。“4D”报纸一经发售便销售一空，一时间“洛阳纸贵”，这说明嗅觉模态在出版物中具有一定的应用价值。也有相关人士倡议，《钱江晚报》可以打造特定的气味版面体现标志性的杭州味道。这些均是传统出版物期望将嗅觉模态引入出版物，并通过气味传播特定信息的创新尝试。

随着DSP（Digital Signal Processor）等技术的发展，数字嗅觉开始进入研究视野。数字嗅觉的原理是将气味信号转换成数字信号，再将数字信号转换为气味信号。这一看似难以实现的过程在理论上可通过仿生学方法、数字化方法等实现。数字化后的气味可通过电子路径远距离传输到接收端，在接收端再被还原成气味信号。也有学者提出，可通过电子、热感、磁力等数字方式对嗅觉进行刺激，以实现嗅觉模态的感觉交互。但是在技术实践中，现阶段数字气味识别、存贮、再现等仍存在一定的技术难题。

有学者尝试开发融合了嗅觉、味觉、触觉等的多模态讲故事系统。从用户测试反馈的结果来说，多种模态的运用有效提升了通过数字讲故事的吸引力，并且能有效增强学习动机，改善学习状态。从理论上说，多种模态协同，不仅可以有效提升数字出版物的意义传达效果，也有助于提升用户数字阅读的感官体验。Aryballe、OW Smell Digital等公司早已开始探索数字嗅觉在元宇宙领域的应用；在一些日用产品、家用电器、医疗用品、彩妆香水中，数字嗅觉甚至数字味觉已经得到初步应用，但由于现阶段的技术并不是非常成熟，加之研发成本高、使用价格昂贵、支持相关功能的终端设备普及率较低等原因，所以数字嗅觉尚未被广泛地应用于数字出版。但随着媒介技术的不断发展和用户阅读体验的不断提升，数字嗅觉在未来很可能会像今日的触觉模态一样，作为一种提升阅读体验的扩展模态，流行于某些种类的数字出版物中；随着传感器技术的发展，数字味觉甚至也有望出现在特定种类的数字出版物中。

（五）数字出版的综合全感模态：VR/AR/MR与场景阅读

VR（虚拟现实）、AR（增强现实）、MR（混合现实）等技术尝试打造融合视觉、听觉、触觉等模态的文化消费新场景。VR、AR、MR等技术不仅融合了多种感官的感知模态，其还建构了一种跨越虚拟和现实的感知模态。万安伦、王剑飞认为，VR、AR、MR等技术将冲破现实的阻碍，并重新建构阅读场景。在新技术建构的虚拟阅读场景中，用户得以打破传统阅读的时间空间限制，拥有更高的自主性；用户阅读的姿势不仅可以是“坐”或“站”，还可以是“运动”的。 VR、AR、MR等技术在数字出版中的初步应用，提供给用户一系列数字阅读和文化消费的新场景。

随着虚拟现实技术的发展，近年来已有一批出版社开始尝试将VR、AR、MR等技术应用于少儿图书的出版，推出了《恐龙大世界（AR版）》《VR恐龙世界》《天工开物——给孩子的中国古代科技百科全书VR礼盒》等具有虚拟性和互动性的出版物，为儿童用户提供集学习和游戏为一体的沉浸式、参与式阅读。VR、AR、MR等技术建构的文化消费和数字阅读场景具有极高的参与性和趣味性，这对少儿出版物的未来发展具有重要意义。2022年2月9日，国内第一家“元宇宙”虚拟杂志《MO Magazine》上线。《MO Magazine》创刊号主题为“曼塔沃斯”，音译自“Metaverse”，并由真实演员井柏然和虚拟人AYAYI共同为创刊号拍摄封面。《MO Magazine》力图通过VR的虚拟现实模态，呈现艺术、技术、商业的创新和趋势，探索VR、AR、MR等技术为重构现实阅读场景并建构新的虚拟阅读场景所带来的无限可能。

四、多模态对数字出版实践的重构

以视觉模态（如电子书）、听觉模态（如有声书）呈现的数字出版物可仅凭借单一一种模态传递信息意义，一部分以触觉模态（如盲文书）呈现的数字出版物亦然，但是大部分触觉模态和全部的嗅觉模态在数字出版物上的呈现，一般都是叠加在视觉模态和听觉模态的基础上。视觉模态和听觉模态虽然可以凭借单一模态呈现数字出版的内容，但是二者仍积极尝试融入更多的模态以满足用户的体验需求。随着媒介技术的发展，各种新媒介层出不穷，这些新媒介均尝试对模态进行扩展，比如广播媒介在听觉模态的基础上引入视觉模态，VR媒介在视觉模态、听觉模态、触觉模态的基础上开发嗅觉模态，等等。但是，从动因来看，数字出版多模态化的发展趋势不仅是由于媒介技术的外在推进，还有着内容创新、感官体验等多方面的内在驱动。多模态化的数字出版物生产和加工方式对用户个人的信息接收过程产生了前所未有的影响，也对数字出版实践的整体结构进行了重构。与多模态相关的数字出版技术实践、数字出版流程体系、数字出版消费方式等均因模态的融合扩展而发生了重大改变，数字出版实践整体也因此呈现出与传统出版实践存在显著差异的结构和特点。

就目前數字出版实践的发展状况和相关技术的成熟程度来说，当下的数字出版物基本上仍是以视觉模态、听觉模态为主要、基础的阅读模态，以触觉甚至嗅觉模态为辅助的阅读模态。但是，数字出版已呈现出向综合全感模态的出版形态发展的趋势。多模态为数字出版实践带来了新业态，也带来了新挑战。当下，数字出版的多模态化发展仍存在很多技术难题，但是数字出版多模态化已经成为当下数字出版融合发展的必然趋势。随着媒介技术的不断发展和用户阅读体验的不断提升，数字出版实践必然要在早期多媒体化的基础上融合升级，走向多模态化发展。因此，发展多模态相关理论和技术在数字出版实践中的应用，是我国数字出版产业积极地应对数字时代的媒介技术挑战、更好地满足当下用户信息需求的重要举措，这也有助于推动我国更快地迈向出版强国行列，使数字出版产业更好地服务于国家数字经济发展。

（作者吴炜华系中国传媒大学新闻传播学部教授、博士生导师；张海超系中国传媒大学新闻传播学部2020 级博士研究生）