论沉浸式出版*

■ 吴钊 赵伦

沉浸式出版是数字出版模式的再升级,我们可以称之为“后数字出版”或者“数字出版2.0”模式。具体来说,沉浸式出版是指以数字化技术为基础,同时在虚拟现实(VR)、增强现实(AR)、人工智能(AI)、语音、体感等新兴技术的支撑下,通过视觉、听觉、触觉等多感官系统的交互设计,让用户快速产生生理和心理上的沉浸感,从而获得审美体验、情感体验、认知体验、价值体验的出版新模式。以沉浸式出版引导“沉浸式”阅读,将是未来克服浏览性阅读危机的重要思路。

一、“沉浸”的发生与内涵演变

“沉浸”一词在中文里并不陌生,多指全身心投入某项活动,并达到某种忘我境界或思想层面。《论语·述而》中记载:“子在齐闻《韶》,三月不知肉味,曰:‘不图为乐之至于斯也。’”后朱熹在《四书章句集注》中进一步阐释为“盖心于一是,而不及乎他也。”在现代语汇中,孔子这种对齐国《韶》乐的痴迷状态,就是沉浸。

在阅读活动中,沉浸是大多数人为之追求的理想状态。从文本媒介的发展来看,人类经历了语音“文本”、纸质文本、电子文本、数字“超文本”①四个时期:语音“文本”时期,阅读依靠口传式“听-读”完成；纸质文本时期又可细分为手抄纸质文本和印刷纸质文本两个时期,手抄时期大致是在文字出现之后、印刷术出现之前,这个时期开始转向视觉阅读,但“听-读”仍为主要的阅读方式。随着印刷术的出现,人类进入印刷文本阅读时代,此时以视觉为主的阅读范式占绝对主导地位；电子文本时期,视觉为主的阅读范式没有改变,但是因为文本形态及存储、获取路径的改变,相较于印刷文本时代,其阅读效率和效果发生了“分野式”改变；数字“超文本”时期,文本形态发生颠覆性的变化,原来以视觉为主的阅读范式转向集视觉、听觉于一体的综合化阅读。

那么沉浸的发生逻辑是什么？这种状态在文本阅读中是否普遍存在？南京大学周宪教授认为,“沉浸式”是印刷文本时代所特有的阅读状态。②在他看来,阅读应该是“一个人与文本交流的孤独情境”。本雅明也曾在《说故事的人》中指出,说故事的人常常需要听故事的人来陪伴,而读印刷本小说的人却是与世隔绝的。③以听觉式阅读为主的语音“文本”和手抄文本时期,由于“他者”的参与,阅读变成了一种“公众行为”,因此沉浸难以发生。而电子文本和数字“超文本”时期制造的海量、多媒介、超时空限制的文本“狂欢”,也让沉浸成为一种奢求。只有在印刷文本时期,阅读从“公众化”转向“私人化”,人们才得以在与文本独处的情境和静谧的自我想象空间中产生内化的认知和深度的思考。

然而,印刷文本时代的沉浸式阅读已成过去。在数字化阅读时代,我们该如何实现沉浸式阅读？近年来,沉浸式出版开始崭露头角,其中以童书出版领域最为突出。以中国科学技术大学周荣庭教授打造的AR有声读物《消失的世界》为例:该读本以法国儿童科普作家亨利·德斯梅(Henry Desmet)的作品《消失的大陆》为蓝本,采用计算机3D建模方法还原古生物外形,将语音、音乐、音效、动态视频和虚拟模型嵌入绘本,让古生物活起来,大大激发了孩子的学习兴趣。④

在印刷文本阅读时代的孤独式沉浸中,人们面对的是静止的符号,因此对文本的体验是想象式的,对文本的接受是自主的,对文本的思考是理性的；而在“数字出版2.0”阅读时代的狂欢式沉浸中,人们身处的是“真实”的情境,因此对文本的体验是具身式的,对文本的接受是无意识的,对文本的思考是感性的。所以说,置身于当代语境中,沉浸又有了新的内涵。

二、“以人为中心”的沉浸式设计

沉浸的实现,关键在于能否通过场景化操作为用户制造参与感,归根结底在于能否将“以人为中心”的核心理念贯穿其中。理解“以人为中心”,要从两个层面进行,一个是“作为体验者的人”,还有一个容易被忽略的层面,即“作为媒介的人”。

无论是在以单向、大众传播为特征的“第一媒介时代”,还是在以双向、互动传播为特征的“第二媒介时代”,⑤人与媒介的关系都逃离不了麦克卢汉“媒介即人的延伸”的理论框制,人就是人,是受众,是信息的被输入对象。然而,在以沉浸为主导的传播语境中,不仅现实社会、周遭环境变成了媒介,人本身也变成了媒介,人走入传播的核心舞台,主导传播的发生,改变过去对媒介的依赖。而作为媒介本体的人,既是被动的信息接受者,也是主动的信息发送者,还是被动的信息发送者,总之,沉浸传播的中心不再是信息,而是人。⑥

因此沉浸式设计的宗旨是创造沉浸体验,讨论“以人为中心”的设计理念最终还是要回归到“作为体验者的人”上。1975年,美国芝加哥大学心理学教授米哈里·契克森米哈(Mihalyi Crikszentmihalyi)曾对包括专业棋手、户外运动爱好者、作曲家等在内的数十种特殊职业者进行过访谈,当被问到“为什么能持续地、专注地、不厌倦地从事各自领域的活动”时,他们一致认为:专注能让自己获得一种令人兴奋的情绪体验,特别是当他们从事的活动非常顺利地开展时,这种情绪体验会像水流一样,毫不费力、源源不断地出现。米哈里称这种情绪体验为“心流体验”(flow experience)或“沉浸体验”。⑦

1996年,澳大利亚心理学家苏珊·杰克逊(Susan Jackson)在米哈里的研究基础上从九个维度对沉浸体验的内涵进行了阐释,分别为:清晰的目标、明确的反馈、挑战-技能平衡、专注任务、潜在的控制感、行动-意识融合、自觉体验、时间扭曲感和失去自我意识。⑧杰克逊提出的九个维度实际上是对沉浸体验发生的条件、过程以及结果的解构。

首先,米哈里认为,沉浸不仅仅是全情投入而享受到的一种精神体验,更是一种目标驱动下的投入与付出,是人们在完成任务、实现目标时获得的积极的、极致的精神体验。⑨所以人们所沉浸的那个行为,必须是朝着某个目标前进的,而不仅仅是娱乐和消遣时间。

其次是对任务的专注。如图所示,体验者处于不同的技能与挑战状态时,通常会表现出三种基本情绪——焦虑、无聊和沉浸。即当个人能力超出挑战时,通常会产生无聊感,以致懈怠任务；当挑战超出个人能力时,通常会产生焦虑感,甚至放弃任务；只有当个人能力与挑战达到平衡时,人们才会产生较强的专注力,任务才能继续进行。

再者是对过程的反馈。尽管前文认为用户在沉浸中对文本的接受是被动的、无意识的,这并不代表体验者在整个过程中就完全失去自我,反而,如果缺乏潜在的控制感,体验者就会游离于行动之外。当然,如果控制感过强,体验者的参与感也会大打折扣。只有当行动与意识融为一体时,体验者才会对执行中的任务作出明确的反馈,从而产生心流,进入自觉沉浸状态。

其实,不论是讨论“作为媒介的人”还是“作为体验者的人”,都有一个共同的逻辑出发点,就是交互性。正因为有了交互性,人的媒介作用才得到彰显,体验需求也得以满足。因此,在沉浸式设计中,我们应该着重从内容与形式、规则与任务等方面考虑交互实现的可能。

三、多感官叙事与交互实现:以“小熊尼奥”系列产品为例

从“想象式”到“具身式”,从“心理沉浸”到“身心沉浸”,沉浸式阅读在印刷文本和数字出版两个时代的含义有云泥之别。具身式,即人真实地投入到虚拟世界中,通过多感官上的冲击和碰撞,产生近乎于真实世界感受的方式。也就是说,数字时代谈沉浸,首先要谈“身体在场”、以何种方式在场、以何种程度在场,只有“身体在场”了,才有条件谈“心理在场”。

人有五感,视觉、听觉、触觉、嗅觉、味觉,其中视觉、听觉和触觉是人与机器交流的主要界面,是人产生沉浸感的主要通道。目前,大多数沉浸式出版物也都从视觉、听觉和触觉三大系统进行叙事建构,我们以“小熊尼奥”系列产品为例来讨论一二。“小熊尼奥”创立于2012年,系央数文化(上海)股份有限公司旗下主力品牌,专注于2-10岁学龄前和学龄期儿童的互动智能产品开发与销售,目前主要有“口袋动物园”“口袋动物园2”“口袋交通”“神笔立体画”“AR地球仪”“神奇AR识字卡片”等系列产品,其中“口袋动物园”仅2015年第一季度销量就达到150万套,销售额过亿。⑩

1.视觉叙事

视觉是人体感知外界事物、获取外界信息的第一来源。人的视觉器官——眼睛通过光的作用,感知有关物象的空间、大小、色彩、形状和动态,组合成有用信息传至脑部进行分析,并做出思想或行动上的反应。沉浸式出版在视觉效果的营造上有多种方式。

譬如,创造虚实相生的故事情境。虚实相生是中国古典诗词常用的结构之法,“实”是指客观世界中存在的实象、实物、实境,“虚”则指由实境诱发和开拓的审美想象空间。在沉浸式出版中,“虚”还有另一层含义,就是通过现代技术实现的想象空间的“实象化、实物化、实境化”。“小熊尼奥”系列产品利用增强现实技术将平面图像瞬间转换成三维动画,屏幕中的图像可以随卡片作横向360°旋转和直立320°翻转,从而展现出丰富的动画效果,用户也可以实现全方位的观察和学习。通过增强现实及三维实时渲染等技术将原本虚拟的物象“实物化”并融入实景空间,营造了虚虚实实的故事情境,可以快速使用户进入沉浸状态。

2.听觉叙事

人体感知外界事物、获取外界信息的第二来源是听觉。事实上,声音往往更容易使听者产生想象的空间,这得益于它的两大特点:一是穿透性。听者在远距离、不明方位的情况下都可以接受信息。《红楼梦》中用“未见其人,先闻其声”来描写林黛玉进贾府时首次见到王熙凤的情景,充分地体现了声音穿透力对人体感知的影响。二是戏剧性。文字是“冰冷”的,而声音是有“温度”的,声音情绪的改变会直接影响听者对事物的感知。所以在文化艺术创作中,借助声音来叙述情节、塑造形象、勾画场景、营造意境,可以达到事半功倍的效果。

正因为如此,以音效增强代入感的手法在沉浸式出版中得到了广泛运用。以“口袋动物园”为例,被“召唤”出来的动物除了会跑会跳还会叫,发出的声音大都采集于动物原声,营造的打雷、闪电、刮风、下雪等环境音效也十分逼真,动物在不同的环境中还会通过声音表现出不同的情绪。“口袋交通”中小汽车、火车、警车、救护车等不同车种的鸣笛声,赛车炫技产生的“飘移”声,直升飞机起飞时旋翼发出的声音……在虚拟场景中,这些音效可以增强环境的仿真性,辅助视觉系统加深对外界信息的感知和记忆,加速沉浸感的产生。

3.类触觉叙事

在一般出版物的设计中,触觉是人们很少探索和研究的感官系统。杭云、苏宝华认为人体在交互中获得的触觉信息是两种信息的混合,首先是通过皮肤与物体接触而感受到的信息,比如物体的纹理、质感；然后通过相互“运动”产生力的作用,从而产生更进一步的感受,比如物体的软硬、形状。两种物理信息经过大脑的加工和转化,就形成人们对物体的触觉感知。然而,在虚拟现实环境中,我们很难感受到虚拟物体的物理属性,更难与虚拟物体发生力的关系。

为了延展产品的叙事维度,市场上有一些新的尝试。2017年戛纳电影节上展映了一部六分半钟的影片——《肉与沙》(Carne y Arena),这部影片不仅采用了VR技术,还以围墙、沙石、铁锈、破鞋等实体装置营造了真实的观影环境,帮助观众通过与实体装置的接触产生身临其境之感,这种“装置化”模式就是一种典型的触觉叙事方式。

“小熊尼奥”系列产品中也有一些近似于触觉感知的设计,比如“口袋动物园”里,用户可以将动物放在手心,可以随意放大缩小或移动它们。然而,尽管用户对虚拟物体实现了操控,但是他实际感受到的却仅仅只有点击屏幕时产生的机器震动感,而非与虚拟物体之间真实的触觉感知,因此,从严格意义上讲,这种感知不是触觉感知,姑且称之为“类触觉”感知。

4.交互实现

无论是视觉叙事、听觉叙事还是触觉叙事,都是为了在虚拟世界里营造一种逼近真实的感受,从而促进人与虚拟世界的交互,增强人在虚拟世界里的沉浸感。如果未来真像尼古拉·尼葛洛庞帝(Nicholas Negroponte)所预言的,“虚拟现实能使人造事物像真实事物一样逼真,甚至比真实事物还要逼真”,那么人在真实世界和虚拟世界里的自由切换,也会使沉浸成为一种常态。

“小熊尼奥”致力于互动智能产品开发,其产品也在不断升级。相较于“口袋动物园”,“口袋动物园2”增加了七项功能,其中就有五项与交互实现有关。其一是场景切换,针对不同的动物生成它们所生活的环境,帮助体验者深入了解动物栖息环境；其二是天气控制,根据喜好选择多种气候,体验呼风唤雨的快感；其三是语音声控,说出动物名字即可召唤出想要的动物,动物们可接收走、跳、跑等七十多种指令,一呼百应；其四是道具组合,生成对应道具并与动物进行互动,比如用杀虫剂杀害虫、给老虎喂食、给海狮玩球等；其五还增加了宠物模式,体验者可以饲养虚拟小动物,并随时与它们互动。“口袋动物园2”的多种交互设计,打破了传统识字卡片枯燥乏味的学习过程,提高了用户学习的专注度,让早教学习效率大幅提升。

沉浸式出版物集合了视觉、听觉、触觉等多种感知元素,并通过交互设计模糊了现实世界与虚拟世界的边界,“让体验者像感知真实一样感知虚拟、像与真实世界互动一样与虚拟世界互动”,从而实现从“生理”到“心理”的完全沉浸。

四、面向现实的技术哲思

作为一种新型出版模式,它的出现让人耳目一新,但同时也暴露了诸多问题,尤其是在技术面前,我们不得不做出反思和回应。

1.装置佩戴的繁琐与轻松阅读的需求相悖

德国学者汉斯·萨克塞曾在其著作《技术与责任》中指出,“技术可理解为人的自然器官的完善,它使人们能够更好地去听、去看、动手去做。”诚然,人的五感感知能力是有限的,唯有通过技术来帮助人体获得正常感知范围之外的信息。

自2013年来,以VR眼镜、VR耳机、头盔显示器、数据手套、力反馈器等为代表的技术装置层出不穷,极大地满足了人们的新鲜感和好奇心,然而。在调查中我们发现,在日常阅读体验中,大部分人对这种“装置式”阅读方式并不适应。佩戴装置时,体验者的身体会产生紧张感、束缚感甚至眩晕感,而阅读本身是一种放松的、享受型的活动,这两者是相违背的。这种体验带来的沉浸感往往也是短暂的,因为这种状态通常会因为装置佩戴调整等情况而中断。未来技术创新的方向应该聚焦在如何使装置设计充分适应人体学构造上,要最大程度地减少装置佩戴给人带来的不舒适感。

2.技术的有限表达对想象力的扼杀

印刷文本意义的表达主要依靠文字和图片,沉浸式出版却可以利用技术建构一个丰富、立体的虚拟世界。正如恩格斯所说,“科学是一种在历史上起推动作用的、革命的力量”,科学技术的发展必然会引起生产方式的变革。然而我们不能忽略,技术对虚拟世界的营造是机械化、单一化、标准化的,它的丰富是有限的丰富,立体是有限的立体,所以它给读者带去的想象空间也是有限的。在技术建构的阅读世界里,“一千个读者心中可能就只有一个哈姆雷特”。因此本雅明(Walter Benjamin)就在《机械复制时代的艺术》中指出,机械复制技术制造了“世物皆同的感觉”,消解了古典艺术的距离感和唯一性。

我们很难想象VR或AR技术该如何呈现《红楼梦》中宝玉初见黛玉时的风姿绰约。正如海德格尔所说,“技术是对意义的遮蔽”,技术也是对读者想象力的扼杀。

3.技术“狂欢”下的文化沉沦

沉浸式出版带来的最大危机可能是对技术的过分崇拜而导致的对文化价值的忽略。美国社会理论家赫伯特·马尔库塞(Herbert Marcuse)曾尖锐地指出,“现代科技只关心那些可以衡量的东西以及它在技术上的应用,而不再去问这些事物的人文意义,只问如何运用技术手段去工作,而不关心技术本身的目的,从而产生出被扭曲的科学……”所以谈沉浸,一定是两个维度,一个是表面维度的技术沉浸,一个是内在维度的文化沉浸,更重要的是内在维度。

马克思·韦伯比喻,科技技术就像一张地图,它可以告诉你到某一个地方怎么走,但是它不能告诉你往什么地方去。因此,沉浸式出版一定要警惕技术“狂欢”下的文化沉沦,这也是我们为什么提“沉浸式出版”概念而非“VR出版”概念的原因。

注释:

① “超文本”是20世纪60年代美国技术先锋德特·纳尔逊(Ted Nelson)创造的术语,指用超链接的方法,将各种不同空间的文字信息组织在一起的网状文本。其特点是链接、分叉选择和非顺序性。

② 周宪:《从“沉浸式”到“浏览式”阅读的转向》,《中国社会科学》,2016年第11期。

③ [德]本雅明:《说故事的人》,《本雅明文选》,陈永国、马海良译,中国社会科学出版社1999年版,第321页。

④ 童云:《沉浸的故事:增强现实技术有声书的内容创新》,《中国广播》,2018年第4期。

⑤ 李沁、熊澄宇:《沉浸传播与“第三媒介时代”》,《新闻与传播研究》,2013年第2期。

⑥ 李沁:《沉浸传播的形态特征研究》,《现代传播(中国传媒大学学报)》,2013年第2期。

⑦ Csikszentmihalyi M.BeyondBoredomandAnxiety:ExperiencingFlowinWorkandPlay,Mentoring & Tutoring Partnership in Learning.1975,18(4):449-453.

⑧ Jackson S A,Marsh H.DevelopmentandValidationofaScaletoMeasureOptimalExperience:theFlowStateScale,Journal of Sport & Exercise Psychology.1996,18(1):17-35.

⑨ Csikszentmihalyi M.BeyondBoredomandAnxiety:ExperiencingFlowinWorkandPlay,Mentoring & Tutoring Partnership in Learning.1975,18(4):449-453.

⑩ 刘一鸣、胡伯俊:《基于增强现实技术的儿童出版物利润源研究》,《出版发行研究》,2017年第5期。