增强现实技术在出版中的应用研究

2017-11-01王慧

出版与印刷 2017年3期

王慧

增强现实技术在出版中的应用研究

王慧

文章首先定义了增强现实（AR）技术的概念和特征，并将其与虚拟现实（VR）技术予以区分。接着对增强现实技术的发展历程进行回顾。重点对增强现实出版物的基本范式及应用模式进行案例分析，特别关注增强现实出版物的创新价值。最后，基于分析结论，对我国增强现实技术在出版中应用的现状、存在的问题及未来发展趋势进行总结。

增强现实技术; AR; 图书出版; 多媒体

一、引言

出版活动的诞生和变迁离不开技术的进步和发展，技术推动着出版业一路走来，从文字的产生，到造纸术和印刷术的发明，再到数字化技术的运用，技术的变革和进步为古老而传统的阅读行为不断注入新的活力。

数字化阅读日益受到读者的欢迎，特别是年轻读者的青睐，移动阅读、社交阅读也在改变着人们的阅读习惯。与传统的纸质出版物相比，这些新型阅读模式，具有存储量大、形式丰富、检索便捷、成本低廉、时效性强、具有互动性等优势，传统的纸质出版物似乎很难和新型的数字媒体一争高下。甚至有人断言：传统出版终将消失。

尽管如此，数字出版为传统出版行业带来的，不仅是冲击，也是改革的契机和融合的创新点。增强现实技术是一项以交互技术、传感技术、三维技术、计算机视觉等多种技术为基础，能够将真实景象与虚拟景象结合，形成叠加和补充的技术手段[1]1。

增强现实技术能够有效地与纸质出版物形成内容上和形式上的互补，扩大图书容量、增强图书表现手段，并与读者形成互动，建立起视听联动的新型阅读体验。

二、增强现实技术的概念及特征

“增强现实”的英文是“Augmented Reality”，简称“AR”。增强现实技术是当前国内外学术机构与商业机构争相积极研发的重点领域。“增强现实”概念归纳者众多，虽本质类似，却还未形成权威定义[1]9，[2]38。综合多种定义，增强现实可归纳为：将电脑制作出的虚拟数字信息，与用户所处环境相叠加，从而使虚拟信息与真实环境集成的一种技术手段。这种技术手段，可以使用户获得基于现实，却又超越现实的体验[1]10。

在我们讨论“增强现实”概念以及“增强现实”技术的具体应用时，先要将它与“虚拟现实”（Virtual Reality ，简称VR）概念加以比对。1994年，多伦多大学学者米尔格朗（Milgram）在研究现实和虚拟的关系时，建立了“现实—虚拟的连续介质理论模型”。该模型将真实环境（现实）与虚拟环境（虚拟）分别放置在横轴的两端，自左向右现实世界所占份额不断减少，虚拟世界所占份额则逐渐递增。在这里，世界并不黑白分明，仅仅划分为“现实”与“虚拟”，而是现实与虚拟以不同比例调和，形成混合现实[1]9，[3]。

图1“现实—虚拟的连续介质理论模型”示意图

因此，增强现实和虚拟现实之间没有本质区别，我们可以将增强现实也看作是一种虚拟现实。根据“沉浸感”和“交互感”程度的差异，有学者将虚拟现实（VR）分为四类：桌面式VR，将显示器作为用户体验虚拟世界的窗口；沉浸式VR，用硬件设备将用户与现实世界隔离，完全体验虚拟世界；增强式VR，将虚拟世界与现实世界叠加；分布式VR，可联网的、可互动共享的虚拟环境。其中，沉浸式VR即为虚拟现实（VR），而增强式VR即为增强现实（AR）[4]。

三、增强现实技术的发展应用

1. 增强现实技术的发展

1966年，哈佛大学伊万•萨瑟兰（Ivan Sutherland）发明的光学投射式头盔显示器（STHMD）是增强现实设备的鼻祖，该设备使虚实结合成为可能。20世纪后半叶，增强现实技术主要被应用在军事、航天、医疗领域等，作为专业技术人员技能培养、应对突发状况的训练手段。受限于当时计算机和其他硬件设备发展水平，这一技术与普通用户距离甚远。经过几十年的发展，增强现实技术已经融入日常生活，广泛应用于商业、娱乐、教育、医疗、工业等诸多行业[5]48。

2008年，是增强现实技术普及的开端。这一年，第一款谷歌安卓（Android）手机G1诞生，Wikitude公司在该款手机平台上开发了一款具有增强现实功能的手机导航软件Wikitude AR Travel Guide，将增强现实技术应用体验带给用户[6]。利用手机搭载增强现实技术，是增强现实技术发展的一次飞跃。伴随着智能手机保有量的快速增长，增强现实技术的使用成本降低、便捷性提高。

2010年前后，增强现实技术出现在了众多行业报告和资本报告中，增强现实技术的发展出现爆发势头[7]16。这一时间点与移动终端的普及、CPU性能的提高、摄像头等搭载装备的快速升级有关。而另一个重要因素就是网络高速化，提供了实现增强现实所必需的大容量存储和快捷的传输速度。2016年，游戏“口袋妖怪GO”风靡全球。这是一款利用增强现实技术的手机游戏，只要打开手机摄像头，就能在手机屏幕中看到出没在周围环境中的妖怪。这款设计简单的增强现实游戏一时间让任天堂公司的股价大涨，也让全世界认识到增强现实技术良好的融合度和极大的潜力[8]。

2. 增强现实技术在出版中的应用

2008年，增强现实技术与出版业开始融合。泰国Larngear Technology公司出版了一本介绍地球构造和地质现象的图书《地球构造（Earth Structure）》。该书采用了MR Studio工具进行开发。用电脑摄像头扫描书上的标识图案，就会在显示器中看到地壳、地幔等地球结构的3D图像[9]25。

2010年法兰克福图书博览会上，一本将前沿的增强现实技术与历史悠久的纸雕艺术相融合的增强现实立体书《中国弹起》引发关注。这本书由触角科技与中华商务联合印刷有限公司合作开发。翻开这本书，除了会看到立体结构精巧的中国建筑，若将电脑摄像头对准纸雕上的标示图案，显示器上便会出现诸如绚丽烟火和飞驰的马车等影像[9]25。古老的工艺与前沿科技在同一本出版物上有机组合。

2014年，是增强现实技术在我国出版领域进入广泛应用的一年。多家出版社积极将增强现实技术引入旗下的出版物，特别是在童书的制作中。当年依次出现了包括《西游记的故事》（外语教学与研究出版社）、《香蕉火箭科学图画书》（接力出版社）、《4D绘本》（华东师范大学出版社）等多部出版物。出版业与增强现实技术的商业合作大幕正式拉开。

四、增强现实出版物基本范式

增强现实出版物在传统纸质图书的基础上，叠加了虚拟数字对象（图像、音频、视频、三维动画、三维模型），使用者可以借助移动终端与之实现互动。

鉴于现阶段使用增强现实技术的配套硬件多为移动终端，增强现实出版物的基本范式可归纳如下：在移动终端上下载配套应用程序（APP）后，使用移动终端摄像头扫描书中印刷的“交互式”图片，启动每个图片所关联的图像、音频、视频、三维动画、三维模型等数字对象，上述数字对象会与摄像头中拍摄到的真实环境相叠加，也即两者同时存在于屏幕中。若扫描启动了所关联的音频资源，则会启动音频播放。在部分增强现实设备中，使用者还可以通过操纵移动终端对图像进行缩放、旋转等操作，从而与图像互动 [2]38，[5]49。

五、增强现实技术的应用模式研究

早期的增强现实技术，需要借助电脑摄像头和屏幕实现识别和演示功能。随着移动终端的发展和普及，平板电脑、手机以其操作简便、便携，成为当前增强现实技术应用的首选硬件。而面向儿童读者的专属增强现实阅读设备，也以其外观贴近儿童偏好、结实耐用获得部分出版商的青睐。更有不少游戏开发厂商，借助旗下的游戏机作为增强现实技术的操作平台，与出版商实现跨界合作。

1. 基于移动终端的增强现实出版物

这一类图书是目前主流的增强现实出版物形式。以手机、平板电脑等移动终端，作为增强现实技术应用的工具。使用时，用户需先将与图书相应的应用软件（APP）下载到移动终端上，然后将移动终端的摄像头对准书中印刷的“交互式”图片进行扫描，由此进入所对应的数据中心。每幅图片所关联的图像、音频、视频、三维动画、三维模型等多媒体资源会与摄像头中拍摄到的真实环境相叠加。部分增强现实还允许使用者与看到的虚拟对象进行互动，比如通过操纵移动终端对图像进行缩放、旋转等[1]12，[5]49。

（1）与环境嵌合度高，互动性强的增强现实出版物

这类图书使用移动终端扫描“交互式”图片后，会在屏幕上出现悬浮的三维模型或三维动画。这些三维图像与真实环境融合度好，使用者通过操纵屏幕，可以对虚拟的三维图像进行翻转、拉伸等操作。

例如2016年由中信出版集团出版的《科学跑出来》丛书，即属于此种模式。该系列图书由英国卡尔顿公司（Carlton Books）出版，曾获得2013年英国图书设计与制作奖等多项图书奖项。读者在下载APP后，扫描书中画面，能通过移动终端屏幕看到诸如太阳系在手心转动的景象。通过操作手机，除了可以拍摄诸如恐龙站在家中等超现实照片，还可以通过手指的拉伸、拖划，使恐龙放大缩小，或是旋转展示角度。

由科学出版社与梦想人软件科技有限公司合作打造的“爱医课”APP也是如此。用户在下载APP后，利用移动终端摄像头扫描教材上的相应插图，屏幕上就会出现对应的3D医学图像。例如将摄像头对准平面骨骼及解剖图片进行扫描，就能在移动终端屏幕中，看到平面图片转化为3D虚拟立体模型。如果移动终端摄像头位置发生改变，模型也会跟随使用者的视角进行调整和切换[10]20。增强现实技术实现了将在二维空间中难以展示的复杂医学模型置入三维空间展示的目标，使插图变为模拟的真实场景，原先抽象的概念成为可通过直观经验积累的实际知识。2015年，“爱医课”平台上线，配合该平台使用的增强现实教材《人体解剖学与组织胚胎学(第二版)》由科学出版社出版发行[11]19。

（2）与环境嵌合度低，有效丰富图书内容的增强现实出版物

这类图书在使用移动终端扫描“交互性”图片后，出现的不是三维图像，而是图像、音频、视频等，或是链接到其他网站。这类增强现实效果与环境融合度较低，却有效拓展了传统纸质出版物的物理限制，能够为读者提供丰富的视听阅读体验，具有时效性强、可选资源丰富的特点。少年儿童出版社旗下的科学期刊《十万个为什么》中使用了这项技术。读者在阅读杂志时，可以扫描杂志中的特定图案，启动与内容有关的音频、视频等。不仅大大提高了传统杂志有限的承载能力，也有效触发了读者的多层次阅读。

2. 基于儿童专属阅读设备的增强现实出版物

除了借助手机或平板电脑这类移动终端阅读的增强现实出版物，还有研发厂商将重心放在了硬件的开发上。由央数文化打造的“小熊尼奥”品牌，就为儿童开发了专属阅读设备“MAGNEO照照乐”。这是一款用于阅读增强现实出版物的手持阅读器。它形似放大镜，采用圆形液晶屏幕和高清摄像头。考虑到使用者为儿童，采取了方便抓握的手柄和不易被手指遮挡的摄像头位置。专属阅读器使儿童不必再借用家长的手机就能观看增强现实出版物，操作方式也比使用手机更为简便，且作为一项道具，可以增强儿童的探究欲望[5]48。

3. 利用体感控制器的增强现实出版物

2012年，索尼公司与J.K.罗琳联手打造出一本使用增强现实技术的“哈利•波特”系列图书——《奇幻之书：魔咒之册》。这本书需要以电视作为输出屏幕，配合索尼公司研制的PlayStation Eye摄像头及PlayStaion Move体感控制器使用。PlayStaion Move 体感控制器犹如电视遥控大小，方便用手握持，可以识别用户位置和手部动作，并反馈给系统，做出响应。使用者按照特定的轨迹挥舞“魔杖”（体感控制器），就能在电视屏幕中看到自己像哈利•波特一样使出各式各样的魔法，比如召唤龙，引导它在房间中飞舞。这一产品以将魔法世界中存在的奇妙场景搬进家中作为卖点，吸引了《哈利•波特》电影爱好者将视线从大屏幕转回图书[2]39。

六、增强现实类图书的创新价值

1. 增加纸质出版物附加值

增强现实技术可以通过扫描印刷在纸质出版物上的图片启动图像、音频、视频、三维动画、三维模型等数字资源，这使得出版社可以在不占用纸质出版物空间、不增加印刷成本的情况下，为读者提供更丰富的阅读体验，赋予纸质出版物更高的附加值，将纸质出版物所承载的信息量极大扩展，使信息纵深化、广博化。

2. 克服平面空间所限，将立体结构进行空间展示

教师在课堂上向学生讲授如立体几何之类需要空间想象力的课程时，往往会显得很抽象，难以用语言描述。植入了增强现实技术的立体几何教科书，不光可以展示立体模型，还能让学生参与互动，通过旋转、压缩等操作，让模型动起来，解决了传统教科书用二维图像解释三维空间现象的难题。而类似DNA结构、宇宙大爆炸这些科学热点，通过增强现实技术，可以让学生直接看到三维立体模型或图像，无需再经过抽象化信息转化到具象化的实物。2015年起，皮尔森教育出版集团出版的香港地区教科书就加入了增强现实技术[5]49。

3. 视听触全方位体验，提高读者的阅读兴趣和阅读质量

增强现实技术在纸质出版物中的应用，拓宽了纸质图书认知方式单一、表现手段有限的局限。读者不仅可以阅读文字和图片，也可以与之互动，为读者带来更强的参与感。使得读者不光借助视觉“读”一本书，更能够将视觉、听觉、触觉组合起来。这种多层次的“阅读”还原了人类天生的认知过程，就像婴儿那样通过多种感官共同协作逐步认识周围的世界。增强现实技术可以让儿童在和图书“玩耍”的过程中，学到知识。研究者曾以幼儿园大班儿童为对象，研究增强现实系统对学习效率影响，研究报告显示，在英文学习效率与成语学习效率两项测试中，使用增强现实系统学习的儿童，学习效果优于常规学习方式，成绩分别提高37%和8%[12]。

4. 获取用户阅读偏好信息，引导选题方向

读者通过扫描图像获得附加信息，而出版社可以借此与读者连接起来，通过某一图像或视频的点击率，精准了解读者对哪些领域、哪些内容有兴趣。这些数据分析对于后续增强现实出版物选题的策划起着指导作用。

5. 提供多种阅读形式

增强现实出版物既可以按照传统图书的阅读方式，顺次阅读纸质出版物的图文信息，也可以在阅读过程中，启动书中植入的增强现实操作点，实现纸张阅读辅助立体阅读。在无法使用移动终端时，也可以享受传统阅读的乐趣。

七、我国增强现实出版物存在的问题及未来发展

增强现实技术是对传统图书所承载文化、信息的一种新型讲述方式，是连接传统出版与数字时代的新途径，也是传统出版转型发展的契机。本文分析了增强现实出版物的现状及其特点。目前，我国增强现实出版物还存在如下问题。

第一，不同出版社或不同增强现实技术公司开发的增强现实出版物，APP不通用，用户需要下载大量APP。如少年儿童出版社出版的增强现实出版物《追踪非洲五霸》和《黑羽精灵小盗龙》需要下载“梦幻恐龙岛”APP。中信出版社出版的《玩转冰川时代》则需要下载“Ice Age AR” APP。而要是想阅读《科学跑出来》需要下载“iSolarSystemAR” APP才能使用。由于通用的增强现实APP平台尚未形成，用户几乎每使用一种技术公司开发的增强现实出版物，就需要下载一种APP，造成阅读和使用上的不便。

第二，识别不畅现象时有发生。使用移动终端扫描书中“交互式”图片时，对页面印刷效果和环境要求较高。印刷墨色不均，环境阳光过强或过弱，页面破损、涂抹、弯折或页面反光，等等，都会影响识别的顺畅，甚至导致识别无法完成。

第三，原创产品不足，优秀产品依赖进口。曾有研究者对2011年至2015年我国增强现实出版物品种进行统计，仅有9个品种，其中一半为引进版图书。2016年《科学跑出来》丛书市场销售大获成功，刺激了增强现实出版物在我国引进和原创领域的双重发展。截至2016年年底，梦想人科技公司已与80余家出版社开展合作关系，开发我国原创增强现实出版物[7]16。央数文化、鹰童文化科技也是我国原创增强现实技术的开拓者。

第四，增强现实出版物品种分布不均。搜索亚马逊、京东等大型图书销售网站，数据显示目前在销的增强现实读物大多为少儿读物，且集中在科普和低幼两个板块，品种分布极为不均。

除了上述技术层面问题，增强现实技术与传统出版业融合过程中还需要解决的问题包括：出版社应当如何培育掌握增强现实技术的专业编辑，以有效开发原创品牌？不同于纸质出版物已有严格的编辑出版责任机制，对于增强现实所呈现的隐于书后的内容，应当如何把关？

增强现实技术本身的发展已经经历第一代——基于PC的增强现实技术，进入第二代——基于移动终端的增强现实技术，未来会进入第三代——基于可穿戴设备的增强现实技术。目前出版业与增强现实技术的合作正处于第二阶段。预计未来的3～5年，“增强现实眼镜”等可穿戴设备会逐渐普及，增强现实出版物也会随之出现新的模式[13]。

根据我国互联网市场大数据分析公司易观智库的行业模型，增强现实技术在2018年以前尚处于市场启动期，增强现实技术的体验还有待优化，发展还在继续。预计在2019～2030年，增强现实技术将进入高速发展期。如同各种新兴技术必然经历大浪淘沙一样，增强现实设计公司正随着行业的快速发展进行剧烈地洗牌。

[1] 张鹏. 图书出版中增强现实技术的应用研究[D]. 河南：河南大学，2016.

[2] 王卉，李金城.增强现实技术在图书出版领域的应用研究[J].中国出版，2015(17)：38-40.

[3] 程娟，王玉林.基于AR技术的少儿图书创新设计策略[J].出版发行研究，2015(7)：44-46.

[4] 张瑞静，王卉，李金城.虚拟现实技术在出版领域的应用[J].出版发行研究，2015(5)：47-50.

[5] 王秀丽，胡玉康.AR技术关照下的儿童书籍设计新形态[J].出版发行研究，2016(5)：48-50.

[6] 搜狐IT .Wikitude将推出移动网页增强现实技术[EB/OL].(2012-05- 17)[2017-06-10].http://it.sohu.com/20120517/n343397305.shtml?utm_source=tuicool

[7] 周志颖.AR新技术融入数字出版的未来[J].传媒，2016(24)：16-17.

[8] 尹琨.VR/AR来袭，“撬动”传统出版变革[N].中国新闻出版广电报，2016-12-15(007).

[9] 陈向东，许山杉. 增强现实电子书的开发—— 以“幼儿识字课本”为例[J].中小学信息技术教育， 2013 (1) ：25-29.

[10]萧染.VR、AR技术＋出版市场有多大？[N].中国出版传媒商报，2016-11-15(014).

[11]周丹袂，张文红. 出版社在线教育移动应用现状研究——以科学出版社爱医课 APP 为例[J].出版广角，2017 (3)：18-21.