面向元宇宙图书馆的增强现实系统设计研究

王效岳，高 旭，白如江

引言

自2021 年始,来自产业界与学术界的“元宇宙已来”的声音越加明显,Facebook、谷歌、华为等科技头部公司纷纷深入其中开展智慧服务与元宇宙的联动布局。 元宇宙作为一个新兴概念,其不仅被视为互联网 Web3.0 的启动版本[1],也被作为智慧化服务的新基建进行产业模式革新与实践。 从智慧图书馆的发展脉络看,元宇宙技术试图通过增强现实系统功能设计达成馆舍空间的高度映射,实体空间、虚拟空间与物理空间紧密融合,旨在形成现实空间的虚拟衍生与虚拟空间的现实关照[2]。 因此,元宇宙图书馆在该意义上可以视为智慧图书馆的阶段性发展形态。 从智慧图书馆的社会职能来说,智慧图书馆是社会信息化的基础与核心功能参照,它是智慧社会与智慧城市建设的重要组成部分,当前乃至未来正在形成跨领域元数据高度协作的“元模式”,因此,从该意义上来说,元宇宙图书馆则是智慧图书馆在社会职能上的“更加社会化”的体现。 元宇宙图书馆不仅需要承接智慧图书馆对知识资源的挖掘功能,还需借助增强现实元宇宙内核功能对海量知识进行感知、开发、加工和利用。 元宇宙增强现实功能提高了信息系统的视觉效果和用户体验,增强现实技术在图书馆智慧化管理与运营中的作用也愈加突出,是智慧图书馆与智慧信息可视化技术的前沿研究热点,在教育、医疗、交通、图书出版等领域有着乐观的应用前景,本文结合元宇宙图书馆的特点和业务需求,详细设计了增强现实的系统功能,并对增强现实在元宇宙图书馆中的应用进行了探索。

一、增强现实及其应用

(一)增强现实概述

增强现实(Augmented Reality,简称AR)的概念是由美国波音公司的Caudell T 较早提出并经过虚拟现实的概念创新与实践应用而最终确定下来的[3-5],它将计算机构造的虚拟空间和真实世界叠加融合并借助各种显示设备(如电子屏幕、移动智能终端设备、投影设备、智能穿戴设备等)进行“虚拟—现实”的交互式可视化展示,强化用户对现实物理空间与环境的智能触达,增强对真实世界的关键信息与元素的表征[6]。

增强现实技术有三个重要特性,即真实性、交互性和实用性。 真实性是因为增强现实是以真实世界和环境为基础的。 交互性主要是指人机交互,主要体现用户和增强现实系统具有交互过程,通过交互,用户可以获得所需的最佳信息。 实用性是指增强现实系统能够和实际应用相结合,能够促进行业和社会经济的发展,具有较高的实用价值。 这三个重要特性恰恰是智慧图书馆向更加智慧与更加落地的场景应用转变所需要的,智慧图书馆建设的核心诉求是使各种馆藏资源在虚拟域与现实域中得到更大程度的有效利用,将大规模数据资源细粒度匹配用户个性化需求,未来智慧图书馆发展模式也将更加注重用户感知体验,切入精准知识需求,承载更多的新时代社会职能,因此相应地需要图书馆管理人员与用户之间形成智慧交互体验模式。 随着元宇宙理论与技术的不断成熟,未来智慧图书馆发展将可能更多地聚焦元宇宙图书馆的系统功能设计与模型构建之上,而增强现实技术作为建设智慧图书馆的重要智能技术,需要详细设计其系统功能,并将其切入元宇宙图书馆的场景应用当中。

(二)增强现实技术在图书馆形态中的应用进展

增强现实技术在国内外图书馆形态中的应用呈现出由浅入深、由点到面的规模场景化态势。目前图书馆形态主要包括智慧图书馆与元宇宙图书馆。 随着智慧技术与智慧场景的集成融合,日益丰富的智慧图书馆生态孕育产生了新兴元宇宙状态,而作为新型交互式技术,增强现实正在调动现实自然人的环境感知与感官感知的互动平衡体验,并由此产生空间交互的沉浸感,从而推动了图书馆形态由智慧图书馆向元宇宙图书馆交叉融合。 2020 年《国际十大战略技术趋势》报告将增强现实技术放在产业创新与科技创新部署的高度,《中国图书馆学会“十四五”发展规划纲要(2021—2025 年)》也明确阐释了增强现实技术在图书馆生态转型发展中正在起到信息加持与创新驱动作用[7]。

具体而言,国内外图书馆智慧化服务实践中普遍借助增强现实技术应用于图书馆资源导航、资源定位、图书智能布排、馆藏资源重组以及特色资源展示与推广活动等方面,并尝试性布局智慧空间与虚拟空间重组与再造的元宇宙业务探索与应用。 图书馆资源导航定位与智能布排尤其借助增强现实技术实现质的提升,基于位置空间的AR 服务模式被广泛应用,通过位置特征标识算法连接图书馆资源数据库,将地理空间与地图模型进行可视化上传,并且可以通过RFID(Radio Frequency Identification)标签进行智能识别,一是可以协助用户快速锁定所需文本或书籍等知识载体,另一方面可以提升图书馆工作人员的工作效率,增加智能化工作体验[8]。 比如芬兰奥卢大学制作的Smartlibrary 可以借助增强搜索引擎赋予图书资源的“大脑智慧”响应以帮助用户寻找书籍,美国北卡罗来纳州立大学设立WolfWalk 项目实现校内人物与场景智能匹配[9],美国迈阿密大学图书馆的排架应用ShelvAR 将目标书籍Tag 码上传到感知数据库中,实现跨空间的移动终端自动感知定位目标书籍的功能[10]。 在馆藏资源重组方面,增强现实技术将文献资源进行存储形式的扩展与整合,形成视频、图片、音频等多种形式的资源展示模式,比如英国曼彻斯特大学与约翰·里兰兹图书馆合作的SCARLET 项目通过增强移动视觉搜索技术实现“iPad 扫描书籍能够放大图书文本、图像以及关联内容推荐”功能[11],美国宾汉姆顿大学图书馆开发的“奇妙AR 图书”系统借助增强三维动画和AR 技术,将图书故事与虚拟数字人形象融入到现实场景,实现感官增强与阅读增强[12]。 AR 特色资源导航系统照进现实,并实现了馆内与馆外的多源信息匹配[13],由此可见增强现实技术在图书馆具体形态中的应用日益广泛。

二、元宇宙图书馆及其特点

(一)元宇宙图书馆的内涵

元宇宙的概念最早可见于科幻小说Snow Crash 中有关“Metaverse”的描述,小说叙事设定了人类通过增强现实技术实现虚拟数字人的灵境空间创造“人生新经历”。 维基百科对元宇宙的定义是“一个集体虚拟共享空间,由虚拟增强的物理现实和物理持久的虚拟空间融合而创造,包括所有虚拟世界、增强现实和互联网的总和”[14]。Roblox 公司率先归纳了元宇宙的八个特征:可创设虚拟数字人形象的身份特征(Identity),可跨领域社会交互的朋友特征(Friends),联动虚拟空间与现实空间的沉浸感特征(Immersive),即时即用与即到的终端化出入的随地性特征(Anywhere),感知生活和娱乐的多样化与交叉性的多元化特征(Variety),借助5G、边缘计算、区块链等技术的感知低延迟特征(Low Friction),虚拟用户原创付费与现实价值增值的经济特征(Economy),兼顾互联网弊端消解与伦理监督的文明化特征(Civility)[15]。 元宇宙还初步具备了产业链与科技创新链联动的开发生产功能特征,正如研发工具商Beamable 公司所概括的包括体验(Experience)、发现(Discovery)、创作者经济(Creator Economy)、空间计算(Spatial Computing)、去中心化(Decentralization)、人机交互(Human Interface)、基础设施(Infrastructure)等产业功能价值特征[16]。

近年来,国内外图书馆生态发展呈现出元宇宙智慧化态势。 元宇宙图书馆形态是智慧图书馆发展的必经阶段与必然产物。 元宇宙图书馆形态是智慧图书馆借助新型智慧集成技术(如大数据技术、人工智能技术等融合会聚)所实现的虚拟服务的智慧化模式与方案,智慧读者服务与图书资源服务通过智能化、物联化的运营与管理组织方式,将图书馆业务流程各项功能模块进行“虚实”协同工作,从而借助数字镜像实现图书馆管理与服务在“现实—数字—虚拟”层面的空间扩容与智慧交互。 从本质需求来看,元宇宙图书馆是将最新的信息技术和人类对图书馆的需求充分融合的一种新的发展模式,经过图书馆信息岛(Cybrary City)、虚拟图书馆以及“第二人生”的智慧化应用,逐渐延伸到智慧空间再造与虚实交融的元图书馆探索阶段[17],随着国家图书馆跨域全体系建设规划的提出,虚实融合的知识组织、管理与服务生态体系逐渐成为基于读者用户知识细粒度多维感知需求的图书馆元宇宙探索新路径[18]。笔者认为,通过增强现实技术与工具实现用户虚拟感知、机器多元协作以及虚实环境感知闭环构造是元宇宙的核心发力点,智慧图书馆的未来发展也在一定程度上自然地转向元宇宙模式布局探索进程当中,并试图寻求智慧图书馆与元宇宙的理论与实践融合,即元宇宙图书馆生态模式。

综上所述,元宇宙图书馆的核心诉求是依托最新信息集成技术并借助于增强现实系统设计促进智慧图书馆各个要素的互联互通,实现图书馆资源高效整合、运行低碳环保、服务方便快捷,以智慧化服务为目的,将技术理性、工具理性与价值理性应用于图书馆元宇宙生态中,达到现实空间与虚拟空间、现实资源与虚拟资源、现实自然人与虚拟数字人紧密互联的、以人为本的新型图书馆[19]。

(二) 元宇宙图书馆的特点

元宇宙图书馆注重智慧图书馆基础架构上的数据处理、技术重构、虚实融合、机制认证以及内容生产,分别体现在以云计算与人工智能算力提升为核心数据处理基础设施搭建、以现实自然人为本质驱动的人机交互技术重构、以环境感知与空间再造为体验诉求的空间计算与虚实交融、以去中心化为主要价值观的数字资产与价值界定认证机制以及以虚拟数字人创设分发为表现形式的内容生产等。 结合前文所述元宇宙特性,笔者认为元宇宙图书馆具有以下特点。

1.人文关怀

元宇宙图书馆需要承接智慧图书馆面向现实自然人的个性化需求的努力方向,充分体现以人为本的时代特征。 该特征主要体现为对图书馆管理人员和图书馆用户的全方位多角度关怀。 其一,对图书馆管理人员的关怀。 元宇宙图书馆使用最新信息技术及设备,并建立智慧型图书馆管理和服务机制,减轻图书馆管理人员的业务负担,使图书馆管理人员有更多时间和精力投入到图书馆智慧服务中。 其二,对图书馆用户的关怀。 智慧化图书馆管理模式下,图书馆管理更加注重用户体验,为用户提供更为便捷的知识和信息服务,尤其是增强现实注重用户身心与思维的碰撞体验,通过直观的视觉效果为用户提供可视化信息服务,体现了以人为本的理念。

2.智慧感知

元宇宙图书馆搭建全域智慧感知体系,通过“现实自然人—虚拟数字人—人机交互—环境感知”的全方位、多维度、立体层的智慧元结构搭建,弥补现阶段智慧图书馆生态在全域感知中的短板。 智慧感知也是依靠互联网和物联网,通过元宇宙图书馆的感知功能,全面实现图书馆中人、物与各种数字资源的智慧感应,精准标注图书馆空间环境中的多层次元素并实现动态捕捉,将人、机、物以及文献资源进行业务流程重构,将增强现实技术的以点带面传感功能发挥出来,并依靠其基于人工智能技术的目标图像智能识别功能自动感知并获取环境信息,实现自动提供图书排架、图书馆导航、环境立体感知、应急安全管理等智能功能,体现了全域智慧感知的特点。

3.虚实映射

元宇宙图书馆借助虚拟现实技术、大数据集成技术、扩展现实技术、人机交互与接口技术、数字孪生以及区块链技术等进行虚实空间、虚实映像、虚实灵境以及虚实元素的融合映射,打造出极具沉浸式体验感的灵境世界。 主要体现在“现实世界中的虚拟服务”与“虚拟世界中的现实感知”两个层面。具体来讲,现实中的虚拟服务承接智慧图书馆在虚拟服务理论与技术实践中的优良基础,并借助虚拟数字模型与虚拟视觉观感进行现实物理空间内的感官体验,通过照影与仿真推演技术构建虚拟现实系统；而虚拟中的现实感知则是聚焦增强现实集成系统在VR、XR、AR 技术中实现物理场景的虚拟延伸,即在现实自然人转化为虚拟数字人的世界中进行全域空间感知,具备了沉浸式无意识瞬间的真实感与真实世界的感官体验。 虚实映射可以突破时间与空间限制,能够提升图书馆知识和信息的交流与共享,实现二维到三维形式的知识展示与元素感知,并逐渐应用于智能工作与学习的开放式情景空间产品设计与学术研究中。

4. 智能管控

元宇宙图书馆可以依靠增强现实的虚拟数字仿真推演模型进行全域“人—物—机”的内容使用管控与“馆员—问题—用户”的服务创新管控。采用基于代理Libagent 的移动AR 增强现实图书馆管理系统模型并将图书馆空间中的人、机、物及其相关要素输入其中,通过图书馆业务流程生命全周期与服务多层次的现实跟踪与虚拟仿真,形成基于增强现实系统的元宇宙图书馆智能管控体系,从而实现图书馆的馆藏资源建设、精准智慧服务、细粒度知识服务、在场感营造与后勤应急管理协调等协同交互的虚实映射管控效果。 另外,依靠增强现实的虚拟数字仿真推演还可以预判性地发现图书馆发展过程中的宏观与微观问题,潜在风险与机制冲突,管理障碍与漏洞等问题,做到管控过程中的“醒早看远”。

三、以元宇宙图书馆为应用场景的增强现实系统设计

(一)元宇宙图书馆增强现实技术架构

1. 技术架构

依据元宇宙的技术底座(数据环境、虚实映射、信息处理、机制认证以及内容分发)相应布局元宇宙图书馆增强现实功能,主要为数据环境应用(5G 环境下的速率、频效与算力)、虚实扩展映射(虚拟现实VR、增强现实AR、融合现实MR)、数据激活处理(云计算与人工智能)、机制认证(去中心化与共识共享机制)以及内容分发(虚拟数字人与数字孪生)。 未来图书馆现实增强业务需求主要包括环境感知增强、场景体验增强、信息元素增强、机制规则增强与内容可视化增强等主要技术业务。 依据元宇宙技术底座所提供的技术支持,智慧匹配图书馆现实增强技术需求,相应设计元宇宙图书馆增强现实技术架构,具体如图1 所示。

2.技术模块说明

元宇宙图书馆的增强现实技术架构包含八个具体模块,分别是采集设备模块、标识码识别模块、图像识别模块、图像跟踪模块、多层图像动态融合模块、增强现实空间搭建模块以及环境渲染模块。 具体原理如下。

(1)采集设备模块。 主要是固定终端设备或移动设备进行图书馆各组成要素形态与内容信息的采集,设备一般包含加速度计、蓝牙接收器、电子扫描器、陀螺仪、指南针、摄像头、GPS 系统和Wi-Fi 等定位组件,实现精准高效的设备采集工作,同时该模块还包含跨平台封装计算机、iOS 和Android 等多种系统载体。

(2)标识码识别模块。 主要通过特定标识码实现传感器扫描与确认过程的架构,比如专属二维码、条形码以及动态码等,比较典型的应用案例是奥卢大学图书馆SmartLibrary 元宇宙项目,该项目中采用加密与风控加成的RFID 标签作为图书资源精准识别的标识码,利用该技术对图书馆文献资源进行标注与定位,可以迅速且精准地通过无线WiFi 技术实现即时传递与实时跟踪,结合增强现实技术构建的虚拟元宇宙进行现实增强模拟,以优化现实自然人读者的阅读体验。

(3)目标元素识别模块。 主要通过配置识别目标图中的各类元素(读者画像、用户画像、设施画像、环境画像等)的动态演化态势与相应特征,对该目标图进行识别和检测。 比如虚拟数字人文活动作为元宇宙图书馆的经典业务之一,其所蕴含的诸多数字元素(古籍文字、朝代纪元、人物故事、迁徙轨迹等)都可以实现快速精确的目标元素识别并上传到目标图中。

(4)图像识别模块。 主要是在前述目标元素识别模块的基础上进行增强现实,分别从动态转化和图像构造这两个层面来实现该模块。 前述目标元素构成静态的目标图或者目标图谱,利用增强现实中的激活处理技术和区块链技术进行元素动态图谱与演进构建,借助AR Studio 技术形成连续动态图像,从而实现好看又好用的元宇宙图书馆目标图像。

(5)图像跟踪模块。 主要采用基于位置移动的AR 服务程式,通过硬件定位功能和人工智能视觉定位技术实现目标图像的跟踪,既可以做到沉浸式观感体验升级,又可以随时检查图像损坏或图像漏洞等问题。

(6)多层图像动态融合模块。 该模块主要是采用多线程协作机制实现多个目标图和目标图像的演化跟踪,借助确保图书馆用户获得多层次立体观感体验。

(7)增强现实空间搭建模块。 主要利用数字孪生技术实现现实和虚拟的复制与映射。 首先借助虚拟数字模型与虚拟视觉观感进行现实物理空间虚拟模型构建,再利用数字孪生技术建立真实物理空间的全真动态模拟孪生体,将现实空间中的更细粒度的人、物等元素借由传感器映射到元宇宙孪生体上,从而实现增强现实空间搭建。

(8)环境渲染模块。 在增强现实空间中放入诸如虚拟人、虚拟物种、虚拟产品、虚拟讲座、虚拟图书等全链路元宇宙生态链条,辅之以动态调整反馈机制,为现实给自然人读者和馆员带来最前沿的元宇宙技术应用支持与创新体验。

(二)元宇宙图书馆增强现实系统设计基础原理

元宇宙图书馆增强现实系统设计基础原理为系统构建提供理论与原则指导,主要包括:识别匹配原理、融合交互程式,具体如图2 所示。 识别匹配原理包含图像采集、图像识别和图像匹配,图像采集原理主要是借助图像采集设备和软件有效地识别图书馆静态图像或动态场景图,利用增强程序进行图像特征元素提取,进而将识别特征结果传递给图像匹配程序,图像匹配程序从图书馆馆藏资源里按照识别特征进行检索,查找和图像特征一致或相似的资源,同时将这些资源提供给融合交互程式。 融合交互程式包括虚实多位图像合成、多维图像映射和多层人机交互三部分程式,虚实图像合成将图书馆馆藏资源中需要显示的图像或知识与真实场景合成目标图像,通过图像投影程序,将目标图投影在显示设备上,形成增强现实场景,通过人机交互程序和图书馆管理员及其他用户进行各种交互操作。

图2 元宇宙图书馆增强现实系统设计原理

(三)元宇宙图书馆增强现实系统框架设计

增强现实元宇宙技术底座的融合集成式辅助技术,对于“元宇宙＋X”模式的运行与扩展作用重大。 在智慧图书馆走向数据驱动与数智融汇的后信息时代,元宇宙生态的完善路径则对应着增强现实在数据、智慧以及全域感知的体系构建。 智慧图书馆的持续向好发展有赖于其经典的馆员服务业务提升与用户知识服务业务优化,这两者之间存在交互与感知的天然纽带,而实现纽带作用则更加需要增强现实对于虚实交融的根本技术加持和价值理念推动。 要实现“馆员—交互感知—用户”的图书馆智慧服务结构与业务流程,应主要聚焦增强现实的系统性功能原理及其相应的系统框架设计,保证元宇宙图书馆系统高效平稳运行。 元宇宙图书馆增强现实系统框架主要基于数据环境层、物理感知层、人机交互层、智能管控层以及增强现实应用层5 个模块,具体如图3 所示。

图3 元宇宙图书馆增强现实系统设计框架

(1)数据环境层。 数据环境层是整个元宇宙图书馆增强现实系统设计的基础。 在现实物理图书馆空间与环境中将人(读者、馆员、管理人员、知识创造者、传播者、使用者等)、馆藏资源(关联资源、网络资源、知识资源等)以及环境要素(物理空间、教育空间、阅读环境以及社交娱乐环境等)产生的数据与相应的环境进行关联与确定,并将数据环境信息进行专门存储,采用增强现实识别匹配原理进行数据环境降噪与增强。

(2)物理感知层。 利用感知设备、数字工具以及分析软件进行“人—机”融合交互程式化处理,形成图书馆元宇宙的基础数据全链条协同元宇宙信息,并逐渐取代实体数据环境信息。 主要依托的物理感知中心、设备或工具有:AioT(人工智能物联网)、云计算中心、边缘计算中心、云化架构等。

(3)人机交互层。 将图书馆人员构成按照现实需求进行重组聚类,形成现实自然人与虚拟数字人。 将图书馆机器设备按照软件应用和硬件支持两部分进行,并形成实体设备资产和虚拟设备资产。 其中,现实自然人主要聚焦知识服务的需求端和制造端,并由文献资源展示、资源馆藏咨询等业务进行维护与跟踪；虚拟数字人则是通过人工智能人像抽取、图像识别以及3D 渲染技术进行现实自然人形象和情感表达的再加工,主要由虚拟数字咨询、元宇宙空间导览、移动视觉搜索(MVS)以及移动增强现实(MAR)等业务进行维护和跟踪[20]。 此外,人机交互层主要通过智慧感知与智慧感应技术进行设备与业务的功能实现,并由此形成包括味觉、触觉以及听觉和心灵的多维度综合立体人机交互效果。

(4)智能管控层。 该层聚焦元宇宙伦理治理与图书馆文化关怀职能,旨在将实体政府、文化平台、智库平台以及研究机构乃至高校进行元宇宙智能规约,有助于实现智慧图书馆不容易实现的问题预判、矛盾排查、业务布排、智能监控以及应急管理等,从而在元宇宙生态健康发展与图书馆问题规制的双重规约下进行智慧治理。

(5)增强现实应用层。 该层主要以“元宇宙＋图书馆”作为应用场景,将增强现实外延扩展到传统智慧图书馆的社会服务功能上来,比如在图书馆较具代表性的阅读场景、学习场景以及主题展览场景等进行增强现实的技术、工具以及伦理的应用与传播,从而对于构造真正的元宇宙图书馆全仿真虚拟空间提供全方位增强现实的基础依托。

四、结语

元宇宙时代或许越来越近,元宇宙产业与框架仍处在初期探索阶段,但增强现实技术却已经深度融入我们的工作和生活。 面对未来智慧图书馆在馆舍升级、空间再造、虚实融合、集成管理以及业务重构等方面提出的战略要求,我们理应保持前沿技术跟踪、问题漏洞排查、知识产权保护以及体系敏捷治理等方面的探索热情,而增强现实不仅局限于技术层面的系统功能与应用,它作为一种知识资源组织利用与共享的有效手段,将伴随着元宇宙产业在未来图书馆生态的布局过程中发挥出更有价值的作用,从而继续帮助智慧图书馆乃至元宇宙图书馆为更多的读者提供更加多样与多元的精准知识服务与社会职能重构。