博物馆数字展品中混合现实技术的应用

华文怡

（上海科技馆，上海 200127）

0 前言

随着科教兴国战略方针的实施，博物馆面对科学技术迅速发展的新局势以及层出不穷的新知识，若仅靠传统的静态展品陈列方式，很难对民众普及新知识。因此博物馆需与时俱进，借助混合现实技术对博物馆展品进行数字化改革，加大展品科普创新力度，为民众带来耳目一新的科普教育方式，从传统静态展品展列与人工讲解，过渡为利用互动装置实现增强展品功能的数字化动态展列模式，在丰富民众新知识的同时，强化身临其境的体验效果，促进博物馆数字时代的稳步发展。

1 博物馆传统静态展品陈列的弊端

1.1 展品展示单一固定

以往博物馆均采用静态展品陈列方式进行展览，只有一小部分动态媒介技术予以辅助展示，这种单向的展品陈列方式无法让参观者根据自己的喜好进行自主选择，只能被动地接受博物馆片面的信息传递。这种单一固定的展示方式，还让博物馆整体陈列区域缺乏活力，无法调动参观者的参观兴趣，无法通过多元化互动获取各种资源信息。

1.2 受众无法与展品互动

人是信息传播活动中不可或缺的重要因素。以往参观者在参观博物馆时，主要借助图文标识或者导览引导走马观花似的游览一圈，如同做任务一般完成参观。主要原因是简洁直白的文字说明方式，无法让参观者产生想要进一步深入探究的欲望，更不能留给参观者深刻的记忆。大多数参观者快速扫过展品的文字说明以后，便转向下一个展品继续这一行为。虽然大多数博物馆已经借助现代化技术和设备吸引参观者的眼球，但仍旧无法使他们停下脚步耐心研究每个展品包含的学科技术知识。

1.3 缺乏感官认同感

视觉是人类获取信息的主要方式，所以博物馆传统展品静态陈列习惯将参观者看到的展品形态作为陈列摆放的重中之重，却忽略了其他感官的临场体验，致使许多参观者在实地参观过程中得到的身心体验与网络查询并无不同[1]。除此之外，部分博物馆过度强调灯光色彩的渲染，容易使参观者产生视觉疲劳，降低参观者观看展品的积极性，缺乏其他感官的场景认同。针对这种情况，博物馆在展品陈列过程中，应增加视觉、听觉、触觉等多重感官体验，以此增加参观者的参观兴趣。

2 混合现实技术优势

2.1 丰富文化感受

由于我国民众群体之间存在较大差异，不同层次的参观者对博物馆展品的认知信息存在显著差距，可能无法理解产品所展示的知识内容。混合现实技术的应用可以将博物馆展品以图文、音频、视频等精准的信息内容传递给参观者，让参观者从中了解该展品的构成原理，通过沉浸而真实的虚拟互动，加深参观者对展品的理解认知，提高展品的有效传播力度。

2.2 双向交互

因博物馆参观者年龄跨度较大，许多青少年儿童无法了解展品的历史背景，需利用混合现实技术对展品进行数字化表达，真实还原展品背后的历史原因，使参观者能够更加准确地理解相关知识内容，在科普历史知识的同时，提高青少年儿童的求真认知。

2.3 提高参与性

将信息技术与科普教育的传播方式相结合，不仅降低了成本，还能受到广大青少年的持续关注，流连忘返于各个展品之间。除此之外，混合现实技术的应用便于展品的网络传播，通过多元化展示方式，使参观者更加准确地筛选想要了解的信息内容，提高参观者的参与积极性。

2.4 提升展示效率

与展品近距离地接触，可以让参观者真实地感受到展品的信息技术，依托互联网成为远端教育的受众者，在线选择自己感兴趣的展品知识，让身在异地的参观者节省经济成本，成为科普教育的受众者。

3 混合现实系统的基本构成

混合现实技术是在虚拟现实技术的基础上演变而来，二者之间的硬件部分采用的硬件技术相一致，并且存在诸多相同共性。混合现实技术体系主要是利用网络信息技术构建文字、图片以及各种虚拟的信息，随后再将这些信息应用到参观者能够看到的现实物体当中，这样参观者就能通过混合现实技术观看到与现实环境相符的信息资料，提高参观者对现实科技环境领域的认知度。也就是说，参观者可以通过头戴显示仪以及方位追踪器等混合现实设备，实现身临其境的感官体验[2]。

现阶段，混合现实系统硬件设施主要有虚拟场景生成器、虚拟环境、头戴显示仪、真实环境定位装置、真实环境交互装置以及作用于参观者观察视线的头部调整设备等。其中虚拟环境生成设备需先采用建模方式构建虚拟环境，然后对虚拟环境以及其他硬件设施进行管理。参观者在佩戴头戴显示仪期间，需要通过头部姿势调整跟踪视线，确保参观者的视线参观坐标与虚拟环境的坐标一致。值得注意的是，参观者的感官度与周围环境的虚拟变化需通过交互设施进行调控指令的输入与输出，且上述功能与虚拟现实系统中对应部分相一致。

头戴显示仪作为混合现实系统中的显示装，一般分为两种形式：一种形式为透光式头戴显示仪（Optical seethrough），另一种是影像式头戴显示仪（Video seethrough）。通常情况下参观者在使用透光式头戴显示仪时，只能看到现实生活中的场景，电脑只是将该场景呈现在显示仪上。而影像式头戴显示仪在使用过程中，可以让参观者看到在现实生活中不能看到的场景，头戴显示仪中的摄像头功能可以对现实生活中的场景画面进行采集，并与电脑制作的虚拟景象相结合，再通过电脑传递给参观者[3]。也就是说，影像式头戴显示仪与常规虚拟现实系统类别相一致，且该系统中的图像处理设备在AR系统具有极为重要的设置作用。

4 博物馆数字展品中混合现实技术的设计

4.1 空间场景映射设计

空间场景映射功能主要是用Hololens识别博物馆空间场景表面，通过对环境表面建模映射，为数字展品空间摆放功能提供基础条件。设计者需佩戴Hololens设备在博物馆特定区域进行反复走动，通过转动头部完成对特定区域天花板、墙面、地面的扫描，随后将该区域空间场景生成数字化表格纹理。为了更好地完成数字展品设计，设计者需根据扫描提示，明确空间场景扫描范围，增加空间场景映射的立体感[4]。在渲染空间映射场景时，混合现实技术利用了Holo-toolkit开发工具包中的空间映射组件，空间映射数据源脚本通常负责存储管理扫描到的数据内容，设计者在掌握空间映射数据源脚本的基础上，通过空间映射观察者脚本定期扫描周围环境，不断更新空间映射数据源脚本中的表面数据。而空间映射管理脚本主要负责查看空间映射观察者脚本是否进行定期工作，同时负责空间环境获取列表接口。

4.2 数字展品放置设计

数字展品放置功能的主要目的是将全息对象与物理实体共同展示在真实空间当中，这就要求数字全息对象具有一定的物理特性。比如苍鹰展示应在天空中，棕熊展示应放在地面上等，而不是将全息对象随意进行悬浮设计[5]。因此，全息对象在生成过程中需要通过系统制作出智能放置方案。数字展品在空间映射期间，扫描空间表面网格实施标签化处理，其标签类型为地面、墙面、天花板、桌面以及其他类似表面，每种标签均是按照平面所处的空间位置予以标准界定。在处理好该项步骤以后，设计者还需对全息数字展品进行属性标定，如九大星系设置为水平，山脉地理信息设置为垂直等。除此之外，数字展品智能生成主要有水平与垂直两种属性，且这两种属性多用于多数量展品。例如：八大行星为水平生成属性，当多行星同时生成在相同空间场景时，就会涉及行星位置摆放的问题，为了更好地将八大行星进行科学合理的空间摆放，先要扫描展示空间所有具有墙面属性的平面，然后计算出这些平面的中心坐标点与Hololens坐标点，计算出二者的相差值。再在Hololens坐标中Y值范围的0.2米以内生成水平列队，根据八大行星的排列顺序进行错落排列。这种排列方式可以让八大行星在真实环境的表面上予以生成，且生成高度便于参观者更为舒适地查看。

4.3 真实展品3D识别设计

参观者在参观博物馆期间，主要想通过数字技术展示数字展品的真实性，理解展品的相关知识。设计者需要借助真实展品的识别功能继续设计，以便参观者可以通过佩戴Hololens眼镜识别展品，并呈现与之相匹配的数字化信息，便于参观者的准确了解。为了保证展品的真实性，设计者可以采用 Vuforia+Hololens技术使展品呈现三维特征，在识别真实展品的基础上展示可视化AR信息，参观者可以根据自身实际需求一边浏览，一边操作AR功能版面的便捷导航功能[6]。为了让参观者可以借助移动终端设备进行实时互动，设计者可以利用Vuforia AR SDK对其安装图像采集、三维对象识别、图像识别以及跟踪注册等增强现实系统功能的开发包。Vuforia+Hololens将AR体验与展品中的特定图像或者物体联系在一起，可以增加展品的三维真实性。

4.4 交互模块设计

Hololens的交互模块设计是根据不同手势进行的不同操作方式。Hold手势是在保持按下手势的基础上保持超出的系统阈值，当参观者用手按住触摸板时，可以进行选取对象的辅助性操作。Tap手势是借助手势激活检测对象，为参观者展示实例化信息内容。Navigation手势是参观者按下该模块以后，用手移动三维单位的立方体，使数字展品可以进行水平或者垂直的移动，而页面导航需构建连续滚动、缩放等手势，该手势与鼠标中的单击功能较为相似。Manipulation手势需要在三维立体世界移动双手，并通过移动调整或者旋转全息图形。以Tap手势为例，参观者对数字展品进行点击操作时，通过凝视数字展品对其执行Tap手势，这时系统会出现虚拟化信息界面，界面中全是有关展品的信息介绍内容，无论参观者在数字展品的哪个方向，操作界面始终正向面对参观者，待参观者再次执行Tap手势时，该项电脑界面就会消失。

5 博物馆数字展品中混合现实技术的发展趋势

随着人工智能技术的迅猛发展，各类可穿戴的新型智能设备逐渐进入市场，混合现实技术可以通过各种各样的载体进行有机选择。混合现实技术是现实世界与虚拟世界相结合的新型视觉环境，在该环境中物理信息与数字信息能够实时共存交互。换句话说，混合现实既是虚拟现实与增强现实的结合，又是现实世界、虚拟世界、数字信息技术的优化结合。基于此，混合现实技术在博物馆数字展品中具有较为广泛的发展空间。

数字全息投影技术是指计算机虚拟模仿再现物体图像数字信息，该技术在2010年上海世博会国家馆中，为前来参观的游客展出数字互动版的“清明上河图”，该地图采用全息技术分为昼夜两个版本，以优质的画面还原了北宋宣和时期开封市的繁荣场景，地图中的人物与景色栩栩如生，仿佛跨越千年再次复活一般。数字全息投影技术是在原有三维布局的基础上借助恢复算法以及虚拟环境组织，对相关数据进行水平分割与垂直分层，使得大量数据作品在呈现过程中合理布局、无缝连接，随后再通过计算机技术与文字对话结合的方式，为参观者呈现清明上河图的沉浸式人机交互体验，陶醉于北宋东京的繁荣[7]。

混合现实技术中的多维度交互展示技术，可以通过人与多模态实时交互，增加科技展览馆的互动性与趣味性。设计者可以将生动有趣的游戏应用于特定场景之中，通过语言、面部表情、头部动作等多种互动沟通方式，了解参观者想要表达的意图或者将要执行的动作，并感知接受参观者反馈的信息内容，使其在大数据生成的虚拟场景环境中，切实感受到身临其境的体验。在现阶段发展中，多维度交互展示技术除了在博物馆等地进行应用以外，还与游戏元素、旅游元素相结合，在虚拟与现实的空间中进行体验互动，凸显文化展示的低碳绿色，也是未来人机交互发展的必然趋势。

运动捕捉技术是指运动物体在运动状态下进行的重构、记录以及实时测量，该技术通过计算机算法对相关数据进行处理，通过红外线中的高灵敏度摄像机对运动物体的关键部位进行实时捕捉，随后对采集到的实时数据进行运算。当采集到的数据信息被计算机识别出来以后，利用摄像头控制调节运动物体。

6 结语

综上所述，当前混合现实技术在科普领域应用十分广泛，其应用效果的好坏直接影响参观者的整体体验和感受。由于混合现实技术的系统管理是架构在该系统的管理上，只需通过定期系统更新，便可为民众带来最新的知识体验。博物馆应根据自身实际需求，将传统纸质出版物、移动终端、头戴显示仪等技术设备优化结合，构建全新功能的数字展品，使得科普知识以更加先进的形式普及推广，促进博物馆公益服务再上一个新台阶。