一种融合交互投影技术的沉浸式虚拟展示应用

邓恋

（北京邮电大学数字媒体与设计艺术学院，北京100876）

为满足公众对沉浸式虚拟展示心灵沉浸体验，解决已有沉浸式虚拟展示交互性差、沉浸感低的问题，本文提出一种融合交互投影的沉浸式虚拟展示技术，从而创建一个具有互动性、趣味性和参与性的展示环境，实现展示内容与参观者的现场互动体验，提高展示体验的交互性、沉浸感，给参观者带来心灵沉浸体验，为沉浸式虚拟展示奠定基础。

1 融合交互投影的沉浸式虚拟展示技术概述

本文提出的融合交互投影的沉浸式虚拟展示技术以投影技术、人机交互技术为基础，在展示设计需求的推动下，以现实物体为投影介质，实现融合投影及人机交互，提高展示的沉浸感及交互性，辅助展示设计的完成。其中，投影技术利用几何校正、边缘融合等算法将待投影图像进行处理，通过多投影仪将二维图像无缝平滑、无畸变地投影到投影表面上，实现融合效果；人机交互技术借助Kinect 获取人体骨骼框架及节点坐标，由节点坐标计算动作特征关节角度，定义具有动作角度阈值及持续时间的姿势模板，再运用姿势匹配算法进行动作识别，在展示设计需求的推动下，改变投影内容，实现场景交互。融合交互投影的沉浸式虚拟展示技术基本实现流程如图1 所示。

图1 融合交互投影的沉浸式虚拟展示技术流程

2 融合交互投影的沉浸式虚拟展示技术实现

2.1 投影技术

投影技术解决的两个关键问题是投影畸变及亮度突变。投影畸变主要由于投影仪斜对投影表面，未能实现垂直投射。如图2 左所示，此时投影仪垂直投射于墙壁接缝处，相对于两边墙面倾斜，产生投影畸变。亮度突变是由于多个投影仪重叠投射的投影区域处照亮的像素较多而产生的现象。如图2 右所示，两个投影仪重叠投射区域亮度明显高于单个投影仪作用的区域亮度，产生白色亮条。为解决以上两个问题，本文采用几何校正及边缘融合算法，得到具有无畸变的平滑投影画面。

图2 投影畸变及亮度突变

2.1.1 几何校正

几何校正的目的是预处理待投影畸变图像，将发生畸变的投影点映射到正确的位置，形成无畸变的投影画面。本文将投影表面分为两类：投影平面及复杂投影表面。对于投影平面，本文采用基于单应性矩阵的几何校正方法，求得待投影图像与投影平面的映射关系，实现几何校正。对于复杂投影表面，本文首先将投影表面及待投影图像根据畸变特征点进行区域划分，形成子平面的集合，然后对各个子区间使用基于单应性矩阵的几何校正方法预处理待投影图像，消除畸变。下文将对基于单应性矩阵的几何校正方法及区域划分进行介绍。

2.1.1.1 基于单应性矩阵的几何校正

单应性矩阵是一个3*3 的矩阵，用于描述两个平面之间的映射关系[1]。设待投影图像中有一点P，坐标为(x,y)，投影表面对应点坐标为(X,Y)，待投影图像和投影表面间的单应性矩阵为H，则两面之间的变换关系可以表示为：

为了保证H 的唯一性，令其最后一项为1，此时H 为具有八个自由度的单应性矩阵。为了求得H，至少需要四组待投影图像和投影表面的点对信息。本文将棋盘格角点作为特征点，向投影表面投射黑白棋盘格图像，使用角点检测法获取角点信息，选取棋盘格图像第一个角点、第r 个角点、第r(c-1)+1 个角点及第rc 个角点作为所需点对，其中r 为棋盘格角点行数、c 为棋盘格角点列数。然后将H-1左乘待投影图像，实现几何校正。

2.1.1.2 区域划分

本文将投影表面局部区域形态发生明显变化的边界点作为畸变特征点，以划分各个子区域。为了便于获得畸变特征点位置，将棋盘格图像作为待投影图像对投影表面进行投射，并尽量使棋盘格角点与投影表面形态发生明显变化的边界对齐。如图3 左所示，投影图像以BC 作为边界点，在BC 连线两侧发生明显形变。则B 点、C 点为所求畸变特征点，投影表面划分为ABCD 及BCEF 两个子区域，对应待投影图像划分如图3 右不同颜色面积区域所示。

图3 非曲面复杂投影表面区域划分

以待投影图像左上角为坐标原点，建立uv 坐标系，则待投影图像区域划分公式表示为：

其中u 表示划分区域起始点像素在u 轴上的值，v 表示划分区域起始点像素在v 轴上的值，w 表示划分区域宽度，h 表示划分区域高度。

2.1.2 边缘融合

经过几何校正的图像在重叠投影时，由于重叠区域亮度叠加，形成具有白色亮条接缝的亮度突变现象。为了解决该问题，本文使用边缘融合方法，将各个待投影图像重叠区域像素点亮度值乘以一个衰减系数，使得投影画面在重叠区域进行亮度叠加后的效果和单投影仪作用效果相同。

边缘融合函数表示为：

其中，f(x)作为右侧投影重叠区域的融合函数，1-f(x)作为左侧投影融合区域的融合函数。将左右两个待投影图像重叠区域利用融合函数进行亮度衰减后，得到亮度一致的投影画面。

2.2 人机交互技术

人机交互技术借助Kinect 设备实现，主要由骨骼框架及关节点坐标获取、特征角度计算、姿势匹配和动作识别等几个部分组成。首先，通过Kinect 获取人体骨骼框架并计算骨架关节点的空间坐标；然后，利用关节点坐标计算特征角度；最后定义具有动作角度特征及持续时间的姿势模板，将当前动作角度及动作时间与姿势模板进行匹配，从而实现动作识别。

2.2.1 骨骼框架及关节点坐标获取

Kinect 骨骼框架识别及关节点坐标获取以景深数据为基础[3]。首先，由Kinect 投射红外光谱，通过空间中红外光谱的反馈，计算待标定人体深度值，形成具有景深数据的深度图；然后，从深度图中识别出“人体”目标区域；最后，从深度图像目标区域中逐像素点扫描，判断人体骨骼位置，形成人体骨骼框架并得到各个关节的坐标[4-5]。

2.2.2 特征角度计算

本文利用角度特征[5,6]作为姿势判断依据。以抬起右手为例，设腕节点与肘节点形成的骨骼向量为Vi，肘节点和肩节点形成的骨骼向量为Vj，则两个骨骼向量的夹角表示如下：

当设定姿势模板后，在进行姿势匹配及动作识别时，首先判断当前动作角度是否在规定的角度阈值范围内，然后判断动作是否在持续时间内完成，若条件全部满足，则姿势匹配成功；若当前动作角度不在规定角度阈值范围内或在规定持续时间内动作还未完成，则匹配失败，需重新开始匹配[7]。匹配成功后即可通过肢体动作控制投影展示内容，实现场景互动。

2.3 交互投影技术与沉浸式虚拟展示的融合

沉浸式虚拟展示设计包含展示设计与用户沉浸体验设计两个部分，展示设计是指依据具体展示主题要求进行设计，以符合展示主题传播与使用的需要；用户沉浸体验设计是指通过外在感官与内在交互内容的沉浸式设计，提高用户的沉浸体验[8]。因此，交互投影技术与沉浸式虚拟展示的融合准则为按照展示设计需求，实现展示主题表达及沉浸体验。交互投影技术与沉浸式虚拟展示融合模型如图4 所示。

图4 交互投影技术与沉浸式虚拟展示融合模型

展示设计按照展示主题进行设计，一方面需要考虑展示内容以表达主题思想，另一方面需要考虑展示方法，以呈现及推动展示主题发展。融合交互投影技术的沉浸式虚拟展示，选择交互投影的展示方法，将展示内容用投影画面的形式呈现给观众，结合展示主题发展的需要引导观众与展示内容交互，通过投影内容的改变推进展示主题发展，达到主题传播目的。

沉浸体验是生理与认知共同作用达到的全身心投入的状态[8]。生理沉浸来源于生理感受，如嗅觉、视觉、触觉等。认知沉浸[8]来自于用户在内容的认知中自我意识与内容达到完美融合，从而进入一种全身心思考的状态。交互投影技术将二维投影图像投影在真实物体上，实现融合效果，具有逼真的画面，让用户从生理上达到沉浸体验。同时，通过自然的肢体动作实现与场景的交互融合，达到认知沉浸效果。

3 一种融合交互投影的沉浸式虚拟展示技术应用

本文将融合交互投影的沉浸式虚拟展示技术运用于大屏幕投影墙、洞穴式展示空间及三维瓷瓶等方面进行展示设计。

图5 以敦煌艺术为展示主题，利用融合交互投影的沉浸式虚拟展示技术将反弹琵琶虚拟舞蹈呈现在平面投影墙。

图6 以龟兹乐舞为展示主题，利用融合交互投影的沉浸式虚拟展示技术将虚拟龟兹乐舞展厅投射在洞穴式展示空间，形成沉浸式投影环境。同时将用户右手模拟为鼠标，通过Kinect进行追踪，当右手移动到可触发展示物上方时，通过握拳姿势实现对展示物的介绍。

图7 以瓷器文化为展示主题，利用融合交互投影的沉浸式虚拟展示技术将瓷器二维投影图像投射在瓷瓶表面，实现投影融合，达到生理沉浸效果。并通过Kinect 捕获观众肢体行为，实现瓷瓶纹样的切换、语音介绍功能，这种展示设计模式即能表现展示主题，又能引发观众思考，实现认知沉浸。

图5 融合交互投影的敦煌艺术沉浸式虚拟展示

图6 融合交互投影的龟兹乐舞沉浸式展示

图7 融合交互投影的瓷器文化沉浸式虚拟展示

4 结论

本文为满足公众对沉浸式虚拟展示的沉浸式体验要求，提高展示的交互性及沉浸感，提出一种融合交互投影的沉浸式虚拟展示技术，在展示设计需求的推动下，将二维投影图像与投影表面融合，利用肢体行为控制投影画面，产生场景交互，实现具有生理沉浸、认知沉浸的交互性沉浸式虚拟展示。交互投影技术在沉浸式虚拟展示中的使用有利于解决展示物品不便移动、不宜曝光等问题，在文物保护及文化传承方面有一定的作用。

致谢：本篇论文得到了北京邮电大学世纪学院移动媒体与文化计算北京市重点实验室大力支持，为论文提供了反弹琵琶视频及龟兹乐舞展厅素材资源，非常感谢！