基于全景图像的赫哲族村镇虚拟漫游系统的设计与实现

王浩淼，宋金淼，崔清源，李跃鹏，张子晨，苗 丰

(大连民族大学 a.计算机科学与工程学院；b.大连市民族文化数字技术重点实验室，辽宁 大连 116605)

赫哲族是我国人口较少的民族之一，有语言，无文字[1]，非物质文化遗产非常丰富，通过口耳相传的形式保留下来。在“互联网+”的时代，通过数字化技术将赫哲族非物质文化遗产永久保存，这是研究和保护赫哲族文化的重要内容之一。

全景图像是一种基于若干普通图像序列，通过拼接融合而得到的具有超广视角的特殊平面图像。利用图像融合算法将一个场景内多张不同角度的局部扫描图像进行拼接，再通过投影计算将二维全景图像投影在空间表面上，使二维图像具备了能够实现360°视角的三维观看效果，即构造水平方向360°环视、垂直方向180°俯仰的立体环境[2]。这种技术相较于传统的三维建模技术来说，在博物馆、建筑风貌和民族景点等方面的数字化展示上，有着快速、真实、高效等优点。虚拟漫游是通过在各场景内添加交互热点和链接，将各个全景场景按照真实世界的空间位置进行整合排列，来实现漫游系统中各个地点的任意跳转和类型丰富的交互功能。利用全景虚拟漫游技术对赫哲族文化进行数字化保护，不仅能将赫哲族的各种展馆、村落完整的在计算机和移动设备上展示出来，也能为全国乃至全世界想要了解赫哲文化和当地人文风貌的人们提供一种直观而又便捷的途径。全景图像的拼接融合一般有以下几个步骤：

(1)将从真实世界中获取的一组图像以一定方式投影到统一的空间面(本案例选用球面投影)，使这一组图像具有统一的空间坐标参数；

(2)在选定的投影空间面对相邻图像进行比较，在重合位置选定用于匹配的特征点，并基于这些特征点对准图像；

(3)将图像重叠的区域进行融合处理，拼接成全景图像，并输出球面图像的二维平面展开图。

1 赫哲族村镇图像的采集与拼接融合

1.1 图像采集方案与前期处理

采集图像之前，首先对采集地点做出详细的规划。以黑龙江省同江市作为中心，使用专业扫描摄相机获取室内和地面图像数据，无人机[3]扫描空中场景，覆盖街津口和八岔这两大赫哲族乡，并加入了周边具有当地特色风貌的场景。采集过程中，角度相邻的图像之间保留25%的重合度，在后续的图像拼接融合计算中，计算机才能充分识别并提取出足够准确的特征点，保证最终输出图像的质量。将采集的图像按场景进行分组，并统一进行曝光、色调和其他细节等方面的调整，以避免图像融合时产生接缝，同时保证最大程度的还原场景原貌，全景扫描示意图如图1。地面场景以正常视角进行立体展示，而空中场景则是以高空俯瞰的特殊视角展示。

在图像投影方式上，目前主要有柱面全景、立方体全景和球形全景这三种形式。由于球形全景最符合人们的观察习惯，无论任何场景都能适用，且方便在计算机中展开成二维平面图像存储，所以选择了球形全景作为标准来进行全景图像的采集与拼接融合如图2。采用基于球面投影的全景图像生成技术，对无人机和摄相机拍摄的若干张原始图像进行拼接融合生成球面展开图，再将二维平面的全景图进行球面反投影计算以实现三维实景展示。

a) 地面全景扫描

b) 空中全景扫描

图2 球形全景图像投影示意图

1.2 图像球面投影计算算法

将获取的图像数据投影至球面模型上进行合成得到球形全景图。球形全景可以实现参与者在照相机的视点任意角度、任意方向的观察场景。由于球面全景在计算机中存储结构的限制，一般对球形全景图在俯仰角和方位角上进行采样处理，展开成宽高比为2:1的平面图像。球面投影模型能避免空间不足的缺点，不仅能完整的表现全景空间，能够搜索和反映空间中的所有方向，且它在独立的球坐标系下还能够仅用方位角和俯仰角来表示图像上的任意一点，这种方法可以很好地完成图像的存储和漫游时的截取工作，这是球面模型最大的优点。

摄像机获取的反映360°全景的序列图像是在不同角度下拍摄的，直接拼接时视觉一致性会收到严重破坏，因为在重合区域会产生局部扭曲变形。视觉一致性要求首先把图像统一投射在球面上，完成球面正投影后再进行拼接才能得到无畸变的全景图像。投影平面展开图如图3 ，其中图3(a)为原始图像、图3(b)为平视层球面展开图、图3(c)为仰视层球面展开图。平面一像素点设为p(x,y)，在球面展开图上对应的点为ps(xs,ys)，在球面半径一定时，球面展开平面图像的形状只与俯仰角有关。

球面正投影算法是将所有的实景图像分别投影在一个球面上，由拍摄所得实景图像经球面正投影算法得到球面图像。设摄像机坐标系为Oc-xcyczc，世界坐标系为Ow-xwywzw，其中Oc、Ow为各自坐标系原点，摄相机的拍摄方向为(α，β)，任意一个实景内像素点p(x,y)在球面全景图像上对应点为p'(x',y')，点p(x,y)在摄像机坐标系中的左边为(x,y,f)，其在世界坐标系下的左边为(xp,yp,zp)，则有：

(1)

球面空间坐标系中，过点O与点P的直线参数方程可以表示为：

(2)

联立球面方程表达式(2)可计算出参数

(3)

计算球面坐标之后，还需要将图像转化为二维坐标，即将球面展开为平面，才能方便在计算机中存储。

a)原始图像 b)平时层球面展开图

(c)仰视层球面展开图

图3投影平面展开原理示意图

p(x,y)和p'(x',y')的关系，记为

Δ=ysinαcosβ-xsinβ-fcosαcosβ。

(4)

由公式(3)～(4)推导得出如下结论：

当Δ≥0，z'p=0时，

(5)

当Δ<0，z'p<0时，

(6)

即通过的正负值来判定俯仰层展开图像与原始图像相同位置坐标点的对应关系。实际图像转换效果如图4。

a) 俯仰层平面展开示意图

b) 平视层平面展开示意图

1.3 基于SIFT算法和特征点对准的图像拼接与融合

控制点识别算法采用SIFT图像特征提取算法，利用这种算法可以不受图像旋转、缩放变换的影响，也不受图像本身色差、图像噪点的影响，具有很强的稳定性。为达到这个效果，需要在每个自然特征点中利用图像梯度函数得到一个基准方向，这个基准方向对于每个特征点都是不同的，并且是稳定存在的。为得到这个基准方向，首先要得到待测特征点的尺度值，然后通过极值搜索二维图像I(x,y)，在符合上述尺度值中的空间中通过图像与高斯核卷积可得式(7)[4]，

L(x,yσ)=G(x,y,σ)×I(x,y)。

(7)

式中:(x,y)为图像的像素位置;σ为尺度空间因子;G为高斯卷积函数。下一步使用有限差分的方法，计算特征点周围每个点(x,y)的梯度方向δ(x,y)和大小m(x,y)，用于特征点匹配，

(8)

(9)

δ(x,y)=((θ(x,y)+π)%2π)×36。

(10)

对于计算机识别不准确的特征点可以再次进行人工调整，或者删除一些错误的特征点如图5。

图5 SIFT算法识别特征点

图像融合常用的算法为平均叠加法，即直接对图像进行平均叠加。由于图像之间往往存在亮度差，所以这种方法明显会出现拼接缝隙。故而扫描和后期处理时要注意曝光的一致性，扫描时使用手动参数，在自动参数下要开启曝光锁定。

加权函数法能有效解决缝隙问题，是一种平滑的融合技术，但拼合区往往出现叠影模糊现象，故而要注意拍摄时的视差矫正，保证镜头始终处于视点中心位置，加权法公式

(11)

式中：pi(x',y')是第i幅图像在对应点p(x,y)的值；wi为线性权重函数。中心为1，边界为0[5]。使用这种算法可以让融合后的图像更加自然。

以其中一个地点为例，在空间位置相邻的两张图像之间的重合区域中，识别出若干特征点，并在这些特征点之中选取相似的特征点作为图像拼接的控制点进行匹配。将所有的图像都拼接完后，再对相邻图像的边缘进行融合，消除拼接痕迹，并输出二维平面展开图。对于算法识别不正确的特征点，则需要手动调整以保证图像融合没有错位现象如图6。

a) 球形全景拼接示意图

b) 图像边缘融合示意图

2 赫哲族村镇虚拟漫游系统应用实现

2.1 全景图像在赫哲族村镇虚拟漫游系统中的应用

球面投影是以透镜中心为虚拟观察点，以焦距为半径对应的球体表面为投影面进行球形投影的。二维的平面全景图像需要经过球面反投影计算才能够以三维立体的形式实现如图2所示的效果。照片上任意一点p(x,y)投影到球面的坐标pi(x',y')满足如下对应关系，其中f为相机焦距[6]。

(12)

(13)

经过反投影计算后，被拉伸扭曲的图像才能以正常的状态展示出来。

另外，本虚拟漫游系统的开发是基于网页形式制作的，由于单张全景图像的存储体积较为庞大，为了保证场景的载入速度，可以对图像进行切片。将一张全景图裁切成多张较小的图片，仅加载视野所及的部分以提高加载速度，在进行浏览时能够大大提升观赏体验。

2.2 交互功能设计

虚拟漫游系统是将拼接融合生成的全景图像作为场景，经反投影计算后，用超链接将一个个独立的场景连接，为其添加各种交互热点[7]并封装成一个整体。

系统主要采用基于XML的Krpano语言编写，Krpano语言保留了XML的语法并融入了自己的标记元素，是一种专门用于开发全景漫游的语言。场景内的交互式热点则是使用HTML语言的超链接功能实现的。通过对热点图标指定相应的超链接，实现场景跳转、细节图片、影音介绍等交互功能。

系统界面如图7。场景目录功能可以让用户不受限制地跳转到任意场景，具有很高的自由度，如果用户想体验沉浸式的虚拟漫游，则可以通过点击场景内设置的热点链接标记实现一步一景的浏览，系统提供的自动导览和细节展示功能方便用户对漫游内容的快速了解，这些交互热点功能是虚拟漫游系统的主要功能。另外，部分场景内部嵌有可以实时播放的视频，与虚拟场景融为一体，十分新颖。

图7 系统界面

系统交互功能如图8。界面右上角为附加功能开关，包括背景音乐、语音讲解、电子地图等，其中电子地图可以帮助用户确定当前场景所在位置，让用户始终不会失去方向，背景音乐则可以增添环境氛围，语音讲解则可以使用户更快地了解当前场景的展示内容。

图8 系统交互功能

正上方为当前场景的滚动文字介绍，鼠标移入即可暂停滚动，移出后恢复滚动效果，点击右键还可以切换不同的视角如图9。这些附加功能很好的丰富了系统的展示效果，达到了全面、准确、真实的展示目的。在安装有此系统的计算机上配合投屏APP使用，可以在移动端对其进行同步控制，同时还能部署在网络服务器为远程用户提供在线浏览，无论在线上还是线下都用很好的应用价值。

图9 小行星视角

3 其他相关技术应用

3.1 基于环物扫描的实物展示技术

环物扫描的方法与全景扫描以相机为中心的方法相反，它是让被摄物体处于中心位置，扫描设备去围绕物体(或设备固定，被摄物体自转)进行环绕拍摄。将扫描的若干张图像作为序列帧，在计算机上按顺序播放，利用鼠标拖动来控制正反方向，不通过三维建模就能观察到物体的各个角度。相对于使用三维软件建模和基于二维图像的三维重建算法，这种方式同样具有低成本、高效等优点。

目前这种技术逐渐地被广泛应用于商品介绍，如今也为民族文化保护的某些方面提供了新的途径和便捷方法，与全景虚拟漫游技术相结合能发挥出很好的效果。

3.2 全景视频技术

通过多镜头的全景相机记录同一时间地点的视频信息，并对每一帧同步进行投影计算和拼接融合即可得到长宽比为2:1的球面展开视频，再进行球面反投影计算得到立体的观看效果。全景视频可以360°全方位的展示出一个地点一段时间内的动态信息，在民族文化保护方面也具有很好的应用前景。

4 结 语

近些年来，虽然关于对文化遗产保护的关注度有所提升，但是文化遗产作为一个重要的历史问题的相关解决方案还是有所欠缺，现有的先进技术以及专门对文化遗产保护的特有设施还不够完善和普及，这就不得不迫使文化遗产的保护工作还有很长的一段距离[8]。

针对赫哲族民族文化传承的现状，主要阐述了如何通过采集数据、球面投影计算、拼接融合等步骤生成全景图像的计算机图像处理技术，来开发全景虚拟漫游系统，并将其应用到对赫哲族民族文化的数字化保护上。这种方式可以很好且全面的记录和保存赫哲族现存的建筑风格、居住环境、展馆藏品、习俗等方面的传统文化，还可以通过各种数字移动设备直观的展示和传播，使更多的人了解赫哲族、认识赫哲族。

这项方案虽然是一种快速高效的采集、制作、展示的技术，但是它仍然有自己的不足之处。它仅以实景图像为参考基础，且在同一点位上仅能移动视角，所以还是存在一定的局限性，但这仍是目前在民族文化保护工作上的一种新的方案和思路。