图像拼接技术在VR全景图像处理中的应用

曾 琪

（江西制造职业技术学院信息工程学院 江西 南昌 330095）

0 引言

VR技术主要是通过用户的感知与操作行为，将用户引入到计算机构造的虚拟场景中，在场景体验过程中，产生一种相对真实的感受[1]。VR全景图像就是将多张有重叠区域的图像采取拼接处理的方式，使其生成一张具有全景视觉效果的图像[2]。此种处理方法能够保留图像原有的信息，提高图像视角，已经被广泛地应用于各种场景。但要发挥此类图像的更高市场价值，应将图像拼接处理作为基础工作，利用数字化技术建立虚拟场景，在对应的场景中拼接全景影像与图片。为了满足使用者的即时互动需求，必须采用快捷、有效的方式拼接处理图像。为落实此项工作，本文将在此次研究中引进图像拼接技术，设计针对VR全景图像的全新处理方法，旨在通过此次设计深化图像处理效果，提高多视角拼接图像的视觉效果。

1 VR全景图像特征提取与特征点匹配

为实现对VR全景图像的规范化处理，引进Sift提取法，提取VR全景图像特征，并通过对提取特征与图像的适配，掌握图像的基本构成[3]。在此过程中，将原图像按照比例转换，得到不同尺度下的图像空间表现序列，将空间表现序列作为图像的特征矢量，用于在不同的分辨率上的焦点、边缘检测以及特征提取[4]。描述原图像的2D空间尺度，如下公式（1）所示。

式（1）中：L（x，y，σ）表示图像在空间尺度σ下，其中任意一点（x，y）的灰度值；*表示图像之间的卷积计算；σ表示空间尺度划分标准；G（x，y，σ）表示高斯卷积核；I（x，y）原始图像分辨率。在此过程中，σ是描述原始图像平滑性的关键因素之一，σ的取值越大，说明图像越平滑，σ的取值越小，说明图像越模糊。

图像特征点的提取过程可以作为空间极值点的提取过程，在此过程中，将LoG中的像素点与其邻近像素点匹配，通过此种方式，全局检索特征点[5]。为实现特征点的准确定位（次像素级）和标度，必须采用曲线拟合法匹配特征点。此过程如下公式（2）所示。

式（2）中：D表示VR全景图像特征点；X表示拟合曲线；D0表示未匹配的VR全景图像特征点空间坐标。在此基础上，计算匹配特征点的对比度，剔除特征点中的冗余点[6]。按照Sift提取法和曲线拟合法匹配，完成VR全景图像特征提取与特征点匹配。

2 VR全景图像首位无缝拼接与光线自然过渡

设计VR全景图像首位无缝拼接处理，首先通过对所检测到的特征向量的提取，将局部特征向量平滑地扩展到整个图像区域，从而消除全景图像的拼接。为了使原始图像的色彩和结构平稳地向处理图像过渡，需要将对象图像中的像素定义为形变向量，以描述其结构和色彩的形变[7]。图像拼接技术利用特征点的形变向量，使特征点在其他区域内平稳地传播，使整个图像的像素变化都在指定区域内，通过此种处理方式，可以避免图像结构和色彩存在较大差异[8-9]。由于VR全景图像拼接缝线的不连续会对其视觉造成直接影响，因此，选择拼缝作为VR全景图像的结构特点。

捕捉所匹配VR全景图像的特征点，在图像边界相交时，得到当前特征点和相交边界的下一点曲率，对曲率最小边沿扫描，在剩余方向上截断 。此过程如图1所示。

图1 VR全景图像在拼接过程中的形变传播示意图

上述图1中，P1表示匹配后输出的VR全景图像特征点；P2表示VR全景图像中的原始特征点；P3表示VR全景图像中的非匹配特征点。在此过程中，形变传播最小化能使形状向量向目标图像平稳传播，即求出以下表达式的最小值，掌握拼接分量。

式（3）中：V表示形变矢量最小值；l表示形变传播距离。在此基础上，通过对目标图像中各个像素点的形状向量逆向插入，得到了目标处理图像的梯度场。为避免在此过程中出现颜色过渡不流畅的问题，将目标图像的梯度场作为参照，设定VR全景图像的颜色过渡到极小值。确保图像在首尾无缝拼接时，其颜色过渡的均衡性，从而实现基于图像拼接技术的VR全景图像首尾无缝拼接与光线自然过渡。

3 误匹配点消除处理与匹配点坐标更新

考虑到通过此种方式拼接处理的VR全景图像，可能存在误匹配点，为消除或降低误匹配点对VR全景图像处理后视觉效果的影响，下述将通过粒子群处理法，消除误匹配点。处理过程中，在完成首位无缝拼接处理的VR全景图像中随机选择4个匹配点，要求所选的4个匹配点互相不在一条水平线上。按照组对，连接各组斜率，使其中任意两点形成一条直线。在待处理的平面内，随机选择三个坐标点，绘制一个圆，将圆形的圆心选定在两个匹配点连接的线路上。计算VR全景图像中任意一点与圆心之间的距离。计算公式如下。

式（4）中：A表示VR全景图像中任意一点与圆心之间的距离；（c1，d1）表示VR全景图像中任意一点的坐标；（c0，d0）表示VR全景图像中圆心点坐标。采用粒子群算法，对圆心点的坐标更新处理。更新过程中，注意按照规范设定粒子在空间中的当前位置、更新位置、更新速度等参数。利用全局极值、个体极值等参量，指导并实时更新粒子群在空间中的下一步迭代位置。通过此种方式，降低全局计算的烦琐与复杂程度。当粒子群通过更新达到某一位置后，记录此位置的坐标，将其作为更新点坐标，重复上述步骤，即可实现对误匹配点的消除处理。在此基础上，实时记录粒子群在空间中的更新状态，当粒子在某个坐标点不再发生位置更新后，证明此点为特征点或接缝高度适配点，从而实现对VR全景图像匹配点坐标的更新。按照上述方式，实现误匹配点消除处理与匹配点坐标更新，完成基于图像拼接技术的VR全景图像处理方法设计。

4 对比实验

为实现对此方法在实际应用中效果的校验，下述将以某摄影基地为例，设计对比实验，对该方法的实际应用效果展开测试。选择此摄像基地对外公开数据库中的VR全景图像作为测试样本。实验过程中，使用java、MFC、微软类基础技术，编译计算机程序。在此基础上，根据相关工作的实际情况，结合对比实验的具体需求，搭建对比实验测试环境。测试环境参数如下表1所示。

表1 对比实验环境参数

完成对测试环境的设计后，在VR全景图像序列的内部，将GOP按时间顺序分成若干个GOP子项，并以GOP为单位，对子项编码处理。在此基础上，采集对比实验样本图像，将样本图像划分成两个组别，其中一组图像用于处理过程中的训练，另一组图像用于拼接测试。完成处理后，分别使用本文方法与基于OpenCV技术的VR图像处理方法，以及基于Harris算法的VR图像处理方法做对比研究。

随机在测试样本集合中选择一组全景图像样本，使用三种方法对样本图像拼接处理。按照规范完成对图像的处理后，将完成处理的拼接图像呈现在计算机终端，展示三种处理方法的拼接处理效果，如图2所示。

图2 三种方法对样本图像拼接处理效果

从图2可以看出，本文设计的基于图像拼接技术的处理方法在实际应用中对于样本图像的拼接效果最佳。该方法可以保证完成对图像的拼接后，视觉层面该图像无明显的衔接痕迹。

在此基础上，选择大量的样本图像，使用三种方法对样本图像进行拼接，统计三种方法在实际应用中的拼接处理一次成功率，其结果如下表2所示。

表2 拼接处理一次成功率统计结果

综合表2结果可以看出，本文设计的处理方法，可以在优化图像拼接处理效果的基础上，提高拼接处理一次成功率，即提升VR全景图像处理效率与综合水平。

5 结语

图像拼接处理能力是推动VR技术发展的一个重要因素，因此，设计一种既快又准的全景拼接技术，对于工程领域而言，具有较高的实用价值。为发挥VR全景图像在相关领域内更高的价值，本文通过VR全景图像特征提取与特征点匹配、VR全景图像首位无缝拼接与光线自然过渡、误匹配点消除处理与匹配点坐标更新，完成了基于图像拼接技术的图像处理方法设计。在完成设计后，通过对比测试证明该方法可以在优化图像拼接处理效果的基础上，提高拼接处理一次成功率。为进一步实现对相关设计内容的深化，可在后续的研究中，和更多的传统方法做对比，并设置其他指标评估本文设计方法在实际应用中的效能与价值，旨在通过此次设计解决图像处理领域相关问题。