移动AR+VR支持下全景图像拼接均匀性校正方法

赵 松，王 勐

(南京师范大学中北学院，江苏 丹阳 212300)

1 引言

图像拼接技术是计算机图形学和视觉等领域的重点研究内容，全景图像是在统一场景下利用拼接技术对多组重叠区域进行融合、配准操作获得的[1]。全景图像被广泛地应用在遥感视觉、摄影测量等领域中。相机一般情况下视角为垂直35°，水平50°，人眼的视角通常情况下为垂直135°，水平200°。一般镜头的视角通常较小，拼接全景图像所用的图像较多，且拼接成的全景图像中的重叠区域较大，导致全景图像的均匀性较差[2]，因此需要对全景图像拼接均匀性校正方法进行分析和研究。

杨明东[3]等人提出基于匹配策略融合的图像拼接均匀性校正方法，该方法首先提取并计算全景图像的特征点和对应的描述符，在坐标约束条件下采用RANSAC算法确定匹配策略实现特征匹配，构建投影变换模型，采用多线程技术在投影变换模型的基础上在参考坐标系中投影全景图像，实现图像的均匀性校正，该方法无法获取全景图像中存在的重叠区域，导致校正后的全景图像结构相似度评分SSIM较低。陈波[4]等人提出基于子孔径目标图像配准的图像拼接均匀性校正方法，该方法结合M估计抽样一致算法、欧式距离最近邻法和尺度不变特征变换算法对图像进行配准处理，计算瞳孔放大器和探测器在孔径之间的误差，通过对误差进行调整提高全景图像的均匀性，该方法在校正过程中忽略了重叠区域，导致校正后的全景图像边缘差分谱评分DoEM低。姚钦舟[5]等人提出基于映射关系的图像拼接均匀性校正方法，该方法将四维光场参数引入折射模型中，构建成像模型，通过光场方向信息获得对应的坐标映射关系，根据映射关系实现图像拼接的均匀性校正，该方法无法有效地对重叠区域中的像素进行处理，导致校正后的全景图像扭曲度大，存在累计误差大的问题。

为解决传统方法中存在的问题，提出移动AR+VR支持下全景图像拼接均匀性校正方法。

2 确定全景图像的重叠区域

在移动AR+VR支持下采用相位相关算法确定全景图像中的重叠区域，具体过程如下：

用(Δx，Δy)描述图像I1(x，y)和图像I2(x，y)间的平移关系

I1(x，y)=I2(x-Δx，y-Δy)

(1)

在移位特性的基础上通过Fourier变换获得下式

1(x，y)=exp[-j2π(uΔx+vΔy)]2(x，y)

(2)

在式(3)的基础上移动AR+VR支持下全景图像拼接均匀性校正方法实现互功率谱的归一化处理

(3)

对上式做Fourier逆变换处理，构建二维冲激函数δ(x-Δx，y-Δy)：

δ(x-Δx，y-Δy)=F-1[e-j2π(uΔx+vΔy)]

(4)

峰值在冲激函数中的位置就是全景图像的平移参数，利用峰值表征全景图像之间存在的相互关系[6-7]。如果两幅全景图像不相似，对应的峰值为零，如果两幅全景图像相似，对应的峰值为1。冲激函数受到全景图像中移动物体或噪声的影响时，会将能量进行分散处理。

移动AR+VR支持下全景图像拼接均匀性校正方法利用相位相关算法通过上述过程获得平移参数(Δx，Δy)，实现图像重叠区域的监测。

3 全景图像拼接均匀性校正

移动AR+VR支持下全景图像拼接均匀性校正方法在直线投射投影不变性原理的基础上在全景图像的重叠区域中实现均匀性的校正，具体过程如下：

1)确定镜头畸变参数。

(5)

式中，(xd，yd)代表畸变像素点对应的物理坐标；(ud，vd)代表畸变像素点对应的像素坐标[11]。

边缘像素点经过校正处理后对应的梯度可通过下述公式进行计算：

(6)

式中，(Gu，Gv)代表边缘图像亮度值经过校正处理后在(un，vn)处对应的一阶偏导数；I代表全景图像对应的亮度值[12]。通过上述过程获得边缘像素点经过校正处理后的梯度方向α(un，vn)和坐标(un，vn)。

对需要校正的全景图像进行Hough变换，获得前N个Hough变换单元峰值的方向β(q)，与原点之间的距离dist(q)以及对应的Nl条直线端边缘，其中q=1，2，…，N[8-9]。

当第q条直线的方向β(q)与像素点梯度方向α(un，vn)之间的差值低于δa时，通过下式计算第q条直线与该像素点之间存在的距离

dq=|uncos(β(q))+vnsin(β(q))-dist(q)|

(7)

2)通过下述公式将原始全景图像四个焦点坐标a(u21，v21)、b(u22，v22)、c(u23，v23)、d(u24，v24)投射到地图坐标系中

(8)

式中，A0代表摄像机内存在的方位元素；k1代表径向畸变系数；rd代表畸变中心与畸变像点之间在全景图像中对应的欧式距离；(xd，yd)代表畸变像点t对应的物理坐标；(xm，ym)代表物点t′对应的地图坐标。

通过上述公式获得地图坐标值a′(xm1，ym1)、b′(xm2，ym2)、c′(xm3，ym3)、d′(xm4，ym4)，按照xm、ym坐标组对上述获取的地图坐标值进行分组，获得最大值(xmax，ymax)和最小值(xmin，ymin)。

3)对地面网格进行划分，设dxm、dym为每个像素点在输出全景图像中的地面尺寸，计算全景图像的总列数col和总行数row

(9)

式中，fix代表取整函数。

4)计算每个像素点坐标(u′，v′)在校正图像中对应的地图坐标(xm，ym)

(10)

式中，u′=1，2，…，col，v′=1，2，…，row。

5)根据地图坐标(xm，ym)通过下述过程计算像素点在原始全景图像中对应的坐标(ud，vd)。

在理想无畸变全景图像中计算物点t′(xm，ym)对应像点t0的物理坐标

(11)

式中，Ccm代表第i幅全景图像的外方位元素。

移动AR+VR支持下全景图像拼接均匀性校正方法通过单参数模型对变焦距镜头畸变进行计算

(12)

(13)

当k1<0时，全景图像为桶形畸变，当k1>0时，全景图像为枕形畸变。

通过下式根据rd对畸变图像中物点t′(xm，ym)对应的像素坐标(ud，vd)进行计算

(14)

6)移动AR+VR支持下全景图像拼接均匀性校正方法通过双线性差值算法对像素点坐标(ud，vd)在原始全景图像中对应的灰度值进行计算[11-12]，即为校正全景图像(u′，v′)像素点幅值。

7)重复步骤(4)-(6)，依次对像素点在标准图像中对应的灰度值进行计算，完成计算后结束，实现全景图像拼接的均匀性校正。

4 实验与分析

为了验证移动AR+VR支持下全景图像拼接均匀性校正方法的整体有效性，需要对移动AR+VR支持下全景图像拼接均匀性校正方法进行测试，本次测试使用的平台为Qt Creater5.7平台，操作系统为Windows7 64位，结合Boost多线程库和OpenCV 2.4.10视觉库进行相关测试。

分别采用结构相似度法和边缘差分谱评价法对移动AR+VR支持下全景图像拼接均匀性校正方法(所提方法)、基于匹配策略融合的图像拼接均匀性校正方法(文献[3]方法)和基于子孔径目标图像配准的图像拼接均匀性校正方法(文献[4]方法)校正后的全景图像质量进行评价。对比测试的指标分为结构相似度评分SSIM、边缘差分谱评分DoEM以及扭曲度。结构相似度评分SSIM越高，说明该方法处理后的图像与原图像的差别越大，即校正效果越好。边缘差分谱越高，说明校正后图像质量越好。扭曲度越低表明校正后的全景图像累计误差越小，结构相似度法的评分结果由三个要素构成，分别是结构相似度、对比度相似度和亮度相似度评价，结构相似度评分SSIM可通过下式计算得到

(15)

式中，s(x，y)、c(x，y)、l(x，y)分别代表结构、对比度和亮度比较函数；σxy代表两个全景图像之间存在的互相关系数；C3、C2、C1为常数；μx、μy、σx、σy分别代表全景图像的平均强度以及对应的标准差。

所提方法、文献[3]方法和文献[4]方法的结构相似度评分SSIM如表1所示。

表1 结构相似度评分SSIM

边缘差分谱评分DoEM可通过下式计算得到

(16)

式中，σ2代表全景图像过度区域对应的方差；μa代表全景图像过度区域对应的均值；μe代表全景图像过度区域对应的边界区均值。

所提方法、文献[3]方法和文献[4]方法的边缘差分谱评分DoEM如表2所示。

表2 边缘差分谱评分DoEM

分析表1和表2中的数据可知，在多次迭代中所提方法的结构相似度评分SSIM和边缘差分谱评分DoEM均高于文献[3]方法和文献[4]方法的结构相似度评分SSIM和边缘差分谱评分DoEM。结构相似度评分SSIM和边缘差分谱评分DoEM越高表明方法校正后的全景图像质量较高，因为所提方法在移动AR+VR支持下采用相位相关算法确定全景图像中的重叠区域，在重叠区域内对全景图像拼接的均匀性进行校正，提高了校正后全景图像的质量。

将扭曲度twist作为测试指标，对所提方法、文献[3]方法和文献[4]方法的整体有效性进行测试，扭曲度twist的计算公式如下：

twist=max{slopes(i，j)}i，j∈resultpoint

(17)

式中，slopes(i，j)代表相邻坐标间存在的斜率；resultpoint代表全景图像变化处理后构成的中心坐标集合。

所提方法、文献[3]方法和文献[4]方法的扭曲度twist测试结果如图1所示。

图1 扭曲度测试结果

分析图1中的数据可知，在多次实验过程中所提方法的扭曲度均控制在10%以下，文献[3]方法和文献[3]方法的扭曲度在30%-40%范围内波动，对比不同算法的测试结果可知，所提方法的扭曲度最低，扭曲度越低表明校正后的全景图像累计误差越小，因为所提方法在全景图像的重叠区域中根据直线投射投影不变性原理对全景图像拼接的均匀性进行校正，提高了方法的整体有效性，进而降低了校正处理后全景图像的累计误差。

5 结束语

广角镜头与普通镜头相比具有极大的优势，视场宽是广角镜头的特点，利用广角镜头可以获取更多的信息量，通过广角镜头生成的全景图像在人们日常工作和生活中受到了人们的喜爱，但全景图像在拼接过程中容易产生畸变，降低了全景图像的均匀性，为了获取高质量的全景图像，需要研究全景图像拼接均匀性校正方法。目前全景图像拼接均匀性校正方法存在结构相似度评分SSIM低、边缘差分谱评分DoEM低和累计误差大的问题，提出移动AR+VR支持下全景图像拼接均匀性校正方法，首先对图像重叠区域进行检测，利用直线投射投影不变性原理实现图像的均匀性校正，解决了目前方法中存在的问题，为全景图像的应用和发展提供了保障。