随机梯度下降的交互式VR影像拼接均匀性校正

吴海静

(六安职业技术学院 幼儿教育与旅游管理学院,安徽 六安 237158)

随着社会不断发展,交互式VR技术也日新月异。在汽车、房地产、城市规划、影视动画以及医院等行业都可以看到交互式VR技术的身影[1],人们可以在交互式VR技术下尽情享受前所未有的科技体验感,丰富人们生活的同时也给人们的生活带来很大便捷。VR前期的拍摄固然重要,但后期的拼接工作同样不可或缺,VR影像拼接均匀性越高,影像的质量也越高,这会带给人们更加强烈、真实且直观的VR交互体验[2],但目前对交互式VR影像的拼接均匀校正方法仍不完善,依旧存在诸多漏洞,急需有效的影像拼接均匀性校正方法,提升交互式VR影像的视觉效果。

为此众多学者对交互式VR影像拼接均匀校正进行大量研究,王士伟等提出自适应移动窗口的COMS拼接均匀性校正方法[3],以工程为切入点,通过移动窗口对影像实施分块处理并对同窗口下的多影像进行同一组参量校正,结合COMS传感器最终实现交互式VR影像拼接均匀性校正,该方法可以使用较少的影像校正参数,但影像校正后的质量无明显改善;牟新刚基于全卷积神经网络影像均匀性校正方法,通过设定好的子网络实现影像的噪声输入,其次输出级别估量图,最终在主校正网络下完成交互式VR影像拼接均匀性校正,该方法避免影像边缘模糊的状态的同时,校正后的影像仍然存在不均衡缺点[4]。

随机梯度下降算法具备较高的误差校正功能,该算法可以不断对误差进行迭代,不断优化误差,直至误差最小[5-7]。因此本文提出基于随机梯度下降的交互式VR影像拼接均匀性校正方法,该方法不仅可以实现交互式VR影像拼接均匀性校正,而且校正后的影像均匀性高、质量更佳。

1 交互式VR影像拼接均匀性校正

1.1 确定交互式VR影像重叠区域

拼接后的交互式VR影像会在一定程度上存在重叠区域[8],重叠区域越大,表示两个拼接影像之间的关联性越大。也就是说用于拼接的两个影像之间的关联随重叠区的增大而增大,所以可通过将重叠率转换成用于拼接图像的关联参数从而获取交互式VR影像重叠区域。

关联参数属于标准的协方差函数,通过两个信号的方差与协方差相除获得关联参数。若探寻交互式VR影像和目标影像二者之间的灰度出现线性变形,相似化水准依旧可被关联参数表示。可获取两个交互式VR影像灰度矩阵的关联参数,如式(1)所示。

(1)

式(1)中,关联参数用g表示。参量DI1、DI2以及DI1I2的计算如式(2)所示。

(2)

式(2)中,灰度矩阵的总行数、总列数、灰度矩阵灰度均值用m、n和E(I)描述;用I(i,j)表示灰度矩阵i行j列的灰度值。

在式(1)和式(2)的融合下可得关联参数的计算如式(3)所示。

(3)

由式(3)可知,两个交互式VR影像的灰度矩阵计算其实就是关联参数的计算。在计算机上的交互式VR影像灰度矩阵可直观看出,所以无需进行重叠率的特点提取以及影像配对,运算量降低的同时,处理数据的效率明显提升。

用于拼接的影像之间存在非重叠区域,所以在交互式VR影像处理流程中直接对用于拼接的两个影像展开关联运算,由于非重叠区域的干扰,最终结果的正确性将大大降低。本文以用于拼接的两个交互式VR影像的关联区为处理目标,改进优化后的式(1)如式(4)所示。

(4)

(5)

将式(2)代入式(4)中,如式(6)所示。

(6)

由于式(6)中只利用影像重叠区域进行计算,使得计算效率得以提升[9],此外没有非重叠区的干扰,使得通过关联参数确定交互式VR影像重叠区域的准确率大大提高。

1.2 交互式VR影像拼接均匀性调整

根据1.1小节确定的交互式VR影像重叠区域为基础,并在此基础上完成交互式VR影像拼接产生重叠区域的均匀性调整,详细步骤为。

(1)确立镜头畸变参数:畸变系数、畸变中心以及交互式VR影像中对角线的长短分别用k1、(u0,v0)和D表示,那么可变焦距镜头畸变系数满足-1/D2≤k1≤1/D2。将得到的畸变参数组合u与式(7)结合获得调整后的交互式VR边缘影像。

(7)

畸变像素点相应的物理坐标和畸变像素点相应的像素坐标分别是(xd,yd)及(ud,vd)。计算调整后的边缘像素点相关梯度,如式(8)所示。

(8)

式(8)中,用(Gu,Gv)描述调整后边缘影像亮度值在(un,vn)相关的一阶偏导数;交互式VR影像相应亮度值、调整后边缘像素点的梯度方向以及坐标分别用B、α(un,vn)和(un,vn)表示。

(2)使原有交互式VR影像重叠区域4个焦点a(u21,v21)、b(u22,v22)、c(u23,v23)、d(u24,v24)坐标投射在地图坐标系,如式(9)所示。

(9)

VR摄像机内的位置元素、径向畸变系数和交互式VR影像中畸变中心与畸变像点间的欧氏距离分别是A0、k1和rd;畸变像点t相应的物理坐标和物点t′相应的地图坐标分别用(xd,yd)以及(xm,ym)描述。

以上文所用式得到的地图坐标a′(xm1,ym1)、b′(xm2,ym2)、c′(xm3,ym3)、d′(xm4,ym4)为基础并在该基础上采用xm、ym坐标组形式对所得地图坐标展开分组,最后得出最大值(xmax,ymax)和最小值(xmin,ymin)。

(3)对地面网格实施分区处理,用dxm、dym描述每个像素点在输出交互式VR影像中的地面大小,对交互式VR影像的全部列数col以及全部行数row进行计算,如式(10)所示。

(10)

式(10)中,取整函数为fix。

(4)对每个像素点坐标(u′,v′)在调整后交互式VR影像相关的地图坐标(xm,ym),如式(11)所示。

(11)

u′=1,2,…,col,v′=1,2,…,row

(5)以地图坐标(xm,ym)为基础,使用以下流程计算像素点在交互式VR影像的相关坐标(ud,vd)。

以一个参量模型为基础通过对变焦镜头畸变的运算实现交互式VR影像拼接均匀性调整,如式(12)所示。

(12)

(13)

当k1>0时,交互式VR影像为枕形畸变;当k1<0时,交互式VR影像为桶形畸变。

处理rd并对畸变影像中物点t′(xm,ym)相关的像素坐标(ud,vd)进行计算,如式(14)所示。

(14)

(6)交互式VR影像拼接均匀性的调整方法是以原有交互式VR影像中的像素点坐标u为前提条件并对该坐标的相关灰度值采用双线性差值算法,从而在计算后的调整交互式VR影像像素点幅值。

(7)最终不停使用(4)-(6)步骤对标准影像的像素点灰度值调整并计算,实现交互式VR影像拼接均匀性调整。

但以上过程影像拼接均匀性误差不可避免[10],因此本文结合随机梯度算法更好地实现交互式VR影像拼接均匀性误差校正。

1.3 基于SPGD的交互式VR影像拼接均匀性误差校正

拼接均匀性误差越大,拼缝处越分散,所以根据拼缝处可分析出拼接均匀性误差大小,从而随时指引拼接均匀性误差的校正[11-12]。目前校正误差的算法主要包括随机梯度下降算法(SPGD)、爬山法以及遗传算法等。此中由于SPGD算法具有较大的误差校正实力且收敛速率迅速,所以本文采用SPGD算法实现交互式VR影像拼接均匀性误差校正。

在使用SPGD算法实际计量拼缝处过程中,需对拼缝处实施随机干扰再进行迭代,通过干扰下的拼缝处的变化情况获取优化指标并对其进行运算[13],从而得出优化指标梯度,指引下次迭代优化向指标的梯度方位进行[14-15],迭代结束标准为:实现优化指标最大化即拼接均匀性误差最小化。SPGD对交互式VR影像拼接均匀性误差校正过程,如图1所示。

图1 SPGD校正拼接均匀性过程图

完成SPGD对交互式VR影像拼接均匀性误差校正,如式(15)-式(17)所示。

α(k+1)=α(k)γ+Δα(k)ΔJ(k)

(15)

(16)

(17)

计算当k=1、α(1)=0时的拼接影像原有的均匀性误差向量β,如式(18)所示。

β=[b1,b2,…,b20]

(18)

式(18)中,拼接的交互式VR影像中,第i个影像绕x轴和y轴的歪斜误差、第i个影像向x轴、y轴的移动误差和第i个影像(i=1,2,3,4)的原有移动误差分别用b5i-1和b5i、b5i-3和b5i-2以及b5i-4表示。

第k次迭代下影像拼接的误差,如式(19)所示。

(19)

SPGD算法[16]的收敛精准度与速率和优化指标的选择密不可分。本文选择式(20)-式(23)作为SPGD的优化水平评估函数并以此得到水平较高的优化指标。

(20)

(21)

(22)

(23)

2 实验分析

本文选取某商场交互式VR体验中心的200组后台影像,其中包括110组建筑影像、50组插画影像以及40组风景影像,一组有100张影像。随机从一组影像中抽取两张影像进行拼接,对拼接结果应用本文方法进行拼接均匀性校正,探究本文方法的可行性。应用本文方法校正前后的影像效果展示,如图2所示。

(a)抽取的第1张VR影像

(b)抽取的第2张VR影像

(c)未校正拼接均匀性的VR影像

(d)校正拼接均匀性后的VR影像

由图2可知,校正前的影像图片不仅拼接处模糊,而且拼接不连贯、不均衡,通过本文方法校正之后,基本看不出拼接痕迹且拼缝处更加平滑、均匀,说明本文方法可以实现交互式VR影像拼接均匀性校正。

采用结构相似度评分(SSIM)为交互式VR影像拼接均匀性校正效果测试指标,SSIM越大,即交互式VR影像均匀性校正效果越好。SSIM结果主要有三大要素,分别是组成相似度、对比度相似度以及亮度相似度,其计算如式(24)所示。

(24)

式(24)中,组成、对比度以及亮度对比函数分别用s(x,y)、c(x,y)和l(x,y)表示;常数是C1、C2和C3;两个交互式VR影像间的相互关联参量、交互式VR影像的平均强弱以及基准差分别是σxσy、μx与μy、σx与σy。

采用边缘差分谱评分(DoEM)以及变形度(Twist)为交互式VR影像拼接均匀性校正效果测试指标,DoEM越大,即交互式VR影像均匀性校正后的质量越佳;Twist越低,说明均匀性校正后的交互式VR影像总误差越小。两者的计算公式如式(25)和式(26)所示。

(25)

twist=max{slopes(i,j)}i,j∈resultpoint

(26)

式(25)和式(26)中,交互式VR影像过渡区相关的方差、均值以及边缘区均值分别是σ2、μa和μe;邻近坐标间的倾斜率以及交互式VR影像变换过程后组成的中央坐标集合分别用slopes(i,j)和resultpoint描述。

分别对上文所提未校正拼接均匀性的VR影像使用本文方法、文献[3]基于自适应移动窗口的COMS拼接均匀性校正方法和文献[4]基于全卷积神经网络影像均匀性校正方法,对比分析以上方法的SSIM、DoEM以及Twist,如表1和图3所示。

表1 结构相似度评分和边缘差分谱评分

图3 变形度测试结果

通过表1分析,本文方法应用后交互式VR图像的SSIM和DoEM均比文献方法高,因为本文方法先确定交互式VR影像的拼接后的重叠区域,以此为基础,进行针对性的拼接均匀性校正,而并非对大范围的拼接后VR影像进行全局处理,可使拼接处的细节处理效果更好,使校正后影像的质量明显提升;由图3可知,本文方法校正后影像的Twist均在20%以下,比文献方法低10%左右,较低的Twist表明应用本文方法校正后的影响拼接均匀性总误差较小。

综上所述,说明本文方法不仅可以实现交互式VR影像拼接均匀性的校正,而且校正后的影像具有较高质量,此外拼缝处的均匀性程度较高且拼接均匀总体误差较小。

3 结论

以结构相似度评分(SSIM)、边缘差分谱评分(DoEM)以及变形度(Twist)为测试指标衡量本文方法的应用效果,数据表明本文方法拥有较高的SSIM、DoEM以及较低的Twist,说明本文方法实现交互式VR影像拼接均匀性校正的同时,又能使校正后的影像拼缝处更加平滑、均匀,从而得到更高质量的影像;此外本文方法下的影像拼缝处的拼接均匀性程度高且拼接均匀性的总误差较小,校正的效果更加显著。在不久将来希望本文方法可对交互式VR影像领域实现更高的应用价值。