基于VR全景图像处理的三维重构算法研究

吕 霁

(黎明职业大学，福建 泉州 362000)

虚拟现实(Virtual Reality，VR)是一种实现人机交互，让用户沉浸于虚拟环境中的技术，其涉及计算机图形学、传感器技术等多学科领域。三维重构技术在测绘、军事、虚拟现实等方面发挥着至关重要的作用，基于VR全景图像的三维重构以VR全景图像作为输入，具有价格低、体积小、使用便捷等优点[1]。基于全景图像的三维重构是将像素由二维图像坐标转换到三维空间坐标，通过计算视差来确定像素点与照相机之间距离的深度信息。王媛媛等对双目视觉中的摄像机标定、立体匹配及三维重构算法进行研究，以FPGA为计算平台获取场景深度信息，实现了良好的三维显示效果[2]。金显华等针对采样点距离近导致重构表面易产生褶皱的问题提出了基于拟蒙特卡洛和Taubin平滑的三维图像重构算法，即用拟蒙特卡洛提取图像测量点特征，通过Taubin平滑对三角网格表面进行渲染，将提出的三维图像重构算法应用于人的左右心房重构中，重构结果表明图像的大部分细节信息得到保留，满足了动态图像导航要求[3]。该文采用领域限制和放松方法对全景图像深度提取，同时运用差值算法确定最佳位置，实现对全景图像的三维重构。

1 三维全景图像重构

1.1 全景图像深度提取

传统全景图像深度提取由多个设备拍摄同一场景所获得的图像信息差，其中摄像机的几何位置和摄像机的参数是图像深度提取的重点[4]。对于全景图像而言，其视图是在选定的方向上进行平行投影，即全景图像深度信息D为

(1)

式中：d为视差，Ψ为图像设备孔径，F为图像设备焦距，Δt为不同视图之间采样距离。

由式(1)可知，通过视差取值可以得到全景图像深度信息，采用SSD计算准则的块匹配算法对VR全景图像进行深度提取。设相同图像的两幅视图分别为I1和I2，从第二幅视图I2的候选区选择和第一幅视图I1对应的像素点(x,y)，由像素点(x,y)获取最匹配的区域，记为(x+d，y)，d∈[-R,R]。块匹配算法的计分评价标准为[5]

-I2(x+d,y))2}}

(2)

式中：(x,y)为分析点坐标，I1(x,y)为分析点(x,y)的强度，ω为图像像素匹配窗口，R为图像像素匹配大致范围。

采用邻域限制和放松方法对全景图像深度提取，其在SSD计分准则的基础上充分地考虑了空间因素的限制。根据放松方法计算可以得到全景图像深度信息在对应空间上呈现连续分段状态。为了使得匹配位置能够有效确定，需要对块邻域进行综合考虑，具体如图1所示。

图1 块邻域

考虑邻域限制，对匹配评价的判定标准进行改进，即

(3)

式中：Bij为像素点(i,j)窗口，N(Bij)为Bij邻域的集合，W(Bkj,Bij)为相互不同邻域块权重系数。

邻域限制表现为邻域块视差，对于每一个邻域块视差而言，其都有不同的视差局部改变，从而导致邻域块和中心块不同。因此，在计算SSD的过程中给领域块视差增加一个变量，即

(4)

由式(3)～式(4)得到邻域限制和放松的完整判断标准，邻域限制由窗口SSD决定，领域放松由变量d决定。当函数score取最小值时，那么该数值为所期望的视差取值。采用SSD评分标准获得全部可能差点的剩余取值，在所有的剩余取值中确定阈值Rth，该值通常为最小剩余取值min_residue的η倍，即

Rth=η·min_residue

(5)

所有数值小于代表阈值Rth的值为最终的匹配结构，如果所选择的残余阈值比较大，那么就会产生更多的候选结果，具体如图2所示。

图2 候选过程示意图

1.2 全景图像三维重建

VR全景图像三维重建，提高全景图像的分辨率，达到图像数据处理的目的[6]。VR三维全景图像的深度信息是由图像二维视图和视差之间的关系得到的，根据全景图像的视差信息来对图像匹配程度进行计算，给定匹配窗口，同时在第二幅图中搜索，获得最小残差阈值位置。由深度信息提取算法可知，图像像素点的许多候选视差取值呈现离线分布，即实际计算得到的视差取值往往不能够达到准确的最小值，实际计算结果如图3所示。

图3 差值算法确定最佳位置示意图

由图3可知，候选视差值比较多且离散分布，这导致求解得到的视差值和实际视差值之间的差别比较大，即深度信息没有达到完全准确的目的。通过采用差值算法对视差值点采用二次函数进行拟合得到拟合后的抛物线，计算拟合抛物线的最小值，最终得到score函数中最小的候选视差值。基于差值算法的最佳视差值确定流程如图4所示。

图4 确定最佳视差值流程图

由图4可知，对VR全景图像的三维重构是根据score函数的最小值来确定d值，同时选择d邻近的差值，对d值和邻近的差值采用抛物线进行拟合，同时计算拟合抛物线的最小值，达到对VR全景图像三维重构的目的。

2 实例分析

2.1 VR全景图像选择

高质量的VR图像在传输的过程中受到网络带宽的限制，其往往是以一个完整的球体界面呈现，同时三维的图像将导致数据量增加1倍。网络传输的VR图像是球体界面，在转化为平面全景图像时要考虑网络带宽，根据带宽信息实现由三维图像向二维图像的转变，这样才能使得VR全景图像看起来更加逼真。选择VR室内全景图像，具体如图5所示。

a) 第一幅 b) 第二幅

2.2 三维重构结果分析

采用该文给出的全景图像三维重构算法分别对第一幅和第二幅VR室内全景图像进行重构，结果如图6所示。

a) 第一幅 b)第二幅

由图6对VR室内全景图像重构的结果可知，该文给出的三维重构算法能够实现对VR室内全景图像的三维重构。对比第一幅全景图像和第二幅全景图像可知，第一幅全景图像的重构模型准确性比较差，这是由于第一幅全景图像受到光线的影响所导致的。表1为两幅室内全景图像重构数据对比。

表1 两幅室内全景图像重构数据对比

由表1可知，VR室内全景图像能够在1分钟内实现三维重构，三维重构算法效率比较高，与第二幅图相比，第一幅图的重构时间更短，但是重构的精度比较低，即提高VR全景图像三维重构的精度必须提高VR全景图像的分辨率，但是伴随着VR全景图像分辨率的增加，对VR全景图像三维重构的时间也增加。

3 结论

全景图像三维重构是VR制作的核心技术，针对传统三维重构存在的失真问题，该文采用领域限制和放松方法来提取VR全景图像深度，同时运用差值算法确定最佳位置，确保深度信息完全准确表达，实现对全景图像的三维重构。将三维重构算法应用于VR室内全景图像重构中，重构结果表明提出的算法能够有效实现对VR室内全景图像的三维重构，同时全景图像分辨率越高，重构精度越高，但是也导致重构的时间增加。