视差估计下的VR 全景图像局部细节特征提取

张丽敏

VR 全景图像是虚拟现实技术的核心部分之一，其由多组照片拼接而成，利用计算机技术还原实际场景.全景图像细节呈现好坏直接决定着VR 技术的应用效果，其主要通过局部细节特征体现.文献［1］采用基于局部缓存和查表等方式改进双边滤波图像细节算法，实时增强红外图像细节.文献［2］针对由于遮挡（由阴影、树木、建筑物等引起）和道路表面的类内差异等因素造成遥感图像局部细节特征提取困难的问题，利用感知残差网络增强道路拓扑学习结构，优化细节特征提取性能.上述方法都针对图像细节增强和特征提取问题进行了改进，具有一定的意义.但是由于VR 全景图像通常包括高度复杂或变化剧烈的场景，将其用于VR 全景图像特征提取中，可能存在提取不准确或局部遮挡的问题.因此，提出视差估计下的VR 全景图像局部细节特征提取方法.首先，考虑在复杂或变化剧烈的VR 全景图像场景下，噪声可能会降低特征提取的准确性，通过使用去噪算法减少图像中的噪声，改善细节特征提取的效果，结合人眼视觉模型提高对VR 全景图像中重要局部细节特征的识别能力.其次，利用双目视差估计技术获取VR 全景图像中不同视角下的深度信息，避免复杂或变化剧烈的VR 全景图像场景影响.最后，利用SIFI 算法检测并提取VR 全景图像局部细节特征.

1 VR 全景图像局部细节特征提取

1.1 VR 全景图像去噪

VR 全景图像由多组照片拼接构成，在照片采集与拼接过程中，由于环境、设备振动等多种因素的影响，致使VR 全景图像存在灰度值分布不均、夹杂噪声等现象，影响局部细节特征提取的精度，故在VR 全景图像应用之前，需要对其进行一定的预处理［3］.

VR 全景图像灰度值分布不均会降低图像的清晰度，影响对局部细节特征寻找与提取［4］.此研究采用直方图均衡算法解决上述问题，处理公式为：

式中：ζf(i)表示直方图均衡函数；m表示VR 全景图像内部像素点的总数量；n表示灰度级级数；Hf(i)表示输入VR 全景图像对应的直方图；g(x，y)表示直方图均衡处理后的VR 全景图像；f(x，y)表示原始VR 全景图像.

VR 全景图像中会夹杂着各种各样的噪声，例如脉冲噪声、高斯噪声等，对图像细节特征的提取造成不利的影响.因此，此研究采用中值滤波器［5］对VR 全景图像进行去噪处理.中值滤波程序如图1 所示.

图1 中值滤波程序图

应用图1 所示中值滤波器，获取去噪后的VR 全景图像，表达式为：

式中：G(x，y)表示无噪声的VR 全景图像；med{⋅}表示中值获取函数；p与q表示随机常数；Ω表示VR 全景图像区域.

上述过程完成了VR 全景图像的预处理，均衡了图像的灰度值，去除了图像中的噪声，为后续研究奠定了坚实的基础.

1.2 人眼视觉模型构建与VR 全景图像检索

以上述预处理后的VR 全景图像G(x，y)为依据，从用户角度出发，构建人眼视觉模型［6−7］，并以此为基础检索VR 全景图像，获取双目视觉背景下的VR 全景图像信息，为后续双目视差估计提供充足的数据支撑.

常规情况下，图像的纹理灰度更容易刺激人眼视觉的感知［8］.为了方便研究的进行，对其进行量化处理，其影响因子定义为：

式中：αi表示VR 全景图像第i个区域纹理灰度对人眼视觉的影响因子；N表示VR 全景图像划分区域的总数量；Ωi表示VR 全景图像第i个区域的纹理灰度.

人眼视觉对全部灰度级的分辨力并不是一致的，这也是引起双目视差的关键因素之一，故此研究采用函数形式定义人眼视觉分辨力，表达式为：

式中：F(i)表示人眼视觉对灰度级i的分辨力，i的取值范围为[ 0，255 ]；N(i)表示灰度级为i的图像区域数量.

以公式（3）与公式（4）计算结果为基础，构建人眼视觉模型，表达式为：

式中：i[G(x，y)]表示针对VR 全景图像的人眼视觉模型；β表示增益因子；e 表示自然常数；t表示VR 全景图像采集时间；εi表示误差项，具有提升模型精度的作用.

由于人类左、右眼之间存在一定的间距，使得双目视角具有细微差别，这会导致双目观察到的图像目标存在位移现象，影响局部细节特征提取的精度［9］.采用公式（5）所示的人眼视觉模型检索VR 全景图像，获取左、右眼VR 全景图像信息，分别记为GL(x，y)与GR(x，y)，为后续视差估计提供支撑.

1.3 双目视差估计

以上述获得的双目视觉背景下的VR 全景图像信息GL(x，y)与GR(x，y)为基础，加载当前视差重投影后图像S(x，y)，通过匹配代价计算、代价聚合计算、视差计算与后处理计算四个步骤实现VR 全景图像双目视差的估计，为最终图像局部细节特征的提取做好准备［10］.以下为双目视差估计具体步骤.

步骤1：匹配代价计算.

由于左右眼VR 全景图像信息匹配代价计算过程相同，为此，以左眼VR 全景图像信息GL(x，y)为例，计算其与当前视差重投影后图像S(x，y)之间的相似度，即匹配代价数值，计算公式为：

式中：d表示图像GL(x，y)与S(x，y)对应点之间的距离，即相似度测量代价)表示左眼图像中的像素点；(xS，yS)表示 视差 图像中的像素点.

以公式（6）计算结果为基础，融合像素点自身信息，获取“代价体”——视差空间［11］，记为DSI(x，y，d)，至此完成了匹配代价的计算.

步骤2：代价聚合计算.

将步骤1 计算得到的匹配代价连接起来，即对全部像素相似度信息进行加权累加处理，获得代价聚合结果，表达式为：

式中：ξ表示代价聚合结果；ωi表示像素相似度信息的权重系数；di表示加权累加处理后的相似度测量代价.

步骤3：视差计算.

采用全局方法设计能量函数，表达式为：

式中：χ(D)表示能量函数；χdata(d)表示原始代价；γ表示辅助参量，取值范围为[ 0，1] ；χsmooth(d)表示平滑度假设下像素及其相邻像素的视差；μ1与μ2表示惩罚系数；T[ ⋅ ]表示布尔函数，取值为0 或者1；Dp与Dq表示像素p与q对应的视差数值［12−15］.

当能量函数χ(D)取值达到最小时，对应视差图像更加精准，以此为基础，计算的视差数值也更加准确.

步骤4：后处理计算.

步骤3 计算的视差结果Di={D1，D2，…，Dn}呈现为离散状态，由于反射、纹理低、噪声等因素的影响，致使视差数值存在完全错误、部分偏差等现象，通常表现为离群值、峰值或谷值.为了提升局部细节特征提取的效果，需对视差离群值进行删除处理.VR 全景图像视差结果如图2 所示.

图2 VR 全景图像视差结果示例图

如图2 所示，虚线圆圈内部的视差数值为离群值，与大部分视差数值分离，对其进行删除处理即可获得最为精准的视差估计结果，记为为后续研究目标的实现提供依据.

1.4 局部细节特征提取实现

以上述估计的VR 全景图像视差结果D'i=为基础，利用SIFI 算法检测并提取VR 全景图像局部细节特征，为VR 全景技术的可持续发展提供助力［16］.

应用高斯卷积核构造VR 全景图像尺度空间，记为L(x，y，σ)，其中，σ表示高斯函数的方差数值.在VR 全景图像尺度空间中，应用SIFI 算法检测局部细节特征点，表达式为：

由于双目视差的存在，SIFI 算法检测到的局部细节特征点也存在一定的视差，故应用上节视差估计结果对特征点进行适当的调整，获得最终VR 全景图像局部细节特征点表达式为：

将公式（10）输出结果进行整合即可完成VR 全景图像局部细节特征的提取，为VR 全景图像的应用提供一定的支撑.

2 实验与结果分析

选取文献［1］FPGA 与文献［2］感知残差网络作为对比方法1 与方法2，与所提出的VR全景图像局部细节特征提取进行对比实验，验证提出方法的应用性能.

2.1 实验准备阶段

从TID2013 数据集（http：//www.ponomarenko.info/tid2013.htm）中选取1 421 幅VR 全景图像作为实验对象，随机将其划分为10 个组别，获得实验环境情况如表1 所示.

表1 实验环境信息表

如表1 所示，设置的10 个实验组别中，VR全景图像数量与平均噪声均不一致，表明实验环境具有明显的差异性，符合提出方法应用性能测试的需求.

2.2 实验结果分析

以上述实验准备内容为基础，进行VR 全景图像局部细节特征提取实验.通过局部细节特征点检测结果与视差估计误差显示提出方法应用性能，具体实验结果分析过程如下：

以某一幅VR 全景图像为实验对象，应用提出方法与两种对比方法获取局部细节特征点检测结果，如图3 所示.

图3 局部细节特征点检测结果示意图

如图3 所示，点表示局部细节特征点，圆圈表示特征点对应的尺度空间.应用提出方法获得的局部细节特征点检测结果与实际结果保持一致，而应用对比方法1 与方法2 获得的局部细节特征点检测结果与实际结果存在着较大的差异，例如特征点缺失、尺度空间大小不一致等，表明提出方法局部细节特征点检测效果更佳.

视差估计是影响局部细节特征提取精准度的关键所在.通过实验获得视差估计误差数据如图4 所示.

图4 视差估计误差数据图

如图4 所示，对比方法1 获得的视差估计误差最小值为0.35 Pixel，对比方法2 获得的视差估计误差最小值为0.42 Pixel，相较于两种对比方法应用提出方法获得的视差估计误差更小，最小值为0.30 Pixel.上述实验结果显示：与对比方法1 与方法2 相比较，应用提出方法获得的局部细节特征点检测结果与实际结果保持一致，视差估计误差更小，充分证实了提出方法应用性能更优质.其主要原因是所提方法去除了VR 全景图像的噪声，同时利用人眼视觉模型，获取了双目视觉背景下的VR 全景图像信息，降低了视觉估计误差.

以10 min 作为一个单位时间，分别记录在6 个单位时间内，应用提出方法、对比方法1 与方法2 获取VR 全景图像细节特征数量的变化情况.

分析表2 可知，随着实验时间的增加，提出方法提取VR 全景图像细节特征数量在前两个单位时间内，保持大幅度上升的变化趋势，从第三个单位时间开始，保持小幅度上升趋势，第五、第六个单位时间内，开始持续保持稳定，最大值达到10.1×1011个；两种对比方法提取VR 全景图像细节特征数量始终保持上升趋势，全局最大值达到9.9×1011个和9.3×1011个，低于提出方法.综上可知，提出方法能保证在单位时间内更多地提取VR 全景图像细节特征.

表2 单位时间内提取的VR 全景图像细节特征数量

3 结语

VR 全景技术的核心为VR 全景图像，其局部细节特征情况直接决定VR 全景技术应用的好坏，故提出视差估计下的VR 全景图像局部细节特征提取方法.所提方法在VR 全景图像去噪的基础上，构建了人眼视觉模型，并获取双目视觉背景下的VR 全景图像信息.通过估计视差数值，结合SIFI 算法提取了VR 全景图像局部细节特征.实验结果证明提出方法降低了视差估计误差，拉近了局部细节特征点检测结果与实际结果的距离，可为VR 全景技术的发展提供助力.