基于多维镜头的全景采集设备与技术实现

毕东月

（安世亚太科技股份有限公司 北京 100025）

0 引言

对沉浸式混合现实的兴趣激增导致商业和消费者360°全景采集系统的广泛使用[1]。消费级全景采集系统包括理光Theta和三星Gear 360，而高端全景采集系统包括诺基亚Ozo和Jaunt One。沉浸式全景图用于Facebook Spaces等社交应用，消费者现在可以通过上传全景图为Google街景做出贡献，这些发展突显了全景内容创建的重要性。由于缺乏立体视差，全景或360°图像和视频只能提供有限的沉浸式体验[2]。

1 三维全景数据采集器

数据采集的质量将直接影响数据的进一步处理，因此在数据采集过程中获取高质量的全景图像数据、坐标位置数据、位置信息和时间尤为重要。全景三维数据采集器由14个运动相机组成，横向10个运动相机均匀分布，覆盖角度120°，顶部2个相机，底部2个相机，具体分布见图1。通过开模，采用铝合金支架固定相机，确保横向角度均匀分布，同时顶部和底部的相机可以同时采集全景图片。一次拍摄就可获取360°×180°环境的图像数据，每个摄像头可获取达到4 k的图像，并能以每秒60帧的速度连续即时拍摄。

2 三维数据采集技术

图像拼接是将具有重叠视野的多张摄影图像组合起来，以产生分段全景或高分辨率图像的过程。通常通过使用计算机软件来执行，大多数图像拼接方法需要图像和相同曝光之间几乎完全重叠才能产生无缝结果，尽管一些拼接算法实际上通过执行高动态而受益于不同曝光的图像重叠区域的范围成像。为了估计图像对齐，需要算法来确定将一幅图像中的像素坐标与另一幅图像中的像素坐标相关联的适当数学模型。可以使用将直接像素到像素比较与梯度下降（和其他优化技术）相结合的算法来估计这些参数[3]。

2.1 图像特征点

Harris Corners检测器是一种角点检测算子，用于提取角点并推断图像的特征，是由Chris Harris和Mike Stephens 1988年在改进Moravec的角点检测器后首次提出的[4]。通过与之前的算法进行对比，在充分考虑了角点分数的差异下，Harris的角点检测器直接检测参考方向，而不是进行每45度角的移动补丁式检测。此算法已被证明在图像的区分边缘和角点方面更精准。通过图像中虚拟局部传感窗口，检查窗口在不同角度轻微移动时的平均能量变化。当其检测值超过阈值时，将窗口的中心像素提取为角点。假设使用灰度二维图像由给出，考虑取一个图像块之间的平方差（SSD）的总和为f，则：

逐步计算图像中的水平和垂直像素，并对图像进行Gossian滤波，得到两个乘积M的4个元素的值。计算Harris响应值R，得到新的M。选择每个像素和局部极值。Harris的方法的特点是像素对应于该区域中最有趣的值。定义限制并选择多个角点[5]。

2.2 图像特征匹配

图像匹配是根据获取图像的特定特征，并在图像数据库中查找链接图像的结构过程。然而，在图像采集过程中，由于传感器噪度和亮度区别的不同，导致采集的图像存在较大的色彩差异，图像匹配技术可以在每幅图像中找到特征相似点。由于目前的图像匹配算法在上述情况下是无法保证图像匹配效率和准确性的质量，需要研究一种即使在光照和辐射不同情况下也能有效提取图像特征的算法。配对和识别虽然是两个不同的概念，但却紧密相连。在技术上有很多相似之处，在其他方面也有很多相似之处。图像识别是图像学中的重要科研领域。由于图像的拍摄条件存在一定的差异性，图像在各个层面体现出较为显著的不同，主要包括空间位置、光学等层面。同时，考虑到噪声和干扰等因素的不同程度，图像的差异性就会越发明显。因此，必须采用图像处理的方法抵消环境差异的影响。在图像关联后，可以根据这些规则匹配目标图像。图像匹配的重要前提是图像特征空间必须包含图像的各种特征值。特征空间数据类型差异大，例如表面或图像旋转不变量、边缘强度、瞬时质心和其他统计信息。图像匹配的核心是特征空间的选择，特征空间选择的正确性不仅仅可以减少搜索中使用的空间，而且可以大幅度提高正确率。图像匹配算法性能和效率取决于特征空间选择。图像匹配需要过滤特征空间中过滤出最有价值、最便捷的图像特征子集。在这个过程中，可以应用局部特征，也可以使用全局图像特征组合来执行配准任务。

使用图像特征匹配方法分析非线性图像变化时，目标图像的图像噪声、图形变形等因素都严重影响了图像的灰度信息。这将导致图像匹配算法的计算量大，从而影响图像匹配的效率。此外，基于局部图像的区域映射方法对灰度转换更敏感，并优化了图像计算匹配结果。需要整幅图像的信息，增加了计算量，匹配时间也会显著增加[6]。

目标图像的每个属性信息都代表一个唯一的特征属性，该属性信息使的程序能够区分图像。特征提取是以参数化和成对形式表达处显式特征信息的计算过程。在图像处理过程中，选择的特征应该易于提取，并确保提取算法的高效率，从而确保图像匹配算法的可靠、稳定和准确。图像特征匹配涉及直接对齐方法，以找到一组图像的对齐方式，以减少匹配或重叠像素之间的总差异之和，使用直接对齐方法时，可以先校准图像以获得最佳效果。Brute Force Matcher是标识符匹配器，它比较两组关键点标识符并创建匹配列表。标识符匹配器将第1组中的每个关键点标识符与第2组中的每个关键点标识符进行比较。每次比较都会生成一个距离值，并且可以根据最小距离选择最佳匹配[7]。图像配准的质量取决于算法确定的最佳匹配关系的4个要素：（1）从图像中提取特征空间进行图像匹配；（2）计算原始图像的特征和注册图像之间的相似度度量；（3）搜索所有可能的图像变换参数的空间；（4）搜索在搜索域Strategy（搜索策略）中寻找平移、旋转等最佳估计转换参数。

图像处理中匹配两幅图像时，如果两幅图像的基本特征信息相似，在图像特征提取、参考图像、目标图像属性提取后，图像特征将具有相同的属性信息。采用参数化的方式，将目标图像表示为标识符。通过特殊的匹配方法建立图像特征信息之间的关联模式，从而匹配图像特征。根据参考图像和目标图像之间的几何变换，建立标准的图像匹配映射模式。映射模式是两者关系的数学表达，是由图像匹配结果决定的唯一关系，从而实现基于内置的图像映射模型的两幅图像的数字转换。

2.3 全景图像拼接

全景图像拼接是将多幅采集图像连续拼接的一个过程。对于两幅图像互补拼接，会在边缘和重叠处会出现显著的噪点、重叠处不透明、边缘裂开等情况。因此，需要在拼接前对图像进行融合。图像融合可以是拼接图像保真、重叠自然，并采用算法消除重叠图像的间隙、填充边缘裂纹，降低图像噪度。图像融合处理算法主要包括两类，即空间域算法和变换域算法。例如，基于空间域的图像融合处理算法、加权聚合、主成分分析（PCA）等。基于变换域的图像融合处理算法包括金字塔变换和小波变换。图像全景合成技术可以将多幅图像组合成一幅高分辨率、宽视野的全景图像。执行图像融合需要图像预处理、记录和融合过程。图像预处理的主要任务是对图像进行初始定位，寻找重叠区域的近似范围，缩小匹配搜索范围，提高相似区域的匹配速度和精度，降低配准难度。图像数据的预处理主要经过平滑操作、边缘锐化操作、去噪操作和图像校正操作。作为合成工作的主要内容，图像配准的准确性直接影响图像拼接的质量。图像配准被定义为根据一定的相似度确定图像之间相关性的过程[8]。图像配准算法的类型大致包括以下两种：（1）基于区域的算法，识别图像的同一部分并通过灰度关系映射，具体算法包括基于空间的像素配准算法和基于频域的算法。（2）基于特征的算法利用图像中的显著特征来计算图像之间的转换，而不是利用图像的灰度信息，具体算法包括基于轮廓特征的算法、角点检测算法和SIFT-scale不变特征变换算法。图像记录完成后，进一步组合以进行拼接。图像合并是将原始图像和记录的图像转换到同一坐标系，然后将它们合成为图像的过程。外部环境对图像拼接影响较大，可通过提高图像匹配算法的可靠性，解决图形目标跟踪丢失问题，进行匹配目标图像。从图像合成角度，提升图像匹配算法稳定性。为了保证图像匹配方法达到预期效果和实效性，确保算法的可靠性、鲁棒性、匹配精度等诸多因素。图像拼接的前提是对序列图像的获取，决定图像能否拼接成功的更重要的一步。虽然在获取序列图像的方式较多，获取序列图像有3种通用方法，选择合适的图像获取方式就显得尤为重要。第1种是将相机固定在一个点上，相机在平面上沿一条垂直线旋转拍摄。第2种是将相机放置于可平行移动的平台上，平台用于在不移动相机的情况下进行连续拍摄。第3种是将相机位置不固定，移动相机以任意角度旋转。图像合成是图像拼接的最后阶段，直接影响最终渲染合成的图像的效果。图像融合是将生成的图像序列组合成包含与原始图像序列一样多的数字图像信息的完整图像的过程。图像合成最常用的有6种：直接均值融合法、中值滤波融合法、加权平均融合法、加权中值滤波融合法、最近邻信息融合法、多分辨率融合法。

3 功能测试

两个相邻图像之间存在相似的区域。根据图像中的像素特征、形状和纹理特征，将这些区域中像素的边缘、顶点和区域作为特征点进行搜索。根据每组相邻图像的特征点，计算出相应的特征变换矩阵，见图2。

图像区域在相邻图像之间部分重叠。数据采集器根据重叠图像的这个区域计算相邻图像之间的不等式，并根据这个不等式合并相邻图像，见图3。

4 结语

本文实现了基于多维镜头的全景三维采集设备，采用Harris Corners算法提取图像特征关键点，基于Brute Force Matcher 算法进行特征匹配实现了数字全景快速三维采集，实验结果验证了数字全景三维采集技术与设备的可行性，可用于现实场景的快速虚拟三维构建，解决了向单个360°全景图自动添加深度的问题。这样做的好处是能够合成立体视图，从而允许用户使用VR头盔体验场景的3D沉浸式可视化。