一种改进720°全景相机底部图像拼接方法

徐一帆， 王新华， 张 广， 王少鑫， 李明达， 穆全全， 宣 丽， 李大禹*

(1. 中国科学院 长春光学精密机械与物理研究所， 应用光学国家重点实验室，吉林 长春 130033；2. 中国科学院大学，北京 100049； 3. 东北电力大学 计算机学院,吉林 吉林 132012；4. 吉林省农村经济信息中心，吉林 长春 130033)

1 引 言

虚拟现实是一种能让使用者拥有沉浸式体验的技术。通过该技术，用户能在虚拟的场景中有现实般的体验。近年来，虚拟现实技术快速发展，得到了广泛应用。在教育、宣传展示、广告、影视娱乐等领域，虚拟现实技术都得到了很好的应用[1]，展示了其优点和巨大的应用潜力。

全景相机是实现虚拟现实的重要工具之一，是能拍摄大角度、广视场图像的图像采集设备。目前，已有很多厂商推出了全景相机设备。2015年，谷歌公司推出了由16个镜头组成的多镜头拼接式全景相机GoPro Odyssey。2016年，三星公司推出了双鱼眼镜头式全景相机gear 360。

720°全景相机是指能够拍摄侧面360°和上下360°全视角图像的全景相机。其有拍摄视角大的优点。但支架等遮挡物对其底部图像的遮挡一直是720°全景相机的一个难以解决的问题。该问题导致采集到的全景图像有遮挡，不完整。而有些应用场景如记录案发现场等对图像完整性要求高，有些用户希望得到更极致的宣传效果或娱乐体验，消除底部图像中的遮挡，获得完整的全景图像对全景相机有很大的意义。

因此，本文设计一组可以分步拍摄的全景相机，拍摄侧面与顶部图像后，在原处用鱼眼镜头分两次拍摄底部图像。通过该方式，可以消除底部遮挡。但是，该方法需要分步拍摄，底部相机的拍摄时间与其他相机不同，受到光照变化等因素影响，底部相机采集到的图像与其他相机采集到的图像之间可能会有亮度、色彩的差异。全景相机不同、相机的拍摄角度不同，相机、镜头本身的特性不完全一致等原因也会造成这种差异。为了得到高清全景图像，本文采用侧面多镜头加顶部底部鱼眼镜头的全景相机设计。该方案全景图像清晰度较双鱼眼式全景相机更高，但会增大侧面图像与鱼眼图像的亮度、色彩差异。图像之间的亮度、色彩的差异在合成全景图像后会在全景图像的拼接缝两侧出现明显的亮度和色彩差异，会使拼接缝更加明显，严重影响图像美观和视觉体验。因此，对底部图像进行匀色处理对提升全景图像的图像效果很有意义。

目前国内外关于匀色算法的研究有很多。图像的匀色算法主要包括Mask匀色算法、插值匀色法、Retinex算法、同态滤波匀色算法、Wallis匀色算法和直方图匹配算法等[2-3]。2006年，李德仁等用Wallis变换对不同遥感影像进行匀色[4]，通过调整待处理图像的均值和标准差，使之与参考图像相应，提升了影像一致性。2016年，吕楠等针对全景图像拼接过程中多幅图像之间的亮度和色彩差异问题，提出了一种多相机图像拼接匀色算法[5]。该算法基于颜色空间转换，将RGB空间的图像转换到YCbCr空间，再通过颜色调节因子进行调节，优化了全景图像的颜色一致性。2019年，李烁等提出了基于图像自适应分块的匀色算法[6]。该算法通过分块计算参数和插值，避免了图像匀色过程中出现的块效应，提升了遥感影像的匀色效果。由于全景相机拍摄的景物有不同的区域，不同区域的反射光不同，在图像中的色彩有较大差异。在对全景图像进行匀色的过程中，基于全局的匀色算法会导致不同区域的图像互相影响，造成匀色结果的偏差，不能达到理想的匀色效果。

针对上述问题，本文提出了一种基于分步拍摄的消除底部遮挡方法，通过侧面和顶部一次拍摄和底部两次拍摄消除底部遮挡，并提出了一种基于图像分割的Wallis匀色算法调整全景图像底部的亮度、色彩差异。经实验验证，基于分步拍摄的消除底部遮挡方法效果良好，能够较好地提升全景图像的完整性和美观度；基于图像分割的Wallis匀色算法能够较好地提升全景图像亮度、色彩的一致性。

2 消除全景图像底部遮挡

2.1 全景相机结构

本文的全景相机主要分为3部分。如图1所示，第一部分为侧方及顶部成像部分，由10个朝向侧方的相机、朝向顶部的鱼眼相机和支架组成；如图2所示，第二部分为底部成像部分，由朝向底部的鱼眼相机和支架组成；第三部分为数据处理部分，由数据传输线、磁盘阵列、计算机组成，能够传输、存储和处理图像。

图1 全景相机侧面及顶部成像部分Fig.1 Side and top imaging part of the panoramic camera

图2 全景相机底部成像部分Fig.2 Bottom imaging part of the panoramic camera

为拍摄出完整的720°全景图像，使用该全景相机采集图像的过程包括以下步骤：先使用侧方及顶部成像部分进行一次拍摄，得到侧面及顶部的图像；再撤走侧方及顶部成像部分，在原处摆放底部成像部分，进行一次拍摄；最后移动底部成像部分，使鱼眼镜头位置不变，支架在与之前位置相反的另一侧，再进行一次拍摄。通过这种方式，采集到10张侧面图像，1张顶部鱼眼图像和2张底部鱼眼图像，可以用采集到的两张底部图像消除底部遮挡，获得完整的全景图像。

2.2 全景图像拼接算法

为合成完整的全景图像，全景图像合成的过程包括：将10张侧面图像拼接成侧面全景图像；利用两张底部图像拼接出完整的底部图像；将底部图像、顶部图像与侧面全景图像拼接，生成720°全景图像。本文所用的图像拼接算法包括基于特征点的图像匹配、光流法、图像融合等步骤。

2.2.1 图像匹配

为实现图像的匹配，首先提取待拼接图像的特征点[7-10]，再建立变换矩阵，用随机样本一致(RANSAC)算法剔除误匹配点[11]，计算出最佳变换矩阵，最后将图像变形后匹配。图3为图像匹配实例图。

图3 图像匹配实例图Fig.3 Image matching example diagram

2.2.2 光流法

光流法[12-13]是一种计算图像之间像素运动的算法。像素从一张图像上的位置到下一张图像上位置的向量被称为光流。图像区域内所有像素的光流称为光流场。使用该方法须满足亮度恒定、空间一致、像素位移较小等条件。用基于特征点的图像匹配方法进行匹配后，再用光流法进行拼接，可以生成双目全景图像，还可以使图像拼接更自然流畅。

采用基于图像块匹配的光流计算方法。对于在一张图像上像素点，选取以它为中心的图像块，在另一张图像寻找相匹配的图像块。定义一个损失函数以估计两个图像块之间的匹配程度，以损失最小的图像块作为相匹配的图形块。以相匹配图像块之间的位移作为该点的光流矢量。由此得到光流场。为增加光流计算过程的稳定性，通常使用多尺寸金字塔结构。对原图多次下采样，得到尺寸更小的图像，在原图中较大的位移在多尺寸金字塔的上层变为小位移。在上一层算得光流后，乘以系数，在下一层调整，获得精确的光流量。

生成全景图像，需要得到每个视角下的图像。但是只拍摄了10个真实视角的图像，因此，须在每个角度插值出一个该视角的像素列。计算从左右两个不同视角拍摄图像的重合区域的光流场。通过该光流场对每个视角插值。可视像素运动与视角变化为线性关系，对视角β插值所用光流可用公式(1)计算：

(1)

其中:y′表示对视角β插值所用光流，y表示覆盖视角β的两张相邻图像间的光流，α0表示上一个真实视角，α1表示下一个真实视角。为达到双目视觉效果，在生成左眼全景图像和右眼全景图像时，分别增加一个向左的偏移量和一个向右的偏移量。用该光流对光流起始图像变形即可得到视角β下的插值像素列。

2.2.3 图像融合

图像融合是实现拼接图像过渡更流畅的图像处理方法。常见的图像融合算法有平均融合、加权平均融合、渐入渐出融合等[14]。加权平均融合即在重叠区域，以两张图像像素灰度值的加权平均值作为拼接后图像的像素灰度值[15]。如公式(2)所示：

(2)

式中:f′(x,y)表示图像融合的目标灰度值，f1(x,y)、f2(x,y)分别表示两张图像的灰度值，g1、g2分别表示两张图像的非重叠区域，g′表示待融合区域，α为权重系数。其当α=0.5时即为平均融合。渐入渐出融合即融合权重随坐标改变的融合方式，假设重叠区域坐标为从x1到x2，则有：

(3)

本文采用渐入渐出融合方式进行图像融合。

2.2.4 底部图像拼接

采集图像后，得到了两张带有遮挡的全景图像，遮挡区域分别在图像的不同侧，如图4所示。

对两张图像进行图像匹配。利用合适的掩膜删去其中一张图像的遮挡区域，拼接上另一张图像的该区域,可以得到没有遮挡的底部图像，如图5所示。

图4 底部图像Fig.4 Bottom image

图5 消除遮挡后的底部图像Fig.5 Bottom image after removing the occlusion

3 匀色算法

3.1 Wallis匀色算法

Wallis匀色法是一种相邻图像匀色方法，通过将待处理图像的灰度值均值和标准差向参考图像调整，实现拼接图像色彩均匀，过渡流畅，如公式(4)所示：

(4)

式中:g(x,y)表示待处理图像的像素灰度值；f(x,y)表示处理后的像素灰度值；mg表示待处理图像的灰度值均值；mf表示参考图像的灰度值均值；sg表示待处理图像的灰度值标准差；sf表示参考图像的灰度值标准差；b表示亮度系数，b∈[0,1]；c表示方差拓展系数，c∈[0,1]。b取值从0到1表示将待处理图像灰度值均值向参考图像调整的程度；c取值1时表示将待处理图像方差向参考图像调整，取值越小，处理后图像标准差越小。图像匀色时一般希望将待处理图像参数完全调整至与参考图像相符。b、c取值为1时最接近实现这一目的。因此，通常情况下，b和c的值取1，则式(4)变为：

(5)

3.2 区域生长法

图像分割是一种将图像按照特征分割成不同区域的过程。本文采用区域生长法[16]进行图像分割。区域生长法是一种根据邻域相似程度进行分割的图像分割方法，能够分割出图像中具有相同或相似特征的区域。在图像特征没有已知规律可以参考的情况下，其较其他方法经常有更优的效果。

区域生长算法的基本思想是从种子点开始，通过生长准则评判种子点和邻域中的点是否性质相近来扩大区域[17]。如图6所示，区域生长法的一般步骤为：第一步选定种子点，令种子点属于集合P；第二步判断种子点邻域中的点是否符合生长规则，令符合的点为新种子点，并纳入集合P，再根据生长规则对新种子点邻域中不属于集合P的点进行判定；重复步骤二直至生长停止，集合P即为分割出的一片图像区域。

图6 区域生长法示意图Fig.6 Schematic diagram of regional growth method

3.3 基于图像分割的匀色

基于全局的匀色算法会导致图像中差异较大的区域互相影响，造成匀色结果出现偏差。本文针对这一问题提出了一种基于图像分割的匀色算法。将图像分割成不同的区域，分别进行匀色。

用区域生长法对待处理图像和参考图像进行图像分割。为减少高频信息造成的分割结果的空洞，图像分割时先对图像进行中值滤波以使图像平滑。将分割结果作为模板，用Wallis匀色算法在LAB颜色空间对两张图像中的相应区域进行匀色。

4 实验结果分析

本文对基于分步拍摄的消除720°全景相机底部图像遮挡的方法进行了实验。实验用相机为PointGrey工业相机，相机视场角为96°，图像分辨率为2 048×2 048。图7为待拼接图像。图8为没有消除底部图像遮挡的全景图像。可以看出，底部图像有较大的区域被遮挡，严重影响了图像的完整性和美观。图9为使用本文基于分步拍摄消除底部遮挡方法得到的全景图像。可以看出，图像中没有了底部被遮挡区域，图像完整性和美观程度有较大提升。

图7 待拼接图像Fig.7 Image to be stitched

图8 未消除遮挡的全景图像Fig.8 Panoramic image without occlusion removed

图9 消除遮挡的全景图像Fig.9 Panoramic image with occlusion removed

本文对基于图像分割的匀色算法进行了实验验证。实验所用的计算机处理器为inter(R) Core(TM) i5-7300HQ，操作系统为Windows10，开发环境为Python3.7，使用了开源库Opencv3.4。图10是未匀色的图像，图11是使用基于全局的Wallis匀色方法得到的结果，图12是使用本文匀色方法得到的结果。可以看出，未经匀色处理的全景图像，其图像底部与其他区域有明显的亮度、色彩差异。本文的匀色算法对提高全景图像底部与其他区域的一致性有效，效果较基于全局的匀色算法有所提升。

图10 未匀色的全景图像Fig.10 Unprocessed panoramic image

图11 基于全局的匀色结果Fig.11 Results based on the global approach

图12 本文算法的匀色结果Fig.12 Results of the algorithm in this article

在底部图像和侧面图像的重叠区域随机选取若干组相应的图像块，尺寸为100×100像素。用相应图像块的灰度值差异评价匀色效果，如公式(6)、(7)所示：

(6)

Δmi=|m1i-m2i|，

(7)

式中:m1和m2分别表示两个相应图像块的均值;i表示通道;Δmi表示该通道的灰度均值差;Δm为Δmi的均方根，用来评价匀色效果。选取10组图像块，计算其均值，结果如表1所示。

表1 匀色效果定量评价Tab.1 Quantitative effect evaluation

使用本文方法匀色的图像较未匀色图像差异减小74.5%，较使用全局匀色方法匀色的图像差异减小59.3%。

5 结 论

本文针对720°全景相机底部图像存在遮挡的问题。提出了一种通过底部相机分步拍摄消除遮挡的方法。并针对底部相机分步拍摄可能造成的图像亮度、色彩不一致的问题，提出了一种基于图像分割的Wallis匀色算法。定量分析结果表明，使用本文算法匀色，图像颜色差异较使用基于全局算法减小59.3%。实验证明，本文提出的分步拍摄消除全景图像底部遮挡的方法效果良好，能够较好地提升全景图像的完整性和美观度；提出的基于图像分割的Wallis匀色算法能够较好地提升全景图像亮度、色彩的一致性。