基于改进SIFT特征的水下图像拼接技术研究

薛 纯，彭 博

(中国海洋大学 信息科学与工程学院，山东 青岛 266100)



基于改进SIFT特征的水下图像拼接技术研究

薛 纯，彭 博

(中国海洋大学 信息科学与工程学院，山东 青岛 266100)

针对水下图像存在颜色失真、对比度较低等问题，而传统的图像拼接算法直接用于水下图像拼接是不奏效的，文中选用暗通道先验去雾算法来对水下图像进行增强，再运用白平衡算法来校正水下图像的颜色，并用主观评价和客观评价来判断预处理的好坏。然后，选取尺度不变特征变换(SIFT)算法来进行特征点的提取。由于水下图像纹理信息较丰富，因此在进行特征点描述时添加图像的纹理信息，使其能够进行更精确的特征点描述。实验结果表明，改进后的算法能够降低误匹配率，改善水下图像拼接效果。

预处理；特征点；尺度不变特征变换；误匹配率

0 引言

图像拼接技术包括预处理、图像配准和图像融合。在图像拼接中最重要的一步则是寻找特征点，而早在20 世纪 70 年代末学者们就开始了有关图像特征的研究，1977 年，Moravec提出了点特征这个概念，当时他称特征点为“兴趣点”[1]。 1988年，Harris就提出了Harris兴趣点检测器[2]。1996 年，Lindeberg[3]提出了极具影响力的尺度空间理论，这个理论的出现对局部特征的研究具有十分重要的意义。在众多特征提取的算法中，SIFT算法是较为经典的算法。自1999年，LOWE D G提出尺度不变特征变换(Scale Invariant Feature Transform, SIFT)特征检测算法以来[4]，有众多的学者对其进行了改进。2004年，SUKTHANKAR R[5]等人提出利用主成分分析方法(PCA)对SIFT特征描述符进行降维。该算法减少了数据量，节约了整个匹配算法的运行时间。2005年，Mikolajczyk 和 Schmid提出了一种SIFT变体的描述子GLOH[6]，使用对数极坐标分级结构替代Lowe使用的四象限。2006年，Bay等人提出了基于快速鲁棒性特征检测(Speeded Up Robust Feature, SURF)的算法[7]。SURF特征将高斯核近似为一个方波滤波，SURF金字塔仅仅用作特征点的检测[8]。

经过几十年的发展，图像拼接技术已趋于成熟。然而应用于水下的图像拼接技术仍有很大的发展空间。随着海洋强国战略的提出，我国越来越重视对海洋的开发和研究。运用拼接技术解决水下图像视角有限的问题，从而获取大幅度、高分辨率、宽视角的海洋图像，这对于探索海洋和推动海洋科学的发展有着重大意义。本文在预处理时，对水下图像进行颜色校正和增强，使其更好地进行特征点的提取和配准。然后，运用SIFT算法来提取水下图像特征并针对水下图像特征对其描述子进行改进，以提高拼接的精度。

1 图像的获取

本次实验图像的获取是在近海岸完成的。实验的主要器材有：标准分辨率板、自制目标物、光源、单目双目摄像头等。通过改变摄像头拍摄方式，分别用平移和旋转拍摄，来获得不同拍摄方式得到的水下图像。通过分别使用单目和双目摄像头进行实验，探索不同摄像头对水下图像拼接的影响。同时，在实验过程中，应该注意以下几个问题：

(1)由于是水下实验，要克服水中的浮力和水流的影响，选择较为平缓水流的区域来进行实验。

(2)要尽量保证所选物体要在同一个平面上，可以使各个物体之间通过木棍固定住。

(3)本文设计的实验都是假设没有运动物体存在于两幅图像之间的重叠区域。

(4)由于考虑到实验的可操作性，尽量选择近海进行实验。具体实验的深度，要实地考察海水的能见度及实际情况进行确定。

在本次实验中所使用的图像采取的摄像头是适用于水下的多CCD摄像头进行拍摄。同时量化重叠区域，得到多种不同重叠比例，多种不同拍摄角度，不同摄像头的水下图像拼接图像，模拟了真实的水下图像拍摄的方式，同时为下一步的图像拼接以及算法正确性可用性的验证打下坚实基础。

2 图像的预处理

在传统的图像拼接过程中，有很多预处理的方法，而图像预处理的目的是为了进行图像几何畸变的校正和对图像噪声的抑制。常见的噪声有高斯噪声和椒盐噪声等，而常用的预处理方法有中值滤波和均值滤波等手段。但是对于水下图像来说，由于受到严重的吸收和散射作用的影响，使得获得的水下图像存在颜色失真(图像偏蓝或偏绿色)，并呈现一层雾状效果，对比度和清晰度较低，噪声较多。其预处理的重点应该是对水下图像进行去雾和颜色的恢复。因此本文对多幅水下图像通过用暗原色先验去雾算法来对水下图像去雾，再运用白平衡算法来校正水下图像的颜色。通过50名实验者人眼主观评价多幅图像处理前后的好坏，并对多幅处理前后的照片分别进行特征点检测。则预处理前后评价结果如表1。

表1 处理前后图像质量比较

由表1可得，经预处理后的图像获得更多的特征点，同时主观评价也更好。

3 图像特征点提取与描述

3.1 图像特征点的提取

图像的特征点是指在一幅图像中比较明显的点，通常是图像暗处的亮点、亮处的暗点、角点及一些不易随光照旋转尺度等因素变换的点。而在图像拼接过程中，图像特征点的提取是最为关键的一个环节。在众多的图像特征点的提取算法中，SIFT算法是较为优秀的一个，主要是因为它具有以下几个特点：

(1)稳定性，通过SIFT算法选取的特征是图像的局部特征，它具有尺度不变性，同时对光照、旋转、亮度也具有一定的稳定性。

(2)结合性，通过SIFT算法进行特征点描述时，形成了特征点描述向量，将特征点的表达用128维的向量来表示，易与其他形式的向量结合。

(3)实时性，经过优化的SIFT算法有较快的速度。

而正是由于水下图像的多变性，由于水流的影响，在实际应用中，在水下图像拍摄时，摄像头的方向和角度是不易控制的，因此会存在图像旋转角度等多种因素。同时，高速度的处理更适用于实时水下图像拼接。因此，本文选用SIFT算法来进行提取特征点。

3.2 特征点的描述

由于传统的SIFT算法在进行特征点描述时，仅仅考虑其128维的领域梯度信息，这对于纹理丰富的水下图像显然是不够的，因此可以运用SIFT算法的可结合性，添加特征描述子的纹理信息，得到一个更高维度的向量来描述特征点。具体的实施步骤如下：

设F(x,y,σ,θ)i为通过 SIFT 算法得到的某一特征点，其中(x,y)为Fi在原始图像上的位置坐标,σ和θ分别为Fi的空间尺度因子和主方向。则原始的特征点能够得到一个128维的向量。

以该特征点为中心，计算其10×10邻域内所有点的LBP值，从理论上来说，其邻域越靠近中心特征点，其对中心点的贡献越大，因此对计算后的LBP值进行高斯加权，组成一个一维向量,记为Ti,则：

Ti=[w1*lbp1,w2*lbp2,…,w100*lbp100]

为了消除光照变化的影响,则把Ti进行归一化处理。由原始的128维SIFT局部特征向量Ti和得到的100维向量构成新的228维的描述子。

4 图像的配准与融合

本文在获得特征点之后通过相似性度量进行图像配准，在获得两幅待拼接图像的空间变换关系之后，进行图像的融合。图像融合有几种常用的技术，如直接融合法、中值滤波融合法、多分辨率样条技术融合方法等，本文采用中值滤波融合法对待拼接的水下图像进行融合，从而克服光照的不连续性而造成的影响。

5 结论

图1为经过实验获取的两幅待拼接图像。图2是未针对水下图像进行预处理，直接用传统的SIFT算法获得的拼接图。图3是对原图进行暗原色去雾和白噪声算法，然后通过添加特征点的纹理信息来改进SIFT描述子得到的拼接图。实验结果表明，直接运用传统的拼接SIFT算法,拼接效果较差，拼接处存在明显的图像错位。而改进后的拼接算法，校正了图像颜色，降低了误匹配率，拼接处无明显错位，拼接效果较好。整个拼接流程相对于传统的水上SIFT算法的拼接来说，更具有针对性，拼接效果更好。

图1 待拼接原图

图2 传统SIFT算法水下拼接图

图3 改进后的水下拼接图

[1] MORAVEC H P.Towards automatic visual bbstacle avoidance[C].

Proceedings of the 5th International Joint Conference on Artificial Intelligence, 1977: 584.

[2] HARRIS C, STEPHENS M. A combined corner and edge detector[C].Alvey Vision Conference, 1988: 147-151.

[3] LINDEBERG T. Edge detection and ridge detection with automatic scale selection[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1996: 465-470.

[4] LOWE D G. Object recognition from local scale-invariant features[C].Proceedings of the Seventh IEEE International Conference on Computer Vision, 1999, 2: 1150-1157.

[5] KE Y, SUKTHANKAR R. PCA-SIFT: a more distinctive representation for local image descriptors[C]. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004, 2: 506-513.

[6] MIKOLAJCZYK K, SCHMID C. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[7] BAY H, TUYTELAARS T, VANGOOL L. SURF: speeded up robust features[C].European Conference on Computer Vision, Springer Berlin Heidelberg, 2006: 404-417.

[8] 马林伟, 朱国魂.改进SURF算法的图像拼接算法研究[J]. 微型机与应用, 2014, 33(24): 45-47.

Underwater image mosaicking technologies based on the improved SIFT algorithm

Xue Chun, Peng Bo

(College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China)

The traditional image stitching algorithms are always uneffective to underwater images because of the distortion and the low contrast. In this paper, we use the dark channel prior algorithm to enhance the underwater images, and then use the white balance algorithm to correct the color. The subjective evaluation and objective evaluation can be used to judge the quality of preprocessing image. Next, we use the original Scale Invariant Feature Transform (SIFT) algorithm to detect feature points. Underwater images contain rich texture information, texture features are added when the feature point description is carried out, so that it can perform more accurate features description. The experimental results show that the improved algorithm can reduce the mismatch ratio and improve the stitching effect of underwater images.

preprocessing; features; scale invariant feature transform; mismatch ratio

TP391

A

10.19358/j.issn.1674- 7720.2017.11.013

薛纯，彭博.基于改进SIFT特征的水下图像拼接技术研究[J].微型机与应用，2017,36(11)：44-46.

2017-01-15)

薛纯(1992-)，女，硕士研究生，主要研究方向：水下图像处理。

彭博(1992-)，男，硕士研究生，主要研究方向：图像质量评价。