改进Harris－SIFT算法在水下图像匹配中的应用

王 鑫，贾敏智

(太原理工大学信息工程学院，山西太原030024)

改进Harris－SIFT算法在水下图像匹配中的应用

王 鑫，贾敏智

(太原理工大学信息工程学院，山西太原030024)

针对尺度不变特征变换(SIFT)算法实时性差、错匹配多，以及Harris角点检测算法精度不高、速度偏慢的问题，提出了一种运用改进Harris-SIFT算法对水下拍摄的双目图像进行特征点提取与匹配的方法。利用改进的Harris算法对两幅图像进行角点检测，然后为特征点分配方向，并生成SIFT特征描述子，完成匹配。实验结果表明，该算法实时性强、匹配率高，并能较好地反映水下物体的形状特征。

改进Harris-SIFT算法;双目图像;角点检测;匹配

随着科学技术的进步，水下勘探、水下目标定位、跟踪等技术越来越受到世界各国的重视。世界上先进的水下机器人大多采用双目视觉技术，能否快速而准确地对水下拍摄的双目图像进行特征提取与匹配成为研究的核心和难点。由于水下光线较弱，可见度低，拍摄的图像不够清晰且易于变形，图像的特征不够明显，因而特征点的提取工作尤为重要。SIFT算法具有较好的尺度、旋转、光照及视角不变性，可以在复杂的环境中匹配并识别出目标物体，是一种较为完善并且稳定的方法。但SIFT算法提取的特征点并非人们视觉意义上的角点，不能很好地反映图像的结构;而且大量复杂的计算会导致其实时性较差，难以满足对实时性要求较高的双目立体视觉系统。而传统的Harris-SIFT算法虽然可以提取角点，但受系数k和阈值T的影响，提取的特征点不够准确且速度偏慢。

本文提出一种改进的Harris-SIFT算法。先通过改进的Harris算法对图像进行角点检测，再利用SIFT算法描述图像特征，最后根据欧氏距离判定匹配点，并采用RANSAC算法剔除误匹配的点，完成匹配。

1 Harris算法与改进的Harris算法

1.1 Harris角点检测算法

Harris检测算法是在Moravec角点检测算法基础上扩展出来的一种特征点提取算法，对图像旋转、灰度变化以及视角变换保持较好的稳定性。

该算法受自相关函数思想的启发，给出了自相关矩阵

式中:Iu(x，y)，Iv(x，y)，Iuv(x，y)分别为图像点的灰度在u和v方向上的偏导及二阶混合偏导;M的行列式表示为det(M)，其对角线之和表示为tr(M)。角点响应函数定义为

式中:经验值k通常取0.04～0.06。经计算，当某一像素点的R值大于设定的阈值T时，这个点即为角点。

角点提取的准确性和可靠性受经验值k的影响，k值的选取会因图像的不同而不同。多次调试k值会花费大量的时间，导致角点的提取速度变慢。

由于提取角点时阈值T是确定的，角点提取的效果完全取决于T值的设定，T值过大会导致特征点数目过少，信息量不足，T值过小会导致特征点数目过多，计算量加大。总之，T值过大或过小都会降低匹配的准确性。每一幅图片的属性都不相同，要想设定具体的阈值也很困难。此外，常常出现一些点聚集在某个区域的现象，会影响角点分布的均匀性与合理性，进而影响匹配的准确性。

1.2 改进的Harris角点检测算法

针对上述情况，本文对Harris角点检测算法进行了改进，使用一种不含k的角点响应函数R

式中:ε为正的微小量。式(3)避免了k值的选取，能够减小所检测角点的点位置偏差。

为避免手动设定阈值对角点提取结果产生的影响，本文采用一种自动设定阈值的方法。采用图像分块与邻近角点剔除的策略，无需设置阈值，保证角点均匀分布，避免产生聚簇现象。首先，对图像中每个像素点进行操作，得到矩阵M，再通过式(3)计算出它们的R值。然后，采用固定块数的分块法将图像分为N块，按R值的大小对每块中的所有角点进行排序，本文采用由大到小排序，留下R值较大的角点。最后，选用一个n×n的模板来处理整幅图像，保留该模板下多个角点中R值最大的点，将临近的角点剔除。这样，对整幅图像的角点检测就已完成。

此外，Harris算法定位精度较低，Forstner算法虽然定位精度较高，但当图像灰度变化时呈现出算法的不稳定性。本文结合两种算法，将前面Harris算法提取出来的角点作为Forstner算子最佳窗口的中心点，在窗口内实施加权中心化，对角点位置进行精确定位，将精度提高到亚像素级。至此，完成了对Harris算法的改进。

2 SIFT算法

SIFT算法是David G.Lowe于2004年提出的一种提取图像局部特征的算法。该算法对图像尺度变化、旋转等保持不变性，对图像变形以及光照的变化有很强的适应性。

1)多尺度极值点的检测

高斯卷积核是尺度变换唯一的变换核，亦即唯一的线性核。二维图像I(x，y)尺度空间的定义为

利用DOG scale-space(高斯差分尺度空间)来检测稳定的关键特征点，具体表示为尺度不同的两个高斯差分核和图像的卷积。

在DOG尺度空间内，每个采样点均要同其空间内的相邻点逐个比较，判断它是极大值或极小值，选出其中的极值点即为尺度空间的局部极值点。

2)精确定位极值点

由于DOG算子对噪声以及边缘较敏感，可通过对局部极值点的三维二次函数拟合来实现特征点位置和尺度的精确定位，利用D(x，y，σ)的二阶泰勒展开式D(X)的插值得到特征点位置及尺度坐标的精确值。

式中:向量X=(x，y，σ)，表示采样点与特征点间的位置、尺度偏移。将候选关键点中低对比度的点和不稳定的边缘响应点去除，来增强匹配性能，提高抗噪能力。

3 改进的Harris-SIFT算法

由于双目立体视觉系统对实时性要求较高，通过上面对SIFT算法前两步的分析得知，SIFT算法提取特征点过程较复杂，不能很好地满足双目立体视觉系统对实时性的要求。具体体现在以下3个方面:1)特征提取过程复杂，计算时间长。2)在生成的大量特征点中，能够正确匹配的特征点很少，影响匹配速度。3)不能准确定位图像的角点，提取的特征点不能反映图像结构。然而，SIFT算法具有较好的尺度、旋转、光照及视角不变性。

通过前面对改进Harris算法的介绍，本文发现改进后的Harris算法具有下述优点:1)实时性好，计算简单。避免了对系数k及阈值T的设置，减少了计算量，节省了大量时间。2)自适应能力强。阈值T的自动设定提高了角点检测的自适应能力。3)提取的角点精度高，且分布均匀、合理，反映图像结构。4)能够在图像位置变化及噪声干扰的情况下准确检测特征点，且误检率较低，稳定性强。然而，它只能在单一尺度下进行角点检测，不具有尺度不变的特性。

所以，为了更准确、快速地完成对水下图像的匹配工作，本文提出一种改进的Harris-SIFT算法。具体步骤为:先用改进的Harris算法对图像进行角点检测，提取图像的特征点;再为每个特征点分配方向，并生成SIFT特征描述子;最后从左右两幅图像的特征点中确定出合适的匹配点，完成匹配。其总流程如图1所示。

3.1 为特征点分配方向

运用改进的Harris算法检测到图像的角点之后，本文依据角点的邻域像素梯度方向的分布特性给每个角点分配方向，其梯度计算公式为

图1 流程图

式中:L为角点的尺度;(x，y)为角点的邻域像素。

实际应用中，创建梯度直方图用以统计邻域像素的梯度方向。分别将主峰值和约为主峰值80%的其他峰值作为该点的主方向和辅助方向，这样能够减少图像旋转对特征点的影响。

3.2 生成SIFT特征描述子

为确保描述子的旋转不变性，将坐标轴按照特征点的方向进行旋转。用16个(4×4)种子点来描述每个特征点，每个种子点含8个方向向量，这样每个特征点就产生16×8即128个数据，形成128维的SIFT特征向量，再对特征向量的长度做归一化处理，进一步去除光照的影响。

至此，运用改进的Harris-SIFT算法生成的特征向量能够去除旋转、尺度、光照变化对特征点的影响。

3.3 特征点的匹配

本文利用描述子的欧氏距离对两幅图像的特征点进行相似性判定。找出图像2中与图像1的某个特征点欧氏距离最近的两个点，计算最近点与次近点欧氏距离的比值，若比值小于设定的比例阈值，则判定这两点为一对匹配点。

最后，利用RANSAC算法筛选并去除错误的匹配点，尽可能降低错误率，达到最佳的匹配效果。

4 实验结果与分析

选取一组在水下拍摄的双目图像，图像的尺寸均为579×440。图2a为左摄像头拍摄的图像，图2b为右摄像头拍摄的图像。实验运用MTLAB R2009b软件仿真，并对SIFT算法、Harris-SIFT算法和本文算法进行了比较分析。

图2 摄像头拍摄的水下模糊图像

采用SIFT算法、Harris-SIFT算法和本文算法匹配的效果分别如图3、图4和图5所示。表1为采用3种算法得出的实验数据对比。

图3 SIFT算法匹配图

图4 Harris-SIFT算法匹配图

从图3～5及表1可看出，采用SIFT算法提取的特征点数最多，误匹配数量也最多，匹配率低，匹配时间长; Harris-SIFT算法虽然比SIFT算法在性能上有了一些改进，但受k和T的影响，仍出现较多的误匹配点，匹配时间也较长。而本文算法在缩短匹配时间的同时提高了匹配率，虽然特征点数目有所减少，但提取的点都是水下图像的角点，且分布比较均匀，精确度高，较好地反映了水下图像的结构。

图5 本文算法匹配图

表1 3种算法的性能比较

5 结论

水下光线较弱、可见度低，拍摄的图像不够清晰且易变形，其特征不够明显，难以准确提取。本文提出一种改进的Harris－SIFT算法，先通过改进的Harris算法对图像进行角点检测，再利用SIFT算法描述图像特征，最后根据欧氏距离判定匹配点，并采用RANSAC算法剔除误匹配点，完成匹配。实验结果表明，本文算法提取的特征点特征集合性显著，较好地反映了图像的结构。同时，本算法在提高匹配率的基础上有效地缩短了匹配时间，即提高了准确性和实时性，更加适合应用到双目立体视觉系统中，为今后水下勘察、目标定位、场景的三维重建等方面的研究奠定了良好的基础。

［1］LOWE D.Distinctive image features from scale－invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91－110.

［2］SCHIMID C，MOHR R，BAUCKHAGEC.Evaluation of interest point detectors［J］.International Journal of Computer Vsion，2000，37(2): 151－172.

［3］常丽萍，冀小平，赵梁.分块的基于Harris角点检测的图像配准方法［J］.电视技术，2013，37(1):45－47.

［4］江铁，朱桂斌，孙奥.特征点提取算法性能分析研究［J］.科学技术与工程，2012，12(30):7924－7929.

［5］孟浩，程康.基于SIFT特征点的双目视觉定位［J］.哈尔滨工程大学学报，2009，30(6):649－652.

［6］邱建国，张建国，李凯.基于Harris与Sift算法的图像匹配方法［J］.测试技术学报，2009，23(3):271－274.

［7］赵钦君，赵东标，韦虎.Harris－SIFT算法及其在双目立体视觉中的应用［J］.电子科技大学学报，2010，39(4):546－550.

［8］胡海青.改进SIFT算法在文字图像匹配中的应用［J］.计算机工程，2013，39(1):239－243.

Application of Improved Harris－SIFT Algorithm in Underwater Image M atching

WANG Xin，JIA Minzhi
(Institute of Information Engineering，Taiyuan University of Technology，Taiyuan 030024，China)

Due to the problems of the poor real-time performance and moremismatch in the SIFT algorithm，together with the low accuracy and slow speed in the Harris corner detection algorithm，amethod of extracting and matching the feature points for underwater binocular images based on the improved Harris-SIFT algorithm is proposed.The corner points of two images are detected by using the improved Harris algorithm，then the directions for each feature point are distributed.Finally，the SIFT feature descriptors are generated and thematching is completed.In the experimental results，it showes that the algorithm proposed in this paper has good real-time performance and high matching rate，and can reflect the objects’shape featureswell.

improved Harris-SIFT algorithm;binocular images;corner detection;matching

TP391.4

A

王 鑫(1987— )，女，硕士生，主研计算机视觉伺服系统、智能控制理论及其应用;

�� 雯

2013－07－27

【本文献信息】王鑫，贾敏智.改进Harris-SIFT算法在水下图像匹配中的应用［J］.电视技术，2014，38(13).

贾敏智(1963— )，副教授，硕士生导师，主要研究方向为智能控制理论及其应用、微型计算机控制系统及工程，本文通讯作者。