灰度变换下图像Harris角点特征点匹配算法性能分析

卢达龙，翁秀玲，吴 炜，王云峰

(厦门大学 信息科学与技术学院，福建 厦门 361005)

灰度变换下图像Harris角点特征点匹配算法性能分析

卢达龙，翁秀玲，吴 炜，王云峰

(厦门大学 信息科学与技术学院，福建 厦门 361005)

由于Harris角点理论上具有不随光照条件改变而改变及旋转不变性等优点，被广泛应用于计算机视觉系统中。但实际应用中拍照光线的变化往往会引起图像的灰度失真，本文对Harris角点提取和SAD、SSD、NCC三种匹配算法在灰度变换下的性能进行了分析。分析结果表明，Harris角点提取具有较好的光照条件鲁棒性；而NCC是三种匹配算中灰度变换影响最小的。

图像匹配；特征点；角点；灰度变换

本文著录格式：卢达龙，翁秀玲，吴炜，等. 灰度变换下图像Harris角点特征点匹配算法性能分析[J]. 软件，2016，37（11）：19-22

0 引言

图像匹配就是把具有同一场景的两幅或多幅图像在空间上对准，进而确定它们之间变换关系的过程，是三维重建的关键技术，是计算机视觉的核心问题。现有的匹配算法[1]分为基于灰度相关的匹配算法、基于相位相关的匹配算法及基于特征相关的匹配算法。所谓特征点指的是满足一定特征条件的特征区域的位置，能够反映图像的某种稳定结构，可以体现图像的本质特性。由于特征点只占图像像素的小部分，所以基于特征的图像匹配算法大大减小了参与匹配的信息量，容易实现图像的实时匹配，是目前计算机视觉的研究热点之一。

已有提取图像特征点的算法很多，包括Moravec算法、Forstner算法、SURF算法、SIFT算法、Harris角点算法等。在各种各样的图像特征点中，Harris角点理论上具有不随光照条件改变而改变及旋转不变性等优点[2]，利于图像的可靠匹配。Harris角点在目标识别、目标跟踪、运动估计、三维场景重构、图像配准等计算机视觉领域有着非常重要的作用。

实际应用中拍照光线的变化往往会引起图像的灰度失真[3]，因此光照鲁棒性也是衡量一个特征点匹配过程的指标之一。本文将在当前计算机视觉研究领域应用最广的图像集上进行基于Harris角点的绝对误差和测度SAD（Sum of absolute differences）、

不相似测度SSD（Sum of square differences）、相似测度NCC（Normalized Cross Correlation）等匹配算法在灰度变换下的性能分析。

1 Harris角点提取算法

Harris角点[4-7]检测法是一种基于图像灰度的检测方法，是由Harris和Stephens提出的，主要是通过计算每个像素邻域的灰度变化矩阵来检测角点，定义矩阵C为：

式中，xI为x方向的梯度，yI为y方向的梯度。设α、β为矩阵C的特征值，当α、β都很小时，检测到的点是平坦区域点；当α、β之间只有一个较大而另一个较小时，检测到的点为边缘点；当α、β都较大时，提示沿着任意方向移动，图像的灰度都将导致明显的变化，表示检测到的点是角点。

为了便于提取Harris角点，根据式（2）与式（3）所示矩阵C的行列式()DetC与迹()TrC定义Harris角点的响应函数M如式（4）所示。

式（4）中k值Harris推荐为0.04。当M值大于一定的阈值，并且在周围8个方向上取到局部极大值时，才判定该点是角点。阈值一般取决于图像的清晰度以及角点强弱等因素，当图像较清晰、角点特征较强时，阈值一般取大一些；当图像较模糊、角点特征较弱时，阈值一般取小一些。

2 灰度变化下特征点匹配算法分析

2.1 基于Harris角点的匹配算法

由于Harris角点提取算法简单易行，提取特征点稳定，因此很多基于Harris角点的匹配算法被提出。其中，SAD匹配算法、SSD匹配算法、NCC匹配算法是应为最为广泛的三种。SAD、SSD、NCC算法简单、速度快，能够满足低标准应用的需求，但是算法包含的约束条件不全面(如缺少色彩约束、视觉梯度约束等)，匹配结果噪声大，对闭塞区域、视差不连续区域和低纹理区域不能兼顾，无法达到高匹配准确率。目前，三种算法通常被用作初始匹配代价函数，很多优秀算法是在此基础上增加约束条件实现改进与完善。

SAD匹配算法计算参考窗口和目标窗口范围内所有像素的灰度绝对差的总和，对于以待匹配点为中心的参考窗口，所有目标窗口中唯有以匹配点为中心的目标窗口具有SAD的最小值，SAD值越小表示相似性越高。

设匹配图的待匹配特点为P（x,y），以此点为中心，取边长分别2m+1、2n+1的矩形参考窗口；设目标图中某任一特征点为P′（x′,y′），以此点为中心，取边长分别2m1+、2n1+的矩形目标窗口，则二者灰度绝对差的总和表达形式如式（5）所示：

图对应点处的灰度值。如果P（x,y）与P′（x′,y′）为一对匹配点，根据光一致性原理，其SAD值应比较小，并且小于一个判断阈值。故SAD匹配过程即为选定一个待匹配点后，遍历目标图中所有特征点，计算SAD值；如果最小SSD值小于判断阈值，则最小SAD值对应的目标点即为匹配点。

SSD与SAD类似，是将求灰度差的和改成求灰度差平方的和。即P（x,y）与P′（x′,y′）的SSD值如式（6）所示：

同样遍历目标图中所有特征点，计算SSD值，如最小SSD值小于判断阈值，则最小SSD值对应的目标点即为匹配点。

归一化互相关NCC技术是一种相对来说抗噪声能力强、匹配准确的匹配算法。图像匹配实际上是比较两幅图像的相似性。把图像展开为向量，就可以归结为比较两个向量的相似性。根据向量点乘的定义

式中θ为两个向量的夹角，若相似，则它们的方向相同，其夹角为0，因此，可以根据cosθ的值来判断两个向量的相似性。把其推广到以待匹配点P（x,y）为中心的参考窗口与以目标点P′（x′,y′）为中心的目标窗口中，则NCC可表示为：

2.2 灰度变化对角点提取的影响分析

在计算机视觉系统中，由于自然环境的影响，连续的两种图片可能是在不同的光照条件下拍摄的。由于光照条件可能会引起图像灰度失真，因此本文首先对Harris角点提取算法在灰度变换下的性能进行分析。

分析基于特征点重复率标准[8]。特征点重复率定于如式（9）所示：

论文首先提取图1所示计算机视觉领域使用最广的四幅图像的Harris角点特征点。

图1 标准原始图像

图2 灰度亮度变换对Harris角点提取的影响

图3 灰度对比度变换对Harris角点提取的影响

然后分别对图1进行灰度亮度变换和灰度对比度变换，对变换后的图像进行Harris角点特征点提取，并计算其与原图像的重复率。灰度亮度变换对重复率的影响曲线如图2所示；灰度对比度变换对重复率的影响如图3所示。

综上，在图像进行灰度变换后，Harris算法仍然能检测出大部分原图上的角点。特别是灰度的亮度变换在很大范围内对Harris角点提取基本上没有影响。灰度对比度变化对Harris角点提取的影响较大，gamma偏离1越远，重复率越低。由于光照条件主要会引起灰度的亮度变换，因此，Harris角点提取具有较好的光照条件鲁棒性。在光照条件变化比较大的应用场景，应该选取较小阈值进行Harris角点提取，以至于计算机视觉连续拍摄的序列图片

中可以提取出足够多的匹配角点，进行图片配准。

2.3 灰度变化对匹配算法的影响分析

对图1所示四幅图像进行灰度亮度变换，然后进行原图与变换后图像基于Harris角点的SAD匹配、SSD匹配、NCC匹配，正确匹配率曲线如图4所示。所谓正确匹配率曲线指的是得到的匹配数占原图角点比例。试验结果显示灰度亮度变换在很大范围对NCC算法没有影响。

图4 灰度亮度变换对匹配的影响

对图1所示四副图像进行灰度对比度变换，然后进行原图与变换后图像基于Harris角点的SAD匹配、SSD匹配、NCC匹配，正确匹配率曲线如图5所示。由于灰度对比度对Harris角点提取影响比较大，故正确匹配率比较小。但将图5与图3对比，可以看出灰度对比度变换下，NCC的正确匹配率曲线与角点重复率曲线接近，因此可认为灰度对比度对NCC匹配几乎没有影响。综合灰度亮度变换下的匹配结果，可以得出灰度变换对NCC的影响最小，进而NCC具有较好的光照条件鲁棒性。

3 结束语

本文进行了Harris角点提取和SAD、SSD、NCC三种匹配算法在灰度变换下的性能进行了分析。试验结果表明，灰度的亮度变换在很大范围内对Harris角点提取基本上没有影响，而灰度对比度变化对Harris角点提取的影响较大，gamma偏离1越远，重复率越低。由于光照条件主要会引起灰度的亮度变换，因此，Harris角点提取具有较好的光照条件鲁棒性；在光照条件变化比较大的应用场景，应该选取较小阈值进行Harris角点提取，以至于计算机视觉连续拍摄的序列图片中可以提取出足够多的匹配角点，进行图片配准。对于匹配算法而言，NCC匹配算法对灰度变换最不敏感，具有一定的光照鲁棒性。

图5 灰度对比度变换对匹配的影响

[1] 谢萍, 邹峥嵘, 肖奇. 基于Harris角点和SIFT特征的近景影像匹配[J]. 测绘科学, 2012, 37(4): 107-110.

[2] 张勇, 余建平, 孙军伟, 金铁. 基于Harris角点匹配算法研究[J]. 计算机与现代化, 2011, 195: 78-81.

[3] 王红梅, 张科, 李言俊. 图像匹配研究进展[J]. 计算机工程与应用, 2004, 19: 42-44.

[4] 钟涛, 张建国, 左俊彦. 基于Harris角点检测的图像配准新算法[J]. 医学影像工程学, 2016, 10:785-789.

[5] 陈梦婷, 闫冬梅, 王刚. 基于Harris 角点和SIFT 描述符的高分辨率遥感影像匹配算法[J]. 中国图象图形学报, 2012, 17(11): 1453-1459.

[6] 龚平, 刘相滨, 周鹏. 一种改进的Harris角点检测算法[J].计算机工程与应用, 2010, 46(11): 173-175.

[7] Bellavia F, Tegolo D, Valenti C,Improving harris corner selection strategy[J]. IEEE Xplore, 2011, 5(2): 87-96.

[8] 张春美, 龚志辉, 黄艳. 几种特征点提取算法的性能评估及改进[J]. 测绘科学技术学报, 2008, 25(3): 231-234.

Performance Evaluation of Image Feature Point Matching Based on Harris Corner

LU Da-long, WENG Xiu-ling, WU Wei, WANG Yun-feng
(School of information science and engineering, Xiamen University, Xiamen Fujian 361005, China)

When the images are taken with the variance in light rays and the angle transformation, The Harris corners of these images are not change. So The Harris corners are extensively applied in Computer vision system. However, the gray of images is usually not true if the images are photoed with the variance in light rays. The performance of Harris corner, SAD, SSD and NCC is evaluated. The evaluation result shows that the Harris corners are robust to variance in light rays and the NCC is least affected by gray transformation.

Image matching; Feature points; Corner; Gray transformation

TP391

A

10.3969/j.issn.1003-6970.2016.11.005

国家自然科学基金资助项目(61274133)

卢达龙(1991-)，男，硕士，主要研究方向：数字集成电路设计及SLAM系统软硬件设计。

王云峰，博士，副教授，主要研究方向：数字集成电路设计及SLAM系统软硬件设计。