角点和边缘结合的红外与可见光图像匹配*

葛 雯，何 博

(沈阳航空航天大学 电子信息工程学院，辽宁沈阳 110136)

0 引言

目前，异源图像的匹配问题一直是一个难点，红外图像与可见光图像的匹配更是其中更难解决的一个问题。近年来，国内外学者提出了许多关于图像匹配的算法，大致可分为两大类。一类是基于图像区域的匹配，另一类是基于图像特征的匹配。基于区域的匹配是将整幅图或局部的灰度或者梯度信息加以统计作为匹配度量，例如改进的SIFT[1]匹配是先运用多尺度Harris提取特征点，再统计各特征点邻域的梯度分布作为特征描述子，然后加以匹配。文献[2]中改进的归一化互相关(Normalized Cross Correlation，NCC)匹配利用了序贯相似性检测技术与NCC匹配度量结合，实现基于区域的目标检测。文献[3]提出了一种基于互信息的匹配算法。由于红外图像与可见光灰度差异大，以灰度作为匹配因子往往不容易成功，红外图像在一定程度上近似等于可见光的负像，因此存在同一点像素的梯度方向相反的可能，导致以统计梯度为描述子的匹配算法失效，因此基于区域的匹配算法鲁棒性差。基于特征的匹配算法通过提取两幅图的特征然后加以匹配，特征有：点，线，边缘，轮廓等。文献[4]是利用物体的形状上下文进行匹配。文献[5]是利用局部二值模式(Local Binary Patterns，LBP)作为特征，再对图像进行分块处理得到LBP联合直方图，进而进行异源图像的匹配。异源图像匹配一直是图像匹配领域的难题，提出一个鲁棒性强的匹配算法意义重大。

本文对传统的加权Hausdorff距离测度进行改进，并将边缘细分为普通边缘点以及角点，不舍弃任何边缘点，分别推导各部分权值，最后将两部分的Hausdorff距离相结合得到最终的改进Hausdorff距离匹配度量。相比于其他Hausdorff距离匹配算法该算法更为精确。

1 图像增强

图像增强[6]是图像预处理中的一部分，是后续图像处理必不可少的环节。图像增强的主要目的是：改善图像视觉效果，尽量提高清晰度，抑制一些无用信息，方便机器进行处理等。而图像去噪是图像增强的范畴，众所周知，红外图像一直有背景复杂和噪声严重的缺点，这给后续边缘信息提取带来很大的未知性，传统的滤波算子例如中值滤波、高斯滤波虽然能滤去噪声，但也容易滤去图像的一些边缘细节，这可能会使后续匹配误差很大甚至失败，如果直接对红外图像进行边缘提取，则提取到的边缘会掺杂很多噪声，导致边缘不完整甚至断裂。

近年来，小波变换[7]不断发展，在图像处理方面，由于其不仅运算方便，对边缘的保留能力强，而且具有多分辨率、速度快等优点，不仅在图像融合[8]中广泛应用，还经常被用来进行图像去噪处理。这里用小波的软阈值去噪[9]对原始红外图像进行处理。实验中选用SYM4小波基作为小波分解的基函数，对原始红外图像进行2层小波分解，使用软阈值函数进行图像去噪，选择小船船杆红外图像进行测试，红外图像与去噪后的红外图像如图1所示，图2给出了小波阈值去噪基本过程图。

图1 小波去噪

图2 小波去噪过程图

经过小波去噪后，发现船体轮廓细节部分基本没丢失，印证了此方法的有效性。

2 边缘提取

图像的边缘一直是图像处理的重要信息，更是异源图像匹配所要用到的重要特征。由于异源图像成像机理不同，同一幅图的灰度信息会有很大差别，但边缘特征经过处理后却有一定的相似性，如何提取到一个好的边缘直接影响后续的图像匹配效果。常用的边缘检测方法有Robert算子、Sobel算子、LOG算子、Prewitt算子、Canny算子等，具体介绍参见文献[10]。边缘检测希望提取的边缘尽可能细而且连续，而Canny算子提取的细节较多且自带降噪预处理，因此选择以此算子作为匹配图和待匹配图的边缘检测算子。图3给出了直接用Canny算子检测边缘以及经过小波去噪再用Canny检测边缘的两种结果，再次验证了红外图像增强的重要性。

图3 直接Canny边缘检测和先去噪再Canny检测

3 角点提取与混合Hausdorff匹配度量

Hausdorff距离主要用来衡量两个点集的不匹配程度，在这里作为匹配度量，实质上是求解Hausdorff距离最小的位置。传统的Hausdorff距离只是利用了点集的位置信息，忽略了各点之间稳定性和差异性。为了得到更精确的匹配效果，加权的Hausdorff距离(Weighted Hausdorff Distance，WHD)[11]应用广泛，定义如下：

H(A,B)=max(hWHD(A,B),hWHD(B,A))

(1)

这里

(2)

(3)

A,B为点集，w(a)为权值，Na为点集A中点的个数，d(a,B)为点集A中一点到点集B的最短距离。

前面几步已经对模板图像以及参考图像提出了比较良好的边缘轮廓，这里选择在边缘轮廓的基础上进一步提取角点。角点[12]是边缘轮廓上曲率极大值点，包含的信息比较丰富，相比其他的非角点类边缘点鲁棒性更好，通过自适应阈值的曲率尺度空间(Curvature Scale Space，CSS)角点[13]提取来提取角点，得到角点点集，记为C，由于篇幅有限，仅给出一组船只轮廓角点提取结果，结果见图4。在SIFT算法提取特征点中，特征点方向的确定是基于邻域的梯度统计得来的，由于角点也是特征点，映射到原图中，也可以统计角点周围邻域的梯度分布来得到方向响应。但是，考虑到红外图像在一定程度上类似于可见光的负像[14]，同一特征点的邻域梯度信息相差很大，甚至可能呈现180°的极端，这对基于邻域梯度的方向统计将带来很大的误差，并且基于邻域的梯度统计耗时很大，不利于实现快速匹配。在这里将边缘轮廓上角点的切线方向作为角点的方向：设曲线上某一角点A(i)的坐标为(xi,yi)，距其距离为k(极小)的两点分别为A(i-k)，A(i+k),坐标分别为(xi-k,yi-k)和(xi+k,yi+k)，角点A(i)切线方向角如下：

(4)

图4 角点检测结果

在模板图像与参考图像完全匹配时，匹配边缘点之间不仅有最小的Haudorff距离，而且对应边缘上的角点的方向角也应该有最小的方向差异响应，为此，定义参考图与模板图角点之间的方向差异响应如下：

ΔO=1-cos(Oa-Ob)+c

(5)

Oa，Ob分别为点集A与点集B中某角点的方向角，c为极小的常数，为防止△O过小，本文取c值为0.15，将边缘角点的方向差异响应信息加入Hausdorff距离，则用d*(a,B)代替式(2)中的d(a,B)，d*(a,B)定义如下：

d*(a,B)=ΔO×d(a,B)

(6)

由式(6)可知，当d(a,B)值一定时，ΔO越小，d*(a,B)越小，匹配点之间相似性越大。

将边缘点集A中的点分为三大类，普通边缘点、边缘上的角点、不匹配的边缘点，设各自权值为w1、w2、w3，为消除一些无用噪声点的干扰，将点集A中所有点到点集B的距离(边缘点之间距离为d(a,B)，角点之间距离为d*(a,B))从小到大排列，距离比较大的点一般是噪声点和漏检点，取前面k(k=fxN,0

(7)

其中C为角点点集，在点集A中已经排除了Na-k个点，经过前面一系列的预处理，可以认为边缘上提取出的角点基本不是噪声点，角点包含在前k个匹配点之中，并且角点在三类点之中对匹配的贡献最大，其对应的权值也应该大些，设检测出的角点个数为N0，则可得如下角点权重的公式：

(8)

通过前面的角点权值公式可得出角点点集之间对应的Hausdorff距离，定义如下：

(9)

其中C为角点点集,结合式(7)、(9)得到混合加权Hausdorff距离CSS-EDGE-WHD，定义如下:

hausdorffCSS-EDGE-WHD=hausdorffedge+hausdorffCSS

(10)

CSS-EDGE-WHD方法充分考虑了边缘点的位置信息以及两幅匹配图像边缘点上角点的方向差异性，而且不舍弃边缘点，并将两者相结合得到新的高鲁棒性的匹配度量，也能够极大地消除噪声和漏检点所带来的影响。

4 匹配算法仿真

为验证本文匹配算法的有效性，图5给出了两组实验图像，编程工具选择MATLAB2014a，在主频为3.2 GHz、内存为504 MB的PC上进行测试。在测试中，参考图(可见光图像)的参数fvs=0.85，模板图(红外图像)的参数fIR=0.8，为了验证本算法的准确性和鲁棒性，在匹配之前，增加环境因素，对实测图像添加不同大小零均值高斯噪声的噪声(信噪比依次为100,8,6,4单位：dB)以及将实测图像变换不同的旋转角度(2°、4°、6°、8°)，并与其他两种不同的匹配方法作比较，实验

图5 两组实验图像

一组模板图像是106×119的红外图像，参考图像是510×505的可见光图像，实验二组模板图像是383×263的红外图像，参考图像是800×533的可见光图像，匹配仿真实验结果数据统计见表1。这里把匹配区域中心点作为匹配点坐标，根据不同的算法以及不同的环境因素得到不同的匹配点坐标，与正确匹配点坐标相比，判断各种算法的有效性和准确性。从表1看出，针对实验图像组Image1的匹配结果，在旋转角度较小时，分支算法[15]和本文算法精确度都很高，在旋转角度到达8°时,本文算法虽也有偏差，但明显比其他两种算法偏差小，当存在噪声时，本文算法具有更好的鲁棒性。在准确度方面，固定加权算法[16]，即传统部分Hausdorff距离，由于它不需要更新权值，算法带来的匹配偏差很大。由于本文算法结合了边缘点与角点，并且联合了两种类型点的Hausdorff距离，鲁棒性更好。由表1可以看出，在增加旋转角度和信噪比因素时，本文算法匹配结果也较精准，这是由于CSS-EDGE-WHD不仅考虑了边缘点的位置信息，还充分将边缘角点的方向差异响应加入其中，在较大程度上克制了因旋转角度以及噪声对Hausdorff有向距离计算带来的负面影响，从而确保算法具有一定的抗噪性以及小的抗旋转性。

表1 三种匹配算法仿真数据

图6 三种算法对不同实验图像组的匹配结果

为了进一步探究分支算法与本文算法的鲁棒性优异，选择用图像组Image2进行实验，从表1匹配结果中看出，由于Image2图像组背景复杂，本文算法在旋转角度较小时偏差并不太大，而分支算法则偏差很大，这是因为分支算法仅仅利用图像的边缘分支点，可利用的信息太少，Image2图像组背景复杂，匹配较容易出错，特征信息越多越有利，不同源的图像提取出的边缘虽有差异，但本文算法并没有舍弃非角点类的边缘点，而是将其与角点结合起来一起当做匹配特征，进而增加了匹配成功率。图6给出了三种算法分别对两组实验图像得出的部分匹配结果图。

5 结论

红外图像与可见光图像匹配一直是难点，由于红外图像成像复杂，因此以往算法实现效果并不太好，本文提出的CSS-EDGE-WHD匹配算法，在实测图存在零均值高斯噪声和少量旋转角度时依旧能得出较为准确的结果，并且在背景复杂的图像中，匹配精度也很高，唯一不足是算法运行时间稍长，其他两种算法抗噪性也不错，传统加权算法速度一般而且不适应背景复杂的图像，分支算法提取特征少，速度快，但对于复杂图像匹配精度也很低。如何充分结合几种匹配算法的优点正是今后需要研究的问题。

[1] 许佳佳,张叶,张赫.基于改进 Harris-SIFT 算子的快速图像配准算法[J].电子测量与仪器学报,2015,29(1):48-54.

[2] 邢藏菊，温兰兰，何苏勤.基于序贯相似性检测的NCC目标跟踪快速匹配方法[J].电子设计工程,2015,23(3)：187-190.

[3] JOSIEN P W P, ANTOINE M J B, Max A V. Mutual-information-based registration of medical images: a survey[J].IEEE Transactions on Medical Imaging, 2003,22(8):986-1004.

[4] SERGE B, JITENRA M, JAN P,et al. Shape Matching and object Recognition using shape contexts[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(24):509-522.

[5] 胡俊杰,雍扬,徐倩,等.改进型LBP在异源图像匹配的应用[J].兵工自动化,2014,33(10):63-67.

[6] Zhang Linlin，Zhao Yuejin，Dong Liquan. Infrared image enhancement based on the edge detection and mathematical morphology[C].Proceedings of SPIE-The International Society, 2010,7854:785429-785429-8.

[7] Huang Kui. Overview of image processing based on wavelet transform[J]. Value Engineering, 2015,41(2):69-75.

[8] 陈树越，刘金星，丁艺.基于小波变换的红外与X光图像融合[J].激光技术,2015,39(5):685-688.

[9] 李晓飞,邱晓晖.基于小波变换的改进软阈值图像去噪方法[J].计算机技术与发展,2016,26(5):76-78.

[10] GONZALEZ R C, WOODS R E. Digital image processing[M].北京：电子工业出版社,2010.

[11] DONG G, OH K K, RAE H P,et al.Object matching algorithms using robust hausdorff distance measures[C].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society,1999,8(3):425-429.

[12] 何凯.角点特征提取及匹配方法研究[D].南京：河海大学，2005.

[13] HE X C, YUNG N.Curvature scale space corner detector with adaptive threshold and dynamic region of support[C].Proceedings-Internation Conference on Pattern Recognition, 2004:791-794.

[14] 田裕鹏.红外检测与诊断技术[M].北京：化学工业出版社，2006.

[15] 冷雪飞,刘建业,熊智. 基于分支特征点的导航用实时图像匹配算法[J].自动化学报,2007,33(7):679-682.

[16] DANIEL P H, WILLIAM J R, GREGORY A K.Comparing images using the hausdorff distance under translation[J].IEEE Computer Society Conference on Computer Vision & Pattern Recognition, CVPR, 1992,15(9):654-656.