基于改进的SIFT算法的红外图像配准

蔡天旺， 付 胜

(1.北京工业大学，北京 100022； 2.三亚学院，海南 三亚 572022)

图像配准是图像处理领域中的重要环节[1-2]，基于特征点的图像配准在图像配准领域应用最为广泛[3-4]，而基于特征点的红外图像配准难以实现两张特征不明显的红外图像的高精度配准[5-6]，目前用的最多的是红外图像与可见光图像之间的配准[7-8]，因此迫切需要一种可以实现两幅红外图像进行精确匹配的算法。主要针对电路板红外图像的低对比度等特点，对原有的SIFT算法进行了相应的改进，改进的SIFT算法能够很好地对电路板红外图像进行配准。选取了3对红外图像，经过比对可以说明改进的SIFT算法具有很好的配准效果。

国内外很多学者对此方向有一定的研究。王丽芳等[9]将脑部的医学图像进行配准，是将脑部的红外图像与已训练好的头部图像进行配准。秦杰等[10]提出一种基于角点幅值与方向的点特征描述HIOHC，用以改进Harris角点检测器进行图像配准。陈辰等[11]对图像进行U-net分割，针对不同区域特征的误差，将变量含异质噪声模型应用于配准参数估计，提高目标区域的配准精度。陶谦等[12]对纹理影像序列进行融合预处理，利用共线方程实现多幅点云数据与多张纹理影像的配准。Lowe[13]提出了SIFT算法，但SIFT算法会产生许多误匹配点，后来很多专家对其进行了深入研究。Chaturvedi 等[14]提出SURF改进法，明显地提升了图像匹配算法的准确率。Hossein-nejad 等[15]对SIFT算法中的冗余点进行了剔除，进一步增强了算法的运行速度和准确率。

综上所述，可以看出大部分的研究都局限于红外图像与可见光图像的配准，算法的鲁棒性和准确率方面还有很大的提升，因此，针对电路板红外图像的配准开发了改进的SIFT算法，结果显示能够很好地适应电路板红外图像的特点，算法的准确率和匹配速度有了很大的提升。

1 SIFT算法简介

SIFT算法的运算过程可以分为以下几步：构建尺度空间，在尺度空间中提取特征点，对提取出的特征点进行描述，对两幅图像中的特征点描述子进行匹配。

1.1 特征点检测

通过式(1)和式(2)构建尺度空间。

L(x,y,σ)=G(x,y,σ)⊗I(x,y)

(1)

(2)

式中，I(x,y)为输入的原图像；G(x,y,σ)为可变高斯核函数；σ为尺度空间高斯模糊参数；(x,y)为图像的像素位置；p,q为高斯模板的维度。

高斯差分尺度空间中差分算子为

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))⊗I(x,y)

=L(x,y,kσ)-L(x,y,σ)

(3)

构建出图1所示的高斯差分图像，在图1中进行特征点的提取，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点进行比较，以确保在尺度空间和二维图像空间都检测到极值点，求取出局部极大值点作为特征点。

图1 高斯差分图像

1.2 描述子的构建

其描述子的构建示意图如图2所示。通过在像素点周围划分成16方形子区域，能够覆盖图像的大部分特征，在子区域中求取8个方向(等角度)的梯度和模值，这样就构成了128维的特征向量对特征点进行描述。其模值以及梯度的计算公式为

图2 SIFT算法的描述子构建

(4)

(5)

1.3 特征点的匹配

利用欧式距离进行特征点的匹配，通过计算最近欧氏距离与次最近欧氏距离的比值，如果比值在阈值范围内则匹配成功，否则匹配失败。阈值的选取尤为重要，Lowe等[13]在多次实验之后确定阈值在0.7附近的时候效果最好。欧氏距离的计算方程式为

(6)

式中，dis为两个特征矢量的欧氏距离；P为描述子维数；m，n为两张图中特征点；Dm，Dn为特征描述子。

2 算法改进

2.1 特征点的提取

图3为改进算法的特征提取方式示意图，在像素点周围画一个直径为6的圆，因为在尺度空间中，选取直径为6，可以包含尽可能多的有效像素点，不遗失重要特征点，在圆周上选取16个像素点，分别与圆心处的像素点作差，当圆周上16个像素点有13个像素点满足阈值范围的时候，则选取该像素点为特征点，否则，不是特征点。

图3 改进算法的特征点提取

2.2 特征点的描述

图4为改进算法的特征点的描述符，改进的特征点的描述是在特征点周围子区域划分为4个等梯度的同心圆区域，对于4个同心圆区域，分别求出其10个方向(0°、36°、72°、108°、144°、180°、216°、252°、288°、324°)的梯度累加值。由中心向外，取第一个圆环的10维向量作为特征向量的第1～10个元素，取第二个圆环的10维向量作为特征向量的第11～20个元素，以此类推。这样，特征点描述子即为4×10=40维向量。

图4 改进算法的特征点的描述符

2.3 特征点的匹配

在特征点匹配的时候不同于原始SIFT算法的是在同心圆每一层加入一个步长，使得每一层的阈值是不同的，由内到外依次增大，因为靠近特征点的图像信息较为重要。

定义最近欧氏距离与次最近欧氏距离的比值为R：

(7)

式中，mindis为最近欧氏距离；smindis为次最近欧氏距离。

通过比对每一层的R，当R1,R2,R3,R4满足阈值条件的时候，则匹配成功，经多次实验，R1的阈值为0.7，后面每一层增加一个0.05的步长效果最佳。

主要的改进就是特征点的提取方式，降低了计算的复杂度；改变了特征点的描述，将原来的SIFT算法描述符维数从128维降到40维。最后在特征点匹配的时候加入了分层阈值的概念，极大地提升了算法的匹配准确度。

3 实验结果分析

为验证改进SIFT算法的可行性和有效性，对两幅电路板的红外图像进行了匹配测试，实验平台为Intel®CoreTMi3-7100 CPU@3.9 GHz，内存1 TB，Windows 7系统，采用Python 3软件。

在阈值的选取过程中做了以下测试,图5为不同阈值和步长情况下的匹配准确率，可以看出阈值越高，匹配的准确率越高，但是阈值太高的话，容易丢失太多的特征点。步长越长，准确率越高，同样的，步长太长的话，也会丢失很多特征点。所以需要一个适中的值，既不会丢失特征点，也能有很好的准确率。图6为不同阈值和步长情况下的PSNR(峰值信噪比)，其中PSNR(峰值信噪比)的值越大表示图像匹配的质量越好，可以看出，阈值在0.7附近的时候PSNR(峰值信噪比)的值较大，步长在0.05附近的时候达到了最大值。

图5 不同阈值和步长情况下的匹配准确率

图6 不同阈值和步长情况下的PSNR

3对电路板红外图像如图7所示。通过对图7中的3对电路板红外图像进行多次图像配准实验，可得到表1～表3所示的数据，可以看出本算法运算结果的准确率明显高于原始的SIFT算法，以及后来学者提出的PCA-SIFT[14]算法和GLOH[15]算法；运算时长明显减少，极大地提升了算法的运算效率，几乎实现了实时性；从PSNR的数值可以看出本算法处理过后的图像质量相比于SIFT算法、PCA-SIFT算法和GLOH算法均较高；在经过误匹配点剔除之后，可以看出本算法的准确率达到了100%，没有误匹配点，说明本算法在匹配的时候具有明显的优势。综上，本算法在实时性、准确性和质量上都得到了很大的提升，可以很好地适应电路板红外图像特征不明显的特点。

表1 电路板1的红外图像配准结果

表2 电路板2的红外图像配准结果

表3 电路板3的红外图像配准结果

图7为3对电路板红外图像，左图为标准电路的图像，右图为待测电路板的图像。图8为原始的SIFT算法的匹配结果图，可以看出误匹配点较多，特征点的对数也较多，运算时间也较长。图9为PCA-SIFT改进法的匹配结果图，可以看出PCA-SIFT改进法匹配准确度得到了一定的提升，但是PSNR值提升不大。图10为GLOH算法的匹配结果图，可以看出GLOH算法的PSNR值得到了提升，但是匹配准确率比较低。图11为改进的SIFT算法的匹配结果图，可以看出匹配的准确率以及PSNR值都得到了提升，同时匹配对数降低，运算时间变短，几乎实现了实时性。图12为改进的SIFT算法剔除后的匹配结果图，可以看出改进的SIFT算法剔除后的误匹配率为0，匹配的准确率非常高。

图8 原始的SIFT算法的匹配结果图

图9 PCA-SIFT改进法的匹配结果图

图10 GLOH改进法的匹配结果图

图11 改进的SIFT算法的匹配结果图

图12 改进的SIFT算法剔除后的匹配结果图

通过以上结果可以看出，改进的SIFT算法对电路板的红外图像进行高质量、高准确度的配准，能够很好地克服红外图像分辨率低、对比度低、信噪比低、视觉效果模糊的缺点，改进的SIFT算法通过改进特征点的描述以及特征点的匹配方式能够实现红外图像高质量的配准，因此改进的SIFT算法适用于低对比度的红外图像。

4 结束语

改进的SIFT算法在进行红外图像配准时的匹配准确率、匹配时间和PSNR值都得到了很大的提升，并针对电路板红外图像设置了一个分层阈值，使电路板红外图像特征点不明显的缺陷得到了很好的弥补，极大地提升了算法的效率，几乎实现了实时性，使电路板红外图像的配准更加容易。因此可以得出结论：改进的SIFT算法在进行电路板红外图像配准时，效果较好，优于原来的SIFT算法以及后来的PCA-SIFT改进法和GLOH算法。