线特征和SIFT点特征结合的异源图像匹配算法

张 姣，李俊山，张少华

(1．第二炮兵工程大学402室，陕西 西安710025;2．解放军96531部队，陕西 汉中723000)

1 引言

红外和可见光图像的匹配属于异源图像匹配范畴。现有的异源图像匹配算法以基于特征的匹配算法为主。根据匹配基元的不同，算法可以分为点、直线、轮廓和区域特征的匹配［1］。如何有效结合图像不同特征信息进行匹配，是当前的一个热点问题。大量学者对此进行了一系列的研究［2－4］。

在点匹配中，由Lowe提出的尺度不变特征变换［5］(scale invariant feature transform，SIFT)算法应用最为广泛，能解决存在尺度、旋转、视点变化的图像匹配问题。相比点特征，直线匹配的研究长期以来进展缓慢。2010年，Wang等人［6］提出一种直线梯度均值－标准差描述子用于直线匹配，具有良好的匹配性能。针对具有明显目标轮廓的红外和可见光图像匹配问题，本文通过改进直线均值－标准差描述子，引入虚拟角点提出了一种基于直线和点特征结合的匹配算法。

2 直线的提取

在匹配算法中，特征提取的精度和质量好坏直接影响匹配的结果。传统的直线检测以Hough变换［7］为代表。Hough变换鲁棒性强，可解决共线短线连接问题，但计算量大，实时性不高，人为设定阈值容易出现过连接错误。为了提高直线检测效率，Rafael等人提出了一种快速直线检测算法［8］(Line segment detector，LSD)，算法具有鲁棒性高、计算量低、检测效果好的优点，且速度明显快于其他经典算法。因此，本文采用LSD算法从两幅图像中提取直线。

LSD算法的基本思想是:拥有一致梯度方向的像素队列很有可能是某物体的边缘。算法通过梯度区域增长得到若干直线段候选区域，用外接矩形描述得到线段结构，算法在提取低对比度直线时有明显优势。图1是对一组红外和可见光图像直线检测的结果，近乎是原图像的直线轮廓，但其中存在部分直线断裂。

图1 图像的LSD检测结果示意

设定2个约束条件进行直线连接［9］:①间隔约束，通过设置两直线段端点的最小距离来判定;②角度约束:通过设定线段L1和线段L2之间的方向差来衡量。在直线描述前，除了遍历直线进行可能的连接外，还利用直线长度大于20这一简单约束，去除边缘转弯等造成的散乱、干扰线段，保留目标中的主要直线。图2显示了红外和可见光图像中最终保留的直线结果。

图2 最终直线结果

经过以上处理后，设红外图像中提取了N个直线特征，记作 P1={p1，p2，…，pN};可见光图像中提取了 M 个直线特征，记作 P2={q1，q2，…，qM}。

3 特征的描述

3．1 直线描述子

对于直线特征，Wang等人［6］提出的均值和标准差描述子(mean-standard deviation line descriptor，MSLD)具有良好的匹配性能，但缺乏尺度不变性。因此本文通过引入高斯尺度空间［10］，构造多尺度的MSLD描述子。具体步骤如下:

Step1:利用高斯卷积核对原始图像进行平滑，得到图像多尺度下的尺度空间表示。对于每条直线，在尺度空间下每组中的每层图像中构造相应直线支持域。

Step2:在高斯尺度空间中，计算直线L上每个像素点的梯度方向平均值，并把该值设置为直线L的方向d┴，沿d┴顺时针转90°设为方向dL。直线L沿dL方向的像素点依次定义为G1，G2，…，Gn;以每个像素点为中心，沿d┴方向构造Q个互不重叠的矩形子区域Gi1，Gi2，…，GiQ作为直线的像素支持区。

Step3:在各子区域G内提取4方向的梯度向量，即Vij=∈R4。对于直线L而言，得到一个大小为Q×N的梯度描述矩阵，记为:对距离直线为d的梯度信息进行统计，使在直线像素区域中，离直线越近的子区域的梯度贡献越大。

Step5:将直线L上N个像素点的Vij组合得到一个4Q×N的矩阵，利用矩阵行向量的均值和方差来构造描述符，使矩阵大小与直线长短无关。

Step6:直线描述子中的均值向量和标准差向量分别归一化，级联生成一个具有光照不变性的(xi，

Step4:利用高斯加权w=yi)维的直线描述子。本文采用Wang的建议，取Q=9计算直线描述子，则最终直线描述子为8×9=72维。

图3 直线描述子示意图(Q=3)

3．2 点描述子

由于在红外和可见光图像中提取的同名直线往往存在遮挡、断裂、端点差异，单一直线匹配容易出错。为了提高直线描述的准确性，考虑利用两条直线交点来获取虚拟角点［11］。虚拟角点不一定对应图像中某个实际存在的角点，但它能反映两条相交直线的几何特征。若两条直线相互匹配，则它们的顶点也一定能满足匹配要求。对特征点进行SIFT描述，获得一个128维的点特征描述子。

图4 虚拟角点示意图

4 特征匹配

直线匹配时，描述子的相似度度量和匹配策略也影响其匹配性能。根据Wang在直线描述子匹配的分析［12］，采用欧式距离和双向匹配法能获得较好的匹配结果。

具体步骤:

(1)采用欧式距离作为直线描述子的相似性度量，利用双向匹配算法对直线进行匹配。即对于待匹配图像直线集合P1中的一条直线pi，在参考图像的直线集合P2寻找与其描述子的欧式距离最小的直线，记为qj;再反向匹配一次，如果qj也是pi的最优匹配特征，则认为两直线可能匹配，放入匹配集合中;

(2)利用匹配成功的同名直线在画幅内延长，两两相交构建虚拟角点，并计算该点坐标。对特征点进行SIFT描述，采用欧氏距离和最近邻算法进行匹配;

(3)当且仅当相应的虚拟角点足匹配时，最终认定两条直线为正确的匹配对。

5 实验结果及分析

为了验证本文算法的有效性，在2 GHz CPU，2 GB内存的PC机上，采用Matlab编程进行仿真实验。实验图像来源于红外热像仪拍摄，可见光图像如图5所示，均包括明显的直线轮廓。其中前3组可见光图像大小均为640×480，第4组可见光图像大小480×480。待匹配图像对由一幅原始大小的可见光图像和4种对应变换的红外图像组成，共4×4=16组图像对。匹配的评价指标采用正确匹配率，正确与否通过目视判定。4种对应图像包括:①同尺度视角;②尺度缩小;③仿射变换;④旋转变换。

采用本文算法进行图像匹配时，首先需要提取有效的直线。在直线检测时，程序以灰色图像为输入，不需要设定参数，运行得直线结果。下一步就要指定直线最小长度阈值以及线段合并的参数。通过实验分析，设定间隔小于最短直线长度的10%，方向差小于5°的相邻直线进行连接，去除长度小于20的线段，可以取得较好的结果。在特征匹配时，设误差为5个像素内的匹配直线对均为正确点对，经过两次匹配得到最终的匹配直线对结果。

本文对大量图像进行测试试验，实验结果如图6所示。为了直观表示算法的匹配结果，在提取的直线结果图中用相同编号标出最终匹配的同名直线，*号表示对应的虚拟角点。

图6(a)匹配对数为16，正确13对，正确率81．25%;图6(b)匹配对数为20，正确17对，正确率85%;图6(c)匹配对数为14，正确12对，正确率85．71%;图6(d)匹配对数为25，正确21对，正确率84%。可以看出，本文算法在同条件以及存在尺度、微仿射和旋转变换条件下均具有良好的匹配结果。表1还给出了4组图像在4种情况下采用本文算法与文献［6］算法的匹配实验结果对比。结果表明，相比于Wang的算法，在图6(a)～图6(d)的4种情况下，虽然本文算法最终的匹配总数减少，但平均正确率得到一定提高;两种算法在仿射变换下平均正确率都略低于其他情况;对于图6(d)所示建筑图像中存在的部分相似结构，本文算法通过虚拟角点的精匹配可以很大程度上剔除相似直线结构之间的误匹配。总之，本文算法能够较好地匹配红外和可见光图像。

在算法速度上，整个实验过程中特征提取和直线描述阶段的时间开销约占总时间的1/3，这是因为直线检测的速度很快，且对结果进行处理，减少了待匹配的直线数目。直线描述子的计算简单，构造时间与直线长度和数目成线性关系。但在特征匹配阶段，本文算法不具优势，主要因为算法需要对特征进行两次匹配，且128维的SIFT描述子构造也增加了时间开销。

表1 本文算法与文献［6］算法的匹配结果比较

6 结束语

针对红外和可见光图像匹配的难题，本文提出一种基于直线和点特征结合的匹配算法。首先利用LSD算法提取直线，通过处理获得目标中的直线结构;然后，构造多尺度的直线均值－标准差描述子进行直线匹配;最后，再利用已匹配直线的交点特征进行SIFT描述的点匹配，纠正直线匹配的结果。算法主要依据特征支持区域的梯度变化，因而不受直线长度和点位置的影响。实验结果表明，算法较单一直线匹配的正确率有所提高。但对于复杂场景或者边缘模糊不清的图像，需要对图像进行预处理，提高同名直线提取的精度以保证匹配的准确率。

［1］ Yuan JS，Zhao ZB，Gao Q．Review and prospecton infrared/visible image registration［J］．Laser ＆ Infrared，2009，39(7):693 －699．(in Chinese)苑津莎，赵振兵，高强．红外与可见光图像配准研究现状与展望［J］．激光与红外，2009，39(7):693－699．

［2］ Gao F，Wen G J，Lu J．An optimal algorithm for IR/visual image registration based on main-line-pairs［J］．Chinese Journal of Computers，2007，30(6):1015 － 1023．(in Chinese)高峰，文贡坚，吕金建．基于干线对的红外与可见光最优图像配准算法［J］．计算机学报，2007，30(6):1015－1023．

［3］ Lu H，Wu Q X，Jiang C S．A Two-step registration algorithm for multi-sensor images［J］．Electronics Optics ＆Control，2008，15(1):22 －25．(in Chinese)陆欢，吴庆宪，姜长生．多传感器图像的二次匹配算法［J］．电光与控制，2008，15(1):22 －25．

［4］ Cao J，Yin D，Zhang R．An optical and SAR image registration algorithm based on virtual points［J］．Opto-Electronic Engineering，2009，36(11):79 －84．(in Chinese)曹俊，尹东，张荣．基于虚拟点的可见光和SAR图像配准研究［J］．光电工程，2009，36(11):79 －84．

［5］ Lowe D G．Distinctive image features from scale-invariant keypoints［J］．International Journal of Computer Vision，2004，60(2):91 －110．

［6］ Wang ZH，Wu F C，Hu Z Y．MSLD:A robust descriptor for linematching［J］．Pattern Recognition，2009，42(5):941－953．

［7］ Illingworth J，Kittler J．The adaptive hough transform［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1987，9(5):690 －698．

［8］ Rafael Grompone，Morel JM，Gregory R，etal．LSD:A fast line segment detector with a false detection control［J］．IEEE Trans．on Pattern Analysis and Machine Intelligence，2010，32(4):722 －732．

［9］ Qin X H，Ma R，Fu W P．A line segments detection algorithm based on grad［J］．Acta Photonica Sinica，2012，41(2):205 －209．(in Chinese)覃勋辉，马戎，付维平．一种基于梯度的直线段检测算法［J］．光子学报，2012，41(2):205 －209．

［10］ Chen R J，Liu LG，Dong G C．Detection of principal lines in images［J］．Journal of Image and Graphics，2010，15(3):403 －408．(in Chinese)陈仁杰，刘利刚，董光昌．图像主特征直线的检测算法［J］．中国图象图形学报，2010，15(3):403 －408．

［11］ Su J，Lin X G，Liu D Z．A multi-sensor image registration algorithm based on structure feature edges［J］．Acta Automatica Sinica，2009，35(3):352 －357．(in Chinese)苏娟，林行刚，刘代志．一种基于结构特征边缘的多传感器图像配准方法［J］．自动化学报，2009，35(3):251－257．

［12］ Wang Z H，Wu F C．Mean-standard deviation descriptor and linematching［J］．PR ＆ AI，2009，22(1):32 － 39．(in Chinese)王志衡，吴福朝．均值－标准差描述子与直线匹配［J］．模式识别和人工智能，2009，22(1):32 －39．