红外可见光图像配准综述

万 昕

(中南民族大学 生物医学工程学院，湖北 武汉 430074)

1 引言

红外传感器和可见光传感器作为两种最常见的图像源被广泛地应用在计算机视觉、自动控制、目标识别跟踪等领域。红外图像定位具有较高温度的物体，而可见光图像则能保存细节信息，将二者融合便能实现在背景中定位高温物体的功能。因此，红外和可见光图像的自动配准技术对二者融合具有重要意义。

由于传感器之间成像方式和成像平台的不同，即使在同一时间对同一区域成像所得到的红外图像与可见光图像也存在较大的差别，导致红外与可见光图像的配准有着较大的难度。首先是成像原理带来的差异，红外与可见光分别处于光谱的不同波段，有其固有特征。可见光图像灰度值由物体表面反着率和阴影决定，而红外则由物体表面的发射率和温度决定。特别是红外图像，作为温差的一个结果具有很高的动态范围。其次，由于红外与可见光镜头在拍摄同一时间同一区域时不可能在完全相同的位置，会导致二者存在一定的视角差，从而导致图像产生几何畸变，给配准时的模型参数估计带来困难。

根据图像配准中利用的图像信息，可将现有的配准方法大致分为两类：基于特征的配准方法和基于区域的配准方法。

2 基于特征的配准方法

基于特征的配准方法从红外与可见光图像中分别抽取共有特征，在特征空间寻找变换模型参数，是目前红外和可见光图像配准的研究热点。从特征提取的类型来看，可分为点特征、线特征和区域特征。

2.1 基于点特征的配准方法

基于点特征的配准是基于特征配准方法中较为热门的研究方向。点特征的提取一般使用Harris、SIFT、SURF等算法，目前的研究大部分也是围绕这几种算法进行改进。也有一些研究学者对特征点的匹配过程进行优化，如相似三角形法、RANSAC特征点筛选等。

(1)基于SIFT的特征点提取。2008年田阿灵等人对SIFT算子提取的特征点采用最近邻/次近邻的方法进行配准[1]，同时使用RANSCA算法对匹配的特征点进行筛选[2]。2010年Wang等人提出一种基于改进SIFT的配准方法，他通过检测当前点在上下两个尺度和当前尺度8领域内是否是最大或最小值点来判断该点是不是特征点[3]。2011年赵明等人在使用SIFT算子提取特征点是设定阈值来约束受灰度弱相关影响较大的特征向量幅值，同时在配准过程中使用相似四边形精确匹配特征点对[4]。2012年Huang等人采用非下采样轮廓波变换分解图像，对分解后的图像使用SIFT算法获得大量特征点[5]。2016年Dou等人提出一种基于SIFT和稀疏表示的配准算法，他们使用红外图像的SIFT描述子稀疏表示可见光图像描述子[6]。

(2)基于SURF的特征点提取。2011年李寒等人利用SURF算子提取图像特征点，通过RANSAC进行特征点配对完成配准[7]。2012年Yi等人使用SURF算法提取小波变换获得的边缘图像特征点，并使用最近邻/次近邻搜索和RANSAC算法匹配特征点[8]。2014年纪利娥等人对提取的SURF特征进行双向最近邻/次近邻搜索，他们根据可见光特征在红外图像一定范围内搜索匹配点，然后根据红外特征可见光图像一定范围内搜索匹配点，当点对满足双向搜索结果均匹配时确定为精确匹配点对[9]。2017年许金鑫等人对图像边缘使用SURF算法提取特征点，然后根据正确的匹配点对之间斜率一致性的先验知识完成特征点匹配[10]。

(3)其他方法。2010年张秀伟等人引入Co-motion运动统计特征，同时结合了同名点选取和外点去除算法进行红外和可见光序列图像配准[11]。同年，陈洁等人利用Harris算法提取特征点，在特征点集中搜索最优的相似三角形，利用三角形的一些几何特征点通过RANSAC算法拟合仿射变换参数[12]。2011年侯晴宇等人针对配准过程的优化方法做出了改进，提出了基于似然函数EM迭代的图像配准算法，他们使用基于概率密度的自适应阈值分割的外点剔除机制，同时使用EM迭代优化方法求解最优变换参数[13]。2016年徐军等人将显著性分析加入到特征点提取中，他们针对图像不同显著性区域采用不同的参数提取特征点[14]。

2.2 基于线特征和区域特征的配准方法

基于线特征和区域特征的配准主要还是与特征点相结合，在图像的边缘和区域上提取特征点。

(1)基于边缘和特征点相结合的方法。2007年高峰等人提出一种基于干线对的配准算法，他们使用分支限定法求解红外和可见光图像干线配对的最优解[15]。同年，金宝刚等人使用Canny算子提取图像边缘，同时以相关系数作为度量，迭代寻找最优仿射变换参数[16]。2009年周锋飞等人通过在Canny边缘上寻找位置夹角相似的点作为匹配点完成配准[17]。2011年侯晴宇等人针对配准过程的优化方法做出了改进，提出了基于似然函数EM迭代的图像配准算法，他们对Canny边缘点集使用EM迭代优化方法求解最优变换参数，在迭代过程中通过高斯混合概率密度值判断内外点，剔除外点[18]。2012年吴东东等人使用DP算法对图像轮廓进行多边形逼近，对多边形进行匹配后选取顶点、平行线段等作为特征空间，计算仿射变换参数[19]。2013年闫钧华等人在多尺度空间下将Harris特征点和Canny边缘特征相结合，同时通过使用LTS距离进行特征匹配来完成配准[20]。同年胡永利等人提出一种从粗到精的卫星图像配准算法，他们首先在边缘图像上使用Fourier-Mellin变换快速计算仿射变换参数，然后使用Harris算子进行特征点精度匹配确定最终变换参数[21]。同年Han等人利用图像直线特征估计全局形变参数，形变Harris特征点，并在形变后的特征点一定范围内搜索精确匹配点[22]。2015年李振华等人提出一种基于轮廓多边形拟合的配准算法[23]。2016年刘畅等人通过在图像边缘上提取曲率变化的局部极值点，同时通过改进的相似三角形匹配法记性特征匹配完成红外和可见光的配准[24]。

(2)基于区域与特征点结合的方法。2017年陈世伟等人基于最稳定极值区域提取图像中具有尺度和仿射不变形的椭圆区域，利用椭圆对称方向矩描述区域特征边界各个方向上的相似程度获取匹配特征对[25]。

3 基于区域的配准方法

基于区域的配准方法主要利用图像灰度信息进行图像配准，如互信息、梯度信息等。在实际使用过程中，常采用金字塔模型和最优化算法降低计算量，也有一些学者也进行了结合图像特征与灰度信息配准方面的研究。

基于互信息的配准在医学图像领域得到成功应用后，被广泛延伸至其他多模特图像配准中。常用的互信息度量有最大化互信息，归一化互信息等，一些学者也进行了图像梯度信息或特征与互信息相结合方面的研究。

3.1 基于改进互信息的方法

2010年Zhang等人使用二维经验模式分解算法对图像进行分解，然后对分解后的图像使用最大化互信息进行配准[26]。同年孙雅琳等人使用小波变换提取的边缘图像，然后使用归一化互信息度量边缘图像进行配准[27]。2011年Guo等人通过粗配准进行目标轮廓点匹配，然后在此基础上使用最大化互信息进行精确配准[28]。2013年张家良等人将对其度和归一化互信息自适应加权平均得到新的相似性测量函数对边缘图像进行配准[29]。2015年Yang等人提出一种全局到局部的红外可见光序列图像配准算法，他们使用每幅图像互信息的和作为度量对图像序列进行全局配准，同时将全局配准结果作为局部配准的初始形变参数进行每帧图像之间的配准[30]。

3.2 结合梯度信息或图像特征的方法

2011年崔伟等人在梯度图像上根据自定义的扩展结构获得边缘区域图像，然后选择归一化互信息作为相似性测度，使用Powell算法获得最优配准参数[31]。2012年柏连发等人使用直接统计梯度图像的互信息将图像梯度和灰度信息结合起来，同时使用改进的粒子群优化算法进行参数寻优[32]。同年，彭逸月等人通过图像边缘提取特征点，在特征点匹配过程计算原始图像互信息，以及梯度边角缘曲线分布图像互信息，去均值作为最终互信息对特征点进行度量[33]。2016年刘刚等人对红外和可见光图像进行非下采样轮廓波分解，引入梯度归一化互信息对图像高尺度低频图像和低尺度低频图像进行配准[34]。2018年陈震等人提出了一种结合特征点和互信息的配准方法，他们使用Harris角点函数提取特征点，并用renyi互信息作为相似性度量进行配准[35]。

4 结语

因红外可见光镜头的视场角、传感器的位置或分辨率等方面不一致的问题，图像间不可避免地出现缩放、平移、旋转等差异，所以在红外和可见光图像融合之前需要进行配准。目前国内外针对红外和可见光图像的配准进行了一定的研究，但文献中提出的方法往往针对性较强，如针对电力图像的配准或针对遥感图像的配准。当这些算法应用到一些其他图像时，效果并不一定理想。

总的来说，基于特征的匹配算法较适合与图像结构信息丰富、目标轮廓清晰的情况，但是其最终配准结果受特征提取和匹配精度影响较大。现有的一些特征提取与匹配算法在同源图像上能取得较好的结果，但在非同源图像上表现不好。基于区域的配准方法适合图像细节较少、纹理不丰富的情况，但在寻找最优的模型参数过程中搜索空间大，导致算法耗时久。同时，由于红外反映景物的辐射信息不同于可见光反映景物的反射信息，所以红外与可见光图像间相关性小，图像灰度特征性差应很大，使得一些基于灰度的配准方法很难取得较好的效果。

基于红外与可见光成像原理所导致的灰度差异大的问题，在红外和可见光配准技术的研究过程中可以优先考虑基于特征的配准算法。在提取特征的过程中可以尝试引入新的图像分解方法，以获得图像不同层次的信息。同时尝试构造新的或改进已有的不变特征及相应描述子，提取更精确的特征。另外结合区域和特征进行配准，也是值得深入研究的方法。