一种基于相位相关与子图像的偏振图像配准方法

万钇良，王建立，张 楠，姚凯男，王昊京

(1.中国科学院 长春光学精密机械与物理研究所，吉林 长春130033;2.中国科学院大学，北京 100049;3.中国科学院国家天文台长春人造卫星观测站，吉林 长春 130117)

1 引 言

偏振探测作为光学研究的一个新兴领域，近年来已经引起了国内外的广泛关注。偏振成像可以提供目标更多维度的信息，是一种具有巨大应用价值的先进技术[1]。偏振成像对于目标的边缘信息更加敏感，并且能够有效减少背景噪声，提高目标的识别率，同时还可以反映出目标的不同材质特点。偏振成像的这些特点使得其可以被应用在军事反伪装遮蔽、空间遥感以及光学监测等许多方面[2]。偏振图像可以采用多通道相机同时采集不同偏振角的光强图像来计算得到。这种方法不会受到目标或者相机移动的影响，具有较高的探测精度，响应速度以及可靠性，因此成为了偏振探测的主要发展方向[3]。由于不同相机的光轴位置存在差异，所以必须对图像进行准确的配准，才能获得准确的偏振信息。

图像配准算法是一种对于多个相机获取的同一场景的不同图片进行对准的一种算法，其主要是通过计算待配准图像与参考图像之间的单应性矩阵来达到配准的目的。比较常用的图像配准算法有基于灰度信息法、基于变换域法和基于特征法3类[4]，但没有一种普遍通用的配准算法。具体使用时通常要根据图像的特点来进行选择。汪方斌等人提出了一种基于KAZE特征点的偏振图像配准算法[5]，但是这种方法对于噪声比较敏感，在噪声比较大的情况下容易误配。Han等人通过提取与分析图像中的边缘信息来对红外遥感图像进行配准[6]，但是这种方法只对边缘特征比较明显的图像有效。岳文涛[7]提出了一种结合区域分割的SIFT图像匹配方法，这种方法速度较快，但是不能得到理想的配准结果。

结合上述情况，本文提出了一种改进的相位相关算法。算法针对偏振图像分辨率较低，细节信息不明显，噪声较大的特点，在预处理的基础上，将对图像分割为多个子图，并对噪声较大的子图进行剔除，并进行进一步的配准，从而降低了背景区域噪声的影响，提高了配准的准确度。

2 图像预处理

红外偏振图像本身的清晰度较差，噪声较大，且背景区域往往包含了大量的噪声，这些问题都会给图像的配准精度造成影响。因此在进行图像配准之前，需要先对图像进行预处理，一方面可以抑制图像的噪声，另一方面可以增强图像的细节信息。

2.1 高斯滤波

高斯滤波是一种简单、快速的局部平滑滤波算法，其主要采用低通滤波的方法，对图像中所包含的高频噪声进行有效的抑制[8]。实际计算中，通过选择固定大小的高斯滤波模板来对图像进行操作，可以有效提高计算的速度。高斯滤波的模板函数可以表示为：

(1)

其中，Wx,y表示以像素(x,y)为中心的M×M(M为奇数)大小的邻域；为高斯分布的权重因子，其表达式为：

(2)

采用高斯滤波方法对图像进行去噪，也会丢失部分图像的边缘信息。因此在图像预处理的过程中，还需要一种对边缘信息进行提取与增强的方法。

2.2 边缘增强

Canny算法[9]是一种高效的边缘提取算法，对于噪声有较强的抗干扰能力，提取的边缘只有一个像素，准确度较高。算法通过一阶偏导算子，提取高斯滤波之后的图像提取水平与垂直方向的边缘信息。再通过极大值抑制以及高低阈值检测的方法，来排除一些错误的边缘信息，从而获得准确的边缘信息。

最后将Canny算法提取的边缘图像与高斯滤波得到的两幅图像进行相加，得到最终的预处理结果。

3 基于子图的相位相关配准算法

3.1 相位相关算法

相位相关算法是由Kuglin和Hines提出的一种配准算法[10]。算法首先通过快速傅里叶变换将图像从空域变换到频域，然后通过计算两幅图像的互功率谱来得到两幅图像的平移关系。具体计算过程如下：

对于两幅存在如下关系的两幅图像f(x,y)与g(x,y)：

g(x,y)=f(x-dx,y-dy)，

(3)

其中：dx、dy分别为图像的水平方向与竖直方向的位移。

假设图像的大小是M×N，F(ωx,ωy)与G(ωx,ωy)是傅里叶变换后的两幅图像。它们的表达式如下：

(4)

(5)

则F(ωx,ωy)与G(ωx,ωy)的关系可以表示为：

G(ωx,ωy)=e-j2π(ωxdx+ωydy)F(ωx,ωy)，

(6)

通过上面的变换，可以看到两幅图像在频域上只是相位存在不同。两幅图像的相位差可以通过计算他们的互功率谱得到。互功率谱的计算公式如下：

(7)

其中：*运算表示取F(ωx,ωy)或G(ωx,ωy)的复共轭。通过进行傅立叶反变换，可以得到冲激函数：

F-1{e-j2π(ωxdx+ωydy)}=δ(x-dx,y-dy).

(8)

根据冲激函数峰值位置就可以得到平移参数dx、dy。

传统的相位相关算法只能用来求取图像的平移变换，Fourier-Mellin算法[11-12]在此基础上进行了改进，从而能够应对图像之间存在的尺度变换与旋转变换。

对于存在旋转与尺度变换的图像，通过把原图像先变换到对数极坐标系下，这样在直角坐标系下的旋转与尺度变换参数就能够转化为对数极坐标下的平移变换参数，从而使用相位相关算法进行配准。

3.2 子图像的相位相关配准

对于红外偏振图像，其背景区域的噪声通常较大，会影响配准的精度。而图像的目标区域的噪声通常较小，同时目标区域配准效果的好坏也是决定图像配准结果的质量关键。如果想要进一步地提高配准的效果，就需要减少背景区域噪声对配准精度的影响，而只使用噪声较小的目标区域的信息进行配准。为了实现这一目标，本文提出了一种基于子图像的配准方法，具体实现步骤如下：

首先，将待配准图像与参考图像划分为M×N个子图，并对对应位置的子图分别配准来得到各自的配准参数。

对于一对配准参数为dx、dy的子图，他们之间的平移距d可以通过式(9)计算：

(9)

因为已经完成了粗配准，所以此处d应该是一个比较小的值。而那些噪声较大的背景区域子图，会因为噪声的影响存在错配，会使得d的取值偏大。

所以第二步，通过选择合适的阈值，对d大于阈值的子图进行剔除，就可以减小噪声较大的背景区域子图对于最后配准结果的不良影响。

最后根据剩余子图的中心坐标位置计算单应性矩阵来得到配准结果。

3.3 单应性矩阵

待配准图像与参考图像对应位置的子图中心坐标存在以下关系：

(x2,y2,1)T=H-1(x1,y1,1)T，

(9)

其中：x1、y1是参考图像子图中心的坐标，x2、y2是待配准图像子图中心的坐标。H为3×3的单应矩阵，其表达式如下：

(10)

图1 算法流程图Fig.1 Flowchart

图1为算法的流程图，具体步骤包括：

(1)对采集到的红外偏振图像进行预处理，包括使用高斯滤波来降低图像的噪声，使用Canny边缘增强算法来增强图像的边缘与细节纹理信息。

(2)使用相位相关算法来针对图像的平移参数进行粗配准

(3)将粗配准的图像划分为M×N个子图，每个子图大小相等(本文中划分为3×3个子图)，对于对应位置的子图通过相位相关法来获取平移参数。

(4)通过设置阈值的方法来对那些因为噪声产生误配的子图进行剔除，从而减少背景区域噪声对于配准结果的影响，而只是用噪声相对较小的目标区域进行配准。

(5)使用剩余子图的平移参数来计算配准图像与参考图像间单应性矩阵，完成配准工作。

4 实验结果

实验图像使用三通道红外偏振相机进行采集，相机构造如图2，上方黑色部分内为3台DRS TAMARISK-640红外相机，相机分辨率为640×480，探测频带为8～14 μm，分别加装有0°，60°，120°三个角度的偏振片，可以同时采集3个偏振角度的光强图像。下方为控制计算机，可以对相机镜头的焦距与倍率进行控制。图像处理程序使用vc14与opencv3.4.1实现，计算机CPU为Intel i7-8700k 3.7 GHz，内存32G。

图2 偏振相机Fig.2 Polarized camera

实验分别选取了室内人物、室外停车场以及室外机场3种不同的场景来验证本文方法对于近距离、中距离以及远距离目标图像的配准效果。实验以偏振角为0°的图像作为参考图像，将偏振角为60°与120°的图像与其进行配准。根据配准后得到的红外强度图像以及偏振度图像，可以直观地看到图像的配准效果。

图3(g)中，Fourier-Mellin方法的人物右臂位置边缘出现了模糊，这是因为场景中大部分为

图3 室内人物Fig.3 Indoor human

噪声较大的背景区域，Fourier-Mellin算法在配准时受到了这些噪声的影响从而无法准确配准。对于图4(h)中汽车右侧边缘位置，文献[5]的图像有一定的错位,造成这一结果的主要原因是3个偏振角度的光强图像细节存在差异，使得他们在提取的特征点位置与数量存在一定差异，最终导致了配准结果出现了较大的误差。图5(g)中Fourier-Mellin方法的栏杆有一定的错位，远处目标上的几个点也存在一定的重合，造成这一结果的原因与图3(g)类似，是因为天空背景区域所包含的噪声引起的，而文献[5]中的方法在提取特征点的时候，由于图像的背景比较空旷，有将近半数的特征点集中在栏杆附近，同时又因为栏杆的特征具有较高的重复性，在进行特征点匹配时这一重复性导致了特征点的误配，最终使得算法无法输出有效的结果。从对3个场景的配准图像可以看出，本文方法在面对多种场景时都能准确配准，获得的偏振度图像边缘也更清晰，而且能够有效地应对背景区域噪声的不良影响。

图4 室外停车场Fig.4 Outdoor car park

图5 室外机场Fig.5 Outdoor airport

图中a～i为图3～5对应位置的图像标号，其中图a～c分别为0°，60°，120°3个偏振角度的图像，d～f依次为使用Fourier-Mellin方法、文献[5]方法、本文方法配准的光强图像结果，g～i分别为使用Fourier-Mellin方法、文献[5]方法与本文方法配准的偏振度图像结果。图6 图像编号Fig.6 Image number

为了进一步验证方法的有效性，本文选取了归一化互信息[13]作为配准效果的评价指标。归一化互信息能够描述两幅图像像素概率分布的相似度，通常用来衡量图像配准的精度，其取值在1～2之间，值越大表明两张图片的相似度越高，配准效果越好。表1表示了Fourier-Mellin方法，文献[5]方法与本文方法对图像进行配准之后的归一化互信息值(以0°偏振图像作为基准)。

表1 归一化互信息结果

从表1中可以看出，相比于Fourier-Mellin算法和文献[5]算法，本文算法的归一化互信息值更高。这说明本文算法具有更高的配准精度。这主要是因为本文算法通过剔除配准效果较差的子图，降低了原先图像中噪声较大的背景区域对于配准结果的影响。同时本文算法中的预处理过程，也对提高配准精度有所帮助。

5 结 论

针对红外偏振图像具有分辨率低，清晰度低，噪声大的特点，使用常用的配准方法效果较差的问题，本文提出了一种基于子图像的相位相关配准算法，并且使用了实际设备所采集的偏振图像来测试算法性能。实验结果表明，相比于传统的Fourier-Mellin配准算法，本文提出的配准算法的归一化互信息值至多提高0.067%，配准后得到的偏振度图像边缘特征也更明显。使用本文方法，能够获得更为准确的配准结果，进而获取到更准确的偏振图像信息。