海面舰船红外与可见光图像配准

郭少军，刘 峰，奚晓粱

（1. 海军航空工程学院，控制科学与工程系，山东 烟台 264001；2. 海军91868部队，海南 三亚 572000；3. 海军航空工程学院，七系，山东 烟台 264001）



海面舰船红外与可见光图像配准

郭少军1,2，刘 峰1，奚晓粱3

（1. 海军航空工程学院，控制科学与工程系，山东 烟台 264001；2. 海军91868部队，海南 三亚 572000；3. 海军航空工程学院，七系，山东 烟台 264001）

在利用特征点集的红外与可见光舰船图像配准过程中，经常会存在点集的一致性差而无法配准的情况，本文针对可见光图像中背景干扰大，纹理丰富容易出现较多非舰船目标轮廓特征点的情况，利用全局广义直方图均衡化和显著性增强对可见光图像进行增强，然后进行Canny轮廓提取并在轮廓的基础上提取舰船目标边缘角点作为匹配点集；对于红外舰船图像，海面背景与舰船温度差异较大，其舰船目标成像效果较好，存在的干扰较少，本文直接进行Canny算子运算并提取角点作为特征点集。实验效果显示，本算法实用性较强，误差小于3个像素，能够满足工程使用要求。

广义直方图均衡；显著性增强；特征点集提取；CPD配准

0 引言

红外和可见光获得图像的机制和原理的不同使得海面舰船目标红外图像与可见光图像存在明显的差异。海面舰船可见光图像容易受太阳照射角度、海杂波反射、光照强度等因素的影响，存在大量的背景干扰。红外图像的成像主要依赖船体与背景的温度差异而生成，在雨雾等弱成像条件下能够保持较好的目标成像，背景干扰较少。

海面舰船红外与可见光图像之间很难存在灰度或颜色空间上的一致性特征，在同源图像配准中比较实用的SIFT、SURF等算法在海面舰船红外与可见光之间的配准使用中成功率几乎为零。虽然在颜色或灰度上海面舰船两个波段的图像间很难找到共同特征，但是无论在哪个波段的舰船目标成像都具有边缘轮廓的一致性，如果能够准确地获取海面舰船目标红外和可见光图像中目标的一致性边缘点，则能够以这些点作为两个匹配点集，利用点的一致性漂移算法（CPD）进行点集之间的匹配。

本文利用Canny算子获得海面舰船可见光与红外图像中的边缘轮廓，然后再进行角点检测，将获得的角点作为配准点集。利用Canny算子进行轮廓提取能够有效地消除图像中的噪声，再进行角点检测则能有效滤除虚假角点，同时，以角点作为特征点而不是边缘轮廓作为特征进行图像配准能够有效避免云层与海杂波等不规则轮廓带来的特征集不一致性。

在实际图像配准的应用中，天气对红外与可见光成像存在极大的影响，当光照不好或存在水雾、烟雾干扰成像的情况下，由于散射与吸收效应，目标在图像中显示不明显。在这种情况下利用Canny算子获得轮廓会变得十分杂乱，两个波段图像中检测到的角点集之间的一致性也会变差，这给CPD配准方法带来了极大的干扰，严重情况直接导致配准算法失效。要保证CPD算法的正确率与高效性，需要做到两点：①可见光与红外图像中的特征点必须具有漂移一致性；②尽可能少的取能够满足算法需要的点集进行算法配准。

为了突出目标的存在，本文首先利用广义直方图均衡结合视觉显著性增强（AIM）算法对可见光图像进行目标区域增强，增强后图像中目标的边缘特征更加明显，而内部的纹理特征会减少变弱，这种变化避免了两个波段中舰船目标内部特征纹理角点的不一致性对CPD算法的影响，同时，特征点集的数量得到了减少，能够提高算法效率。

1 图像增强

1.1 广义直方图均衡化

利用图像增强技术能够使图像具有更佳的视觉效果，使得人和计算机能够对信息具有更好的辨别能力，更适合于参数估计，图像分割和目标识别等方面的工作开展。传统的直方图均衡增强后的图像中细节信息丢失严重并且存在大量的噪声。为了克服这两个问题，R. B. Paranjape提出了自适应邻域直方图增强方法，在图像增强的同时有效保留了细节[1]。毛玉星等通过区分噪声和有效信息来进行图像增强的空间分布红外图像直方图均衡化方法[2]；张志龙等将图像中高频与低频信号分开进行直方图增强，将结果融合获得最终增强图像[3]。B. W. Yoon等提出了广义直方图的概念[4]，刘松涛[5]等在B. W. Yoon的基础上提出了基于广义直方图的图像均衡化处理方法，有效保留了图像的细节并完成了图像增强，本文采用广义直方图增强方法对图像进行预处理。本文算法流程如图1所示。

传统的直方图是基于整数1进行像素数累加的，广义直方图将1分解为2个值：分数和余数，通过对每个灰度级累计分数值与余数来生成。表达式如下所示：

式中：rÎ[0,1]表示坐标(,)处像素额分数计数；分数值通过增加对比度增益来增强图像对比度，余数值通过均匀分布来保护图像对比度，r的计算方法参考文献[5]。

用获得的广义直方图替代原始图像的传统直方图并进行标准化归一化处理，然后通过概率分布直方图映射的方式进行图像的直方图均衡化增强。

1.2 显著性增强

利用广义直方图增强后的图像中目标更加突出，但背景中存在对比度差异的图像也会得到相应的增强。为了避免从背景中获得特征点，本文对广义直方图增强之后的海面舰船图像进一步实施基于视觉的显著性增强。增强后的图像能够使目标区域更加突出并使背景得到抑制，有利于保证提取点集间的一致性特性。

图1 舰船红外与可见光图像配准流程图

目前，图像显著性增强方法有很多种，比较流行的算法有Itti[6]，AIM[7]，FTS[8]，SR[9]，PQFT[10]，SUN[11]，GCS[12]等，通过对实际拍摄的海面舰船可见光与红外图像的实验发现，Itti获得的效果比较零散且目标不完整，不能满足本文算法需要，AIM能够满足本文算法需要，能够较好地保存图像中目标轮廓；GBVS的显著性效果对处于边缘的目标显著性增强效果并不明显；FTS容易将边缘轮廓模糊导致边界特征点偏移；SR获得了显著性区域但是信息丢失严重；PQFT是基于FTS算法进行的改进，在信息保留与背景抑制方面都具有比较优秀的表现，且运算速度快，能够满足实时性要求，但是和FTS算法一样，容易将边缘轮廓模糊化；SDSR，SUN，GCS等算法都存在背景干扰等问题，PBS的效果类似于PQFT，实时性方面也较为欠缺，本文采用AIM来进行目标显著性增强。

AIM（Attention-based on Information Maximi -zation）模型利用香农的自信息度量，将图像的特征平面变换到对应于视觉显著性的维度上。

AIM假设：一个视觉特征的显著性就是该特征相对于它周围其他特征提供的信息的差别度。根据香农定理，图像特征对应的自信息通过下式计算：

()＝－lg[()] (2)

式中：()为特征的概率密度函数。

2 图像中特征点提取

2.1 Canny算子获得图像边缘

图像的边缘检测必须满足两个条件：①有效地抑制噪声；②精确地提取边缘位置。Canny算子通过对信噪比与定位乘积进行测度，得到最优化逼近算子，实现边缘检测。Canny算子的流程可以总结为算法1（见表1）。

表1 算法1 Canny算子提取轮廓算法

2.2 角点检测

求和过程覆盖了预定义的相邻像素点。强度变化的平均值计算需要在所有可能方向上进行，因为高强度变化可能出现在任何方向。通过这个定义，进行如下测试过程：首先获取平均强度变化最大值对应的方向，在检查位于它垂直方向的变化是否也很强烈，同时满足条件的即是一个角点。

对求和公式(3)进行泰勒级数展开可以近似为公式(4)：

用矩阵形式重写式(5)：

公式(5)是一个协方差矩阵，表现的是所有方向上强度的变化率。该定义涉及图像的一阶导数，通常利用Sobel算子来进行结果计算。协方差矩阵的两个特征值给出了最大平均强度变化以及垂直方向上的平均强度变化，角点位置的两个特征值应该都较大。因此，角点成立的条件是协方差的最小特征值超过阈值大小即可。

为了避免特征值计算带来的时间消耗，利用特征分解理论中的一些特性可以避免对特征值进行求解，通过计算公式(6)所示的得分值来确定特征值是满足角点条件。

score＝Det(C)－×Trace2() (6)

式中：Det(×)是矩阵行列式；Trace(×)是矩阵的迹；是自定义的系数。可以验证，只有两个特征值都足够大时score的值才足够大。

3 点的一致性漂移算法（Coherent Point Drift, CPD）

利用前两节介绍的算法获得海面舰船红外与可见光图像的点集后，本文采用CPD算法对两个点集进行配准。CPD算法本质上是将点集配准的过程转化为高斯混合模型（Gaussin Mixture Model，GMM）概率密度函数的参数估计问题[13]，在点集配准过程中，CPD算法将两个点集中的一个作为模板点集，认为模板点集作为整体按照一定变换方式向目标点集进行拓扑结构一致性的漂移运动。设Y×＝[1,2,…,y]为模板点集，X×＝[1,2,…,x]为目标点集，其中为点集中点的数量，为点的维数。以模板点集中的点作为混合高斯模型的质心，则该GMM的概率密度函数为公式(7)：

CPD算法最后采用期望最大化（EM）方法来进行寻优过程的，分为期望值（）和求解式(9)的极大化问题（步），最后求解获得、。EM算法能够收敛到对数似然函数的稳定点，但是极有可能求解到局部最优点，赵键[14]等人通过设置多个求解初始参数来解决出现局部最优的问题，实现了求解全局最优解的方法。在求解过程中，当图与图之间存在超过45°的倾斜角度时则需要进行全局最优求解。本文通过利用先验信息来确定是否需要进行全局最优求解，有效避免没必要的全局寻优带来的耗时。

4 实验与分析

本文使用i5 CPU，VS2012旗舰版编程，对海面实际拍摄的舰船目标红外与可见光对进行匹配，同时，作者针对匹配情况制定了更为直观的精度计算方式，即通过手动标定图像对之间的位置来作为图像配准的基准，利用本文算法计算获得的转换参数对标定数据集进行转换计算，并计算整体像素偏差，以这个偏差来衡量本文算法对舰船可见光与红外图像间配准的精度。

假设标定点集为、，通过全局直方图均衡化和显著性增强后自动获得的点集为¢、¢，首先以¢为模板点集对¢、¢两个特征点进行CPD配准计算获得参数、，进一步利用参数、计算向的投影，获得投影点集²，本文通过计算²与对应点之间的偏差和平方的均值来衡量本文整体算法流程的精度，如公式(10)所示：

式中：是点集中点的数量。

本文采用图2和图3中两对图像进行配准进行算法演示。

(a)536×447 (b)768×576

图2和图3分别是本文实验采用的红外图像和对应的可见光图像，其中采用的第一对图像中红外图像（图2(a)）比可见光图像（图3(a)）要大很多，对于尺寸不同的图像进行算法配准说明本文算法具有不同尺度图像配准的能力，一般情况下，在多源图像融合检测与监视工程应用中，采样获得的图像都具有相同的大小，如采用的第二对图像（图2(b)与图3(b)两幅图）。

对舰船目标可见光图像进行全局直方图均衡化与显著性增强后结果如图所示，图3中可见光（图3(b)）图像边缘较为清晰，因此不需要进行显著性增强处理。

增强后的图像中存在干扰的情况，本文采用自适应阈值分割方法对图像进行分割，从而只保留下目标轮廓区域，消除背景干扰。进一步，本文对分割后的图像进行Canny算子计算和角点提取，获得可见光图像中舰船目标的轮廓特征点集。为了视觉上更加直观，图4中给出了对应图像对之间获得的特征点集在原图上的标记以及配准后图像。

图4 舰船可见光图像增强结果

为了进行精度分析，作者对图像中特征点集进行手动标记，手动标记的精度误差在两个像素以内，以手动像素标记为基准，配准误差精度如表2所示。

限于篇幅，本文仅以第二对图像的配准映射坐标数据来说明本文算法的配准精度，实验中用红外图像向可见光图像投影获得配准后的投影图像。表2给出了3对坐标数据，分别为可见光图像中的标记位置，利用红外与可见光标记点集获得的转换参数计算得到的投影坐标，以本文算法获得的参数计算得到的投影坐标。

通过表3中数据计算得手动标定误差为1.09，本文算法匹配误差为1.59，本文算法与标定精度之间只有0.5的差异。

通过配准精度和配准后红外向可见光投影图像可以得知，本文算法具有较好的海面舰船红外与可见光图像之间的配准精度，在可见光与红外图像间存在背景与纹理干扰造成轮廓特征点不一致的情况具有较好的处理能力。从图像中特征点的标记位置来看，本文算法能够有效滤除掉小目标造成的特征点干扰，从而使红外与可见光舰船图像能够在特征点集上保持一致性，如图5中图像对所示。然而也可能存在如图6中所示的情况，将较亮目标点作为特征点，这可能会对CPD算法配准带来误差，需要进一步改进。

图5 第二对图像特征点标记与配准投影结果

5 结论

本文提出的基于显著性增强提取特征点，并通过CPD进行可见光与红外舰船图像的配准算法在一定程度上解决了多源图像间无法配准的问题。本文算法利用图像中明显的角点作为特征点集，一方面减少了配准点的数量，另一方面通过角点数量与区域的控制，保证了角点集之间的漂移一致性，从而确保了图像之间的配准精度，是一种切实可用的办法。

图6 第一对图像特征点标记与配准投影结果

表2 本文算法投影坐标与标定投影坐标对比

表3 图像配准的精度误差

[1] PARANJAPE B R. Adaptive neighborhood histogram equalization for image enhancement[J]., 1992, 54(3): 259-267.

[2] 毛玉星, 杨士中. 基于空间分布的红外图像直方图均衡算法[J]. 电路与系统学报, 2004, 9(6): 148-150.

MAO Yuxing, YANG Shizhong. Infrared image histogram equalization algorithm based on spatial distribution[J]., 2004, 9(6): 148-150.

[3] 张志龙, 李吉成, 沈振康. 一种保持图像细节的直方图均衡新算法[J]. 计算机工程与科学, 2006, 28(5): 36-38.

ZHANG Zhilong, LI Jicheng, SHEN Zhenkang. A New algorithn for image-detail-preserving histogram equalization[J]., 2006, 28(5): 36-38.

[4] YOON B W, SONG W J. Image contrast enhancement based on the generalized histogram[J]., 2007, 16(3): 033005(1-8).

[5] 刘松涛, 吴钢. 基于广义直方图均衡的图像增强新方法[J]. 电光与控制, 2010, 17(3): 12-14.

LIU Songtao, WU Gang. A novel method for image enhancement based on generalized histogram[J]., 2010, 17(3): 12-14.

[6] ITTI L, KOCH C, NIEBUR E. A model of saliency based visual attention for rapid scene analysis[J]., 1998, 20(11): 1254-1259.

[7] ITTI L, KOCH C. Computational modelling of visual attention[J]., 2001, 2(3): 194-203,.

[8] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]//, 2009: 1597-1604.

[9] HOU X, ZHANG L. Saliency Detection: A spectral residual approach[C]//, 2007: 1-8.

[10] GUO Chenlei, MA Qi, ZHANG Liming. Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform[C]//, 2008: 72-2.

[11] KANAN Christopher, TONG Mathew H, ZHANG Lingyun, et al. SUN: Top-down saliency using natural statistics[J]., 2011, 11(12): 262-275.

[12] CHENG Ming-Ming. Global Contrast based salient region detection[C]//, 2013: 1-8.

[13] Myronenko A, SONG X B. Point-set registration: coherent point drift[J]., 2010, 32(12): 2262-2275.

[14] 赵键, 孙即祥, 周石琳, 等. 基于全局最优的快速一致性点漂移算法[J]. 电子信息学报, 2012, 34(3): 509-516.

ZHAO Jian, SUN Ji-xiang, ZOU Shi-lin, et al. Fast coherent point drift algorithm based on global optimization[J]., 2012, 34(3): 509-516.

The Registration of Warship Infrared and Visible Images

GUO Shaojun1,2，LIU Feng1，XI Xiaoliang3

(1.,,264001,; 2.91868,572000,; 3.7,,264001,)

In the registration process which uses feature point set of infrared and visible light images, the consistency of the point sets is poor and can't always be used in registration. Focusing on the fact that the visible images are always with a lot of background and rich textures, we use the global generalized histogram equalization and significant enhancements to visible light image enhancement, make contour extraction by ‘Canny’, and then detect the corner points as feature sets from the ‘Canny’ map. For infrared ship image, the temperature difference of background and ship targets is bigger, the ship target imaging better, and less interference. This paper directly uses the ‘Canny’ operator to operate and extract the corners as feature point sets. Experimental results show that the algorithm is practical, the error is less than 3 pixels, which can satisfy the engineering demand.

generalized histogram equalization，significant enhancement，feature point extraction，CPD registration

TP391

A

1001-8891(2016)05-0403-06

2015-12-06；

2015-12-26.

郭少军（1985-），男，湖南洞口人，助理工程师，博士研究生，主要研究图像处理、目标识别等。E-mail：guoba2000@163.com。

国家自然科学基金（61303192）。