一种基于边缘匹配的前视红外目标识别算法

苏娟，徐青松，刘刚

(第二炮兵工程学院，陕西 西安710025)

0 引言

前视红外(FLIR)末制导是精确制导武器发展的重要方向，在末制导寻的阶段起决定作用的是自动目标识别技术，通过对典型目标的识别，可为精确制导武器提供定位导航支持，从而有效地提高制导性能和命中精度。目前，FLIR 自动目标识别算法主要分为2 大类:基于模板匹配的自动识别和基于知识检测的自动识别。基于知识的目标识别方法是针对目标红外特征明显、相对背景有较显著差异且背景较为简单的情况而设计。这类算法不需进行模板制备，但需一些目标的先验知识，且不同的目标需研究不同的算法。基于模板匹配的目标识别方法的工作原理是，根据目标高程、下视可见光图像、成像视角和距离等信息，制作前视基准模板并装定到飞行器上，飞行器在末制导阶段对获取的实时图与基准模板进行匹配识别，找出实时图中与模板匹配的目标区域，由此得出实时图与基准图的相对位置关系，实现目标的识别定位［1－3］。

基于模板匹配的目标识别方法大都采用相关识别方法，采用灰度或边缘等特征，归一化积相关系数或Hausdorff 距离等相似性测度［4］，将相关矩阵主峰所在位置作为匹配位置。由于基准图和实时图存在较大差异，真实匹配点往往落在相关矩阵的次峰上，从而导致匹配失败。因此选取鲁棒的模板匹配方法和根据模板匹配结果确定最佳匹配位置是该类算法的关键所在。针对前一问题，文献［3］提出了梯度矢量互相关的匹配测度，在模板匹配过程中，综合考虑梯度点的强度信息和方向信息。针对后一问题，文献［5］提出利用单帧匹配后形成的相关矩阵的主峰信息及惯导的位移信息，进行多帧景像匹配的一致性决策，实现误匹配点的剔除，但该方法是针对下视景像匹配提出的，在前视目标识别时，无法利用惯导位移信息进行误匹配点的剔除。

本文针对上述问题，提出了一种基于边缘匹配的目标识别方法，提取滤波后的Canny 边缘作为形状特征，计算基于距离变换的匹配代价和基于边缘点梯度方向直方图的匹配代价作为相似性测度，实现鲁棒的模板匹配。在模板匹配的基础上，利用目标邻域信息排除虚警，基于匹配代价矩阵计算匹配置信度，在单帧稳定识别的基础上，根据前视景像匹配的特点，利用前面连续多帧图像的识别结果为当前帧识别提供信息。采用上述策略实现误匹配点的剔除，从而提高识别率。

1 算法

本文算法流程如图1所示，包括4 部分内容:基于边缘匹配的模板匹配、基于邻域信息的虚警排除、匹配置信度计算和基于多帧信息的匹配识别。

图1 本文算法流程Fig.1 Overall flowchart of the proposed algorithm

1.1 基于边缘匹配的模板匹配

FLIR 目标识别中的基准图是根据目标高程、弹目距离和成像视角等信息，以及典型目标和背景的红外辐射特性，由下视可见光图像反演生成，而实时图是由飞行器上装载的FLIR 成像仪拍摄而成，二者存在较大差异，并且在不同的飞行高度与距离，对同一打击目标成像所得的实时图也存在较大差异，如视角差异和尺度差异等。这种差异导致传统的灰度匹配算法很难实现可靠而精确的匹配，因此研究特征匹配算法是提高匹配性能的有效途径。通过对大量典型目标图像判读可知，形状特征是典型人造目标所具有的主要特征，在实时图和基准图中具有较好的对应关系。因此本文算法提取的特征为基于边缘的形状特征，提取方法如下:

首先，采用Canny 算子得到边缘图像;然后，采用连通域搜索的方法将边缘图中的边缘点组合标识为边缘线段，由于人造目标的边缘以直线或弧线为主，曲率比较稳定，所以从标识的边缘线段中保留曲率稳定的边缘线段，并去除大量杂乱散碎的边缘线段。整个边缘提取过程相当于对Canny 边缘图进行滤波，从中提取出有意义的、满足人造目标几何结构定义的边缘。

在形状特征提取的基础上，选取形状匹配代价作为相似性度量，以基准边缘图为模板，采用模板匹配方法对实时边缘图进行匹配。形状匹配代价由基于距离变换的匹配代价和基于边缘点梯度方向直方图的匹配代价构成。

1.1.1 基于距离变换的匹配代价

该匹配代价定义为基准边缘图与待匹配的实时边缘图上的边缘点之间的平均最近距离，通过距离变换计算实现［7］。距离变换是对二值边缘图像进行的一种运算，变换矩阵中各点的值表示该点到距它最近的一个边缘点的欧式距离，如(1)式表示:

式中:E ={e}为实时边缘图像上所有边缘点的集合;d 为欧式距离。本文采用了文献［6］提出的快速方法对实时边缘图进行距离变换计算。如图2所示，以一对FLIR 实时图与基准图为例，给出了边缘提取与距离变换的结果，其中在边缘图像上的白色线条表示边缘点，在距离变换图像中，边缘点的灰度值为0，越暗的点表明和边缘点的距离越近。

匹配过程相当于将基准边缘图作为二维滤波器对实时边缘图的距离变换矩阵进行滤波，并按照基准图的尺寸求平均值。在这个二维滤波器中，对应边缘点位置的值为1，而对应非边缘点位置的值为0.因此基于距离变换的匹配代价定义为

式中:T={t}为基准边缘图上所有边缘点的集合;M×N 为基准边缘图的尺寸;x 为基准边缘图在距离变换矩阵上移动的位移向量。

对于预设基准图，采用上述算法在实时图中逐像素匹配时，在不同位置都可以得到一个匹配代价，所有位置的匹配代价的集合便构成匹配代价矩阵，可用图3所示的匹配代价曲面表示，代价值越小表示对应的位置和基准图越匹配。

1.1.2 基于边缘点梯度方向直方图的匹配代价

该匹配代价定义为基准图与待匹配实时图上边缘点梯度方向直方图的相似性。在原始灰度图像上，利用中心对称的梯度算子［－1 0 1］，计算基准边缘图和实时边缘图的边缘点对应的像素在水平和垂直方向上的梯度，即:

图2 边缘提取与距离变换Fig.2 Edge extraction and distance transform

图3 匹配代价曲面Fig.3 Matching cost surface

将基准图和待匹配实时图分为2 ×2 的图像单元，计算每个图像单元内边缘点像素的梯度方向，将梯度方向按照45°的间隔划分为8 个区间，得到相应的梯度直方图，将4 个图像单元内的梯度直方图连接起来，即可得到基准图和实时图的边缘点像素的梯度方向直方图hB(k)和hR(k)，该直方图可视为一个2 ×2 ×8 维的向量。用χ2距离表示2 个向量之间的相似性［8］:

同样，根据(4)式定义计算得到的匹配代价矩阵中，代价值越小的地方对应着和基准图越匹配的位置。

1.1.3 基于匹配代价的感兴趣目标检测

对于基于距离变换的匹配代价矩阵，预设阈值TDT，采用此阈值对匹配代价矩阵进行阈值分割，将分割结果以二值图像表示，凡满足CDT＜TDT的元素被认为是目标前景。本文经过多次试验设定TDT=2min(CDT).

采用同样方法对基于边缘点梯度方向直方图的匹配代价矩阵进行阈值分割。将得到的2 幅二值图像进行与运算，得到一幅同时考虑到2 种匹配代价的二值分割图像，并对其进行标识。找出每个标识区域中基于距离变换的匹配代价的最小值，将其对应的实时图位置作为一个感兴趣目标。

基于距离变换的匹配代价是基于边缘点计算的，而边缘点的确定主要依据梯度强度信息。基于边缘点梯度方向直方图的匹配代价依据梯度方向信息进行计算，因此上述2 种匹配代价充分利用了边缘特征的梯度强度和方向信息。基准图与实时图之间的差异直接体现在基准图边缘与实时图边缘之间出现边缘局部未对准或局部形变的情况。由于基于距离变换的匹配能够容许模板和待匹配图像之间存在的部分不相似性［7］，并且基于边缘点梯度方向直方图的匹配代价是基于区域统计信息作出的，对边缘局部未对准或局部形变的情况具有鲁棒性。因此上述匹配方法对基准图与实时图的差异比较鲁棒。

1.2 基于邻域信息的虚警排除

本文的匹配方法利用边缘为匹配特征，采用形状匹配代价为相似性度量，当背景中的边缘比较丰富时，匹配常会在这些区域取得极小值，尽管本文对Canny 边缘进行了滤波处理，去除了大量杂乱的边缘，保留了曲率稳定的边缘，提高了后续处理的准确性，但仍然容易在与目标形状类似的边缘处取得局部极小值，从而造成虚警，如图4所示。

图4 形状匹配产生的虚警Fig.4 False alarm produced by shape matching

红外成像主要反映物体的热辐射差，因此对于建筑物或冷却塔等人造目标，其红外图像一般具有以下特点:目标区域的亮度比背景区域的亮度高，区域内部灰度比较均匀，这一特点导致目标区域与其邻近区域在灰度、纹理和边缘等特征方面存在差别，该差别可以用来对模板匹配得到的感兴趣目标进行虚警排除。

本文选取的目标邻域如图5所示，与具体目标的模板尺寸有关。在模板匹配选取的感兴趣目标位置处(以黑色方框表示)，分别向上、下、左、右移动模板尺寸的1/2，得到4 个方向上的邻域(以白色方框表示)，用于提取目标与邻域在均值、方差和边缘密度方面的差异信息。差异信息定义如下:

图5 目标邻域的选取Fig.5 Selection of neighboring region of target

式中:边缘密度e 定义为区域内边缘点数与总像素点数的比值。在此基础上，建立如下判别规则:

式中:τ1，τ2，τ3分别为预先设置的阈值。采用(7)式对模板匹配选取的感兴趣目标进行判别，排除不满足目标红外特性的虚假目标。

当基准图与实时图之间的差异导致匹配位置存在微小偏差(如像素级偏差)时，由于用于虚警排除的特征属于区域统计特征，匹配位置的微小偏差并不会对基于区域均值、方差和边缘密度的差异信息有大的影响，换言之，上述特征对匹配位置偏差具有较强的鲁棒性，因此对基准图和实时图之间的差异比较鲁棒。

1.3 匹配置信度计算

由图3所示的匹配代价曲面可看出，基于距离变换的匹配代价曲面呈高低起伏分布，若把曲面内的局部较为突出的极小值称为波谷，则最小代价值对应的波谷称为最低谷，其他极小代价值对应的波谷称为次低谷。理想情况下真实的匹配位置应对应于最低谷，但由于基准图与实时图之间的差异性，匹配代价矩阵中多个极小值的存在是不可避免的，并且这种差异性可能使最低谷升高，次低谷降低，甚至次低谷有可能转变为最低谷，从而导致真实匹配位置并不一定位于匹配代价矩阵的最低谷。

考虑到在FLIR 目标实时图中目标区域与背景区域的形状特征存在显著不同，因此理想的匹配位置所对应的匹配代价曲面上的波谷应显得比较尖锐。因此，本文提出了基于最低谷尖锐度的匹配置信度，该置信度的计算是在基于距离变换的匹配代价矩阵上进行的。如图6所示，在匹配代价矩阵的各个候选极值区域中，以波谷为中心、以n1和n2长度为半径作2 个圆，半径为n1的圆形区域内的最小值以Vinner表示，n1与n2之间的环形区域内的最小值以Vouter表示，则最低谷尖锐度定义为

由定义可知，尖锐度定义为用内环最小值进行归一化处理的内外环差值，当内外环最小值的差别越大，内环的最小值越小，即S 值越大，极值波谷越陡峭，对应的匹配置信度越高，匹配性能越好。本文经过大量实验，设定n1=3，n2=6.

采用上述方法对感兴趣目标进行匹配置信度计算与排序，置信度最大的候选目标即为算法确定的匹配目标。

图6 最低谷尖锐度定义区域Fig.6 Definition region for sharpness

1.4 基于多帧信息的匹配识别

前视目标识别与下视景像匹配有一个明显的区别，下视景像匹配中多帧实时图像间相关性差甚至不相关，而前视目标识别中多帧红外实时图像之间具有很强的相关性，目标随着成像距离的减小，在实时图中的尺寸越来越大，原因在于飞行器从最后一个下视景像匹配区飞出以后，基本上以直线飞行为主，不作大的航向机动和姿态调整。因此可以在单帧识别的基础上，利用前面连续多帧图像的识别结果为当前帧的识别提供信息，从而提高正确识别概率。具体如下:

1)图像区间划分。本文处理的实时图像尺寸为320 ×256，将实时图像划分为5 ×4 个尺寸为64 ×64 的图像单元。

2)识别结果统计。从第一帧起，对连续N 帧识别结果进行统计，统计每帧中前3 个置信度较大的候选目标落入20 个图像单元中的个数，并计算出每个图像单元可能存在目标的概率。例如，在N 帧识别中，当候选目标落入某个图像单元Ui的次数共为K 次，则该单元的概率

式中:i=1，2，…，20，因此可得到一个表示各图像单元存在目标的20 维的概率分布。连续进行上述概率统计，当相邻2 次基于N 帧识别结果的概率分布之差小于某一预设阈值时，可认为单帧识别进入稳定识别阶段，目标在视场中的位置比较固定(虽然可能因为载体振动出现部分异常帧的情况)。本文经多次试验设定N =20.

3)多帧识别信息加权的匹配置信度计算。进入稳定识别阶段以后，记录下此时的帧号M，对M+1 帧进行识别时，开始利用M 帧之前的N 帧识别信息。用计算得到的每个图像单元可能存在目标的概率对候选目标的匹配置信度进行加权，即根据候选目标在实时图像中的匹配位置，得到其相应的图像单元可能存在目标的概率，将此概率作为权重，对基于最低谷尖锐度的匹配置信度进行加权，得到最终的匹配置信度，根据此匹配置信度找出最终识别的目标。

4)权重更新。在得到新的一帧实时图的识别结果后，根据该帧识别结果和前面连续N－1 帧识别结果重新统计每个图像单元可能存在目标的概率，进行图像单元的权重更新，利用更新后的权重进行下一帧实时图的目标识别。

由于图像单元的权重是根据当前帧之前的连续N 帧识别结果计算得到的，这样得到的最可能匹配位置与真实匹配位置之间存在一定的误差，虽然该误差值在帧间是较小的，但通过多帧图像累积以后，其积累误差必然影响最终的识别。因此在该算法中增加了权重更新步骤，适时根据最近一帧识别结果进行权重更新，消除多帧积累误差的影响。

采用上述方法，可在当前帧识别时充分利用前面多帧的识别结果信息，对误匹配点的出现有抑制作用，能在一定程度上降低对单帧识别可靠性的要求，进一步提高匹配识别的可靠性。

2 实验结果与分析

本文的实验数据集包括2 组机载试飞的FLIR图像序列，其中待识别的目标分别是位于复杂背景下的建筑物和热电厂冷却塔，每组图像序列对应多张基准图，根据弹目距离进行切换。

针对上述图像序列，将本文方法与基于边缘强度的归一化积相关法进行比较，其匹配结果如表1所示。可以看出，本文算法在2 组目标序列上均取得了较好的匹配性能，其中在冷却塔目标序列上的匹配性能更好，这是因为冷却塔序列图像中目标与背景的灰度差异较大，形状特征明显;与此同时，建筑物序列图像中目标位于复杂背景中，且建筑物侧面的轮廓和纹理比较丰富，而基准图无侧面纹理信息，造成了基准图与实时图的边缘特征的较大差异，因此匹配性能受到了一定的影响。

表1 匹配率Tab.1 Matching probability

实验结果表明，归一化积相关法性能很不稳定，受实时图成像质量和基准图制作质量的影响较大，当基准图和实时图的差异较大时，匹配性能较差;与此同时，本文算法对基准图和基准图之间的差异比较鲁棒，即使在复杂背景下或者实时图中目标与背景灰度差异较小的情况下，也能取得较好的匹配性能。原因在于:1)与归一化积相关法相比，基于边缘匹配的模板匹配可给出较为平滑的匹配结果，对边缘出现局部未对准或者局部形变等情况具有较强的鲁棒性;2)本文提出的匹配后处理模块可以有效地提高单帧目标识别的正确率，使得匹配性能得到改善。在上述测试样本集上进行了对比实验，加入匹配后处理模块后匹配率分别提高了8%(建筑物目标)和10%(冷却塔目标).

FLIR 目标识别的特殊应用环境决定了算法的实时性要求。从运行速度上来看，在Intel Pentium 2.6 GHz 处理器和2 GB 内存的硬件配置下，采用VC+ +6.0 的编程环境，本文算法的运行时间约为10 帧/s，能够满足实时需要。

3 结论

在基于模板匹配的FLIR 目标识别中，基准图和实时图之间存在的各种差异和目标所处复杂背景的干扰可能导致匹配失败。本文针对这一问题，提出了一种基于边缘匹配的目标识别方法。该方法在模板匹配过程中充分利用边缘特征的梯度强度信息和梯度方向信息，在模板匹配后处理中采用了多种误匹配点剔除策略，因此使得方法的准确性和鲁棒性均得到了较大提高。实验结果表明该方法具有良好的匹配性能，对建筑物和冷却塔等复杂场景下的典型目标匹配识别具有一定的应用价值。

在此算法框架下，如何使所采用的匹配特征具有更好的尺度不变性，以适应FLIR 序列中目标尺度变化剧烈的特点，是笔者未来研究的重点。

References)

［1］ Weiss I.A framework for a general model－based ATR theory［C］∥Proceedings of SPIE.US:University of Maryland，2004，5472:449－ 458.

［2］ 杨小冈.动态景像匹配算法设计与应用研究［R］.西安:第二炮兵工程学院，2009.YANG Xiao－gang.On dynamic scene matching approach design and application［R］.Xi’an:The Second Artillery Engineering College，2009.(in Chinese)

［3］ 明德烈，田金文.红外前视对一类特殊建筑目标识别技术研究［J］.宇航学报，2010，31(4):1190－1194.MING De－lie，TIAN Jin－wen.Automatic infrared condensing tower target recognition using gradient vector features［J］.Journal of Astronautics，2010，31(4):1190－1194.(in Chinese)

［4］ 曹治国，鄢睿丞，宋喆.利用模糊形状上下文关系的红外与可见光图像匹配方法［J］.红外与激光工程，2008，37(6):1095－1100.CAO Zhi－guo，YAN Rui－cheng，SONG Zhe.Approach on fuzzy shape context matching between infrared images and visible images［J］.Infrared and Laser Engineering，2008，37(6):1095－1100.(in Chinese)

［5］ 王永明.连续景像匹配的后处理算法［J］.宇航学报，2004，25(5):535－540.WANG Yong－ming.A post－processing algorithm for continuous scene matching［J］.Journal of Astronautics，2004，25(5):535－540.(in Chinese)

［6］ Felzenszwalb P，Huttenlocher D.Distance transforms of sampled functions，TR2004—1963［R］.Ithaca:Cornell Computing and Information Science，2004.

［7］ Gavrila D M.Pedestrian detection from a moving vehicle［C］∥Proceedings of 6th European Conference on Computer Vision.London:Springer－Verlag，2000:37－49.

［8］ Belongie S，Malik J，Puzicha J.Shape matching and object recognition using shape contexts［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，8(6):509－522.