基于图像拼接技术的动态目标重建*

蔡睿洁，冯祖仁，张 婕

(1西安交通大学系统工程研究所机械制造系统工程国家重点实验室，西安 710049;2 中国兵器工业第203研究所，西安 710065)

0 引言

直瞄式制导武器在作战的过程中，进入观瞄跟踪视场的导弹光标，往往在一定时间内，大面积遮住所要打击的目标，严重时约有一半的目标完全被导弹光标遮挡，同时遮挡目标的时间也比较长，导致了大量目标信息的丧失，这种强光干扰现象直接影响了自动跟踪的可靠性与准确性，使其难以顺利实现。

该研究涉及图像图形学、最优估计、最优控制、模式识别等众多学科，是计算机图形学和计算机视觉中的一个研究热点。但这方面的算法多适用于静态目标丢失小部分信息的情形，应用于动态目标大面积丢失信息情况的研究比较少。之前多个科研院所均致力于此项研究，但都由于软硬件技术等原因，没有完全解决这一问题。

本方案首先通过阈值判决分离出高亮度的光斑信息，再采用角点检测算法来进行特征提取，最终利用射影几何技术实现图像的恢复和重建。

1 基本原理

1.1 阈值分割

图像分割处理的过程就是把数字图像划分成互不相交的区域的过程，鉴于图像背景与导弹光标往往存在较大的灰度差，文中采用了较简便的阈值统计方法计算灰度阈值。以平均灰度为基准乘以系数作为灰度阈值，此方法与固定阈值相比，这种算法得到的阈值与每次实验的灰度信息有关，在一定程度上消除了外部环境因素引起的灰度误差。

在动态计算导弹光标尺寸时，统计灰度大于阈值的像素点，其横坐标、纵坐标各自平均值作为光标质心，将光标近似为正方形计算得到光标半径约为R=则导弹光标处理区域为:x0－R≤x≤x0+R，y－0R≤y≤y0+R。导弹光标处理区域的大小，将随着每场图像导弹光标的大小实时同步的进行调整变化，最大限度的保留未被导弹光标遮挡的背景和目标信息，有利于提高匹配效率，减小匹配带来的误差形变，增强图像的真实效果和可信度。

1.2 Harris角点检测

Harris算子是 C.Harris和 M.J.Stephens在 1988年提出的一种点特征提取算子。这种算子受信号处理中自相关函数的启发，给出与自相关函数相联系的矩阵M。M阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该点是角点［1］。

Harris方法提取角点的过程可以分成以下几步:

1)首先对要处理的灰度图像中的每个像素点，计算其在水平方向和垂直方向上的梯度以及二者的乘积，这样可以得到3幅新的图像，3幅图像中的每个像素对应的属性值分别代表Ix、Iy和IxIy。然后对3幅图像进行高斯滤波，再计算原图像上对应的每个像素点的兴趣值，即R值。

2)选取局部极值点。Harris方法认为，特征点是局部范围内的极大兴趣值对应的像素点。因此，在计算完各像素的兴趣值后，要提取原始图像中所有局部兴趣值最大的点。实际操作中，可依次从以每个像素为中心的窗口区域中提取最大值，如果中心点像素的兴趣值就是最大值，则该像素点就是特征点。

3)根据需要提取一定数目的特征点。局部极值点的数目往往很多，可以对所有的极值点排序，根据要求选取兴趣值最大的若干个像素点作为最后的结果。另外，也可以通过设置兴趣值的门限，选取期望的角点，此时选取的角点数目是不确定的。

Harris算子作为一种有效的点特征提取算子，具有计算简单，提取的点特征均匀而且合理、稳定等优点［2］。图1所示为一幅飞机图像的角点提取。

图1 Harris算法角点提取图

文中的算法中采用Harris角点检测法，实现对相邻两场图像的特征提取。检测上一场已经恢复处理过的图像角点，将它作为匹配时的模板信息，检测当前场的图像角点作为对应的待匹配信息。使用角点检测算法主要是为了提取目标特征点，对目标实现定位跟踪，获得了相邻两场的目标图像及相应的角点，从而通过建立匹配关系，获取位置变换式。

1.3 角点匹配

文中采用归一化相关算法实现当前图像与参考图像的灰度匹配。如下式:

式中:R(x，y)为相关系数;f(i+x，j+y)为实时图像中搜索区各点的灰度值;s(i，j)为模板图像的灰度值;(x，y)为实时图像与模板之间的偏移量;M为模板的大小。

以下分别为上一场已经过恢复处理的图像角点提取状况以及当前场弹标遮挡时的角点提取状况。

图2 上一场已恢复图像角点提取状况

图3 当前场弹标遮挡时角点提取状况

如图2、图3所示:对刚刚采入的当前场图像进行角点提取时，往往会提取出导弹光标附近的角点信息，这些角点作为虚假信息不能够参与匹配运算，只能在剩余的角点中计算出与上场角点相匹配的位置信息。

若以图2作为待匹配图像，图3作为模板图像，以上两场图像共建立了6组对应角点对，其对应关系见表1。

表1 角点匹配对照表

表中“*”表示对应点位于导弹光标遮挡区域，无法进行匹配运算。

由表1可见:每个待匹配点都有唯一的模板特征点与之对应，但一个模板特征点却可能与多个待匹配点建立匹配对应关系，这种匹配关系并不是一一对应的。例如图2中的2号和3号两处角点都与图3中的2号角点具有很高的匹配度。由于本算法处理的是移动目标，而恢复处理后的图像又往往存在失真，所以即使是相互匹配的角点在图像中的相对位置也可能存在差异，也就是角点检测时可能会出现一致性较差的情况，如果直接利用角点对的位置关系进行图像填充恢复，必然造成严重的形变失真，这就要求在图像恢复算法中引入仿射变换模型以实现恢复过程的预测与矫正。

1.4 图像恢复

由于文中所要处理的是目标移动、摄像器材也移动的情形，无法直接利用上一场同一位置的像素填充本场像素。必须利用角点的对应匹配关系，建立起两场图像间的变换关系模型，拟合出模型的各项参数，最终逐个填充被遮挡部分的像素点。为了完备的建立起图像旋转、缩放、平移变换的模型，可以将方程变换为，这就构成了仿射变换模型。

线性回归分析是研究刚性变量间相关关系的一种数学方法，是通过试验和观测来寻找那些隐藏在变量之间相关关系的一种数学方法［3］。

通过线性回归方法，可以计算出仿射变换中a11、a12、a21、a22、b1、b2等各项参数，设共匹配了 N 组角点对，其中:(xi，yi)为待恢复像素点坐标，(x0i，y0i)为(xi，yi)在上一场图像中对应点坐标，可得如下公式［4］:

利用以上公式完全确立了仿射变换模型，明确了两场图像各像素间的动态对应关系，将本场待恢复点的坐标(x，y)代入仿射变换方程:

得对应的上一场图像的坐标为:

这样就可以根据两场图像间的对应关系，用上一场已经恢复过的像素点替换本场待恢复的像素点，最终实现对导弹光标遮挡区域的完全恢复。由于已经引入了平移旋转因子，填充部分与原图像之间的融合度较好，外形轮廓也更加接近。在算法的最后往往会对图像进行平滑滤波，以便消除图像间的拼接边缘。

2 实验结果

下面的对比分析展示了导弹光标在背景中未遮挡目标、导弹光标大面积遮挡目标等情况下硬件仿真的处理效果，来验证本算法的有效性与可行性。

1)针对靶板目标，导弹光标大面积遮挡目标

图4 未处理导弹光标的图像

图5 处理导弹光标后的图像

以上为导弹光标遮挡靶板目标的处理结果对比，对于真实战场环境中的目标本算法也有较好的处理结果。

2)针对实际坦克目标，导弹光标大量遮挡目标

图6 未处理导弹光标的图像

图7 处理导弹光标后的图像

经过在核心处理器为DM642的硬件平台上仿真测试，算法所需时间为12.9 ms，平台的可视图像周期为40 ms，本算法运算速度可以满足系统实时性的要求。

3 结语

从以上所述可以看出:无论针对靶板目标还是实际目标，本算法都能准确实施定位和处理，对于导弹光标遮挡的区域，能比较准确完备地恢复目标的真实特征。与没有进行处理的情况相比，应用本算法对动态目标图像进行重建，处理后基本消除了导弹光标的影响，明显减少了目标图像的失真程度，更有利于目标的识别跟踪，提高了对动态目标的跟踪能力。

［1］仇芝.三维重建的匹配技术［D］.南京:南京理工大学，2005.

［2］李忠新.像镶嵌理论及若干算法研究［D］.南京:南京理工大学，2004.

［3］王超.基于仿射变换的成像跟踪器的开发与研究［D］.武汉:华中科技大学，2005.

［4］闫朝升.数据流联机分析处理技术的研究［D］.哈尔滨:黑龙江大学，2004.

［5］程关兵.回归分析在航空发动机装配间隙对其性能影响研究上的应用［D］.天津:中国民用航空学院，2004.