基于仿射变换模型的图像跟踪系统的实现

翟春艳，陈文博

（中国电子科技集团公司 第二十七研究所，河南 郑州 450047）

随着现代战争的发展，越来越需要对目标进行远距离的精确定位和跟踪。传统跟踪以毫米波雷达为传感器，具有探测距离远，不受气象环境影响等优点，但存在有源工作易暴露己方，角分辨精度较低，易受电磁干扰等缺点。由于图像跟踪充分利用了高分辨率的图像信息，在近程（几公里至几十公里）具有无源工作隐蔽性好、抗电磁干扰、在海上应用中可低角度工作、无多径干扰、对小目标分辨力强、跟踪精度高、可选择攻击点和发射后不管等优点，在现代武器系统中获得了越来越多的应用，成为警戒搜索、跟踪和制导系统的重要组成部分。

但是，在武器系统中的图像处理基本上都是针对连续的运动图像，不论是目标的运动，还是武器系统自身的运动，观测到的图像序列存在着目标相对背景的运动、由传感器运动造成的场景图像的整体运动、以及由于视角变化使得目标物体表现出图像形态的不稳定、目标物体的平面旋转、尺度变化、三维空间旋转、照度变化、非线性几何畸变、局部或整体遮挡、部分背景图像变化等。所有这些因素都使得基于图像信号处理的目标检测、识别、跟踪处理系统的设计面临挑战，即需要努力提高算法与系统的鲁棒性。

基于运动模型的跟踪采取特定的目标运动模型来实现跟踪。运动模型越详尽精确，对目标物体之运动变化的描述能力就越强，以其为基础的算法就能够得到更高的定位精度，获得更好的跟踪效果。在目标运动模型中，平移模型仅包含目标在水平、垂直方向上的位移两个参数，对目标运动变化的刻画能力过于简单，无法有效地适应目标在图像中通常会发生的缩放、旋转甚至错切等变化。另外，传统的互相关匹配算法[1]采用固定尺寸的矩形跟踪框，在目标发生尺度变化时容易产生误差。而且随着模板的更新，误差通常会不断累加，导致跟踪框逐渐飘移，最终很容易丢失目标。六参数的仿射变换模型不仅包含了位移模型中的水平和竖直位移参数，还包含了描述目标旋转、比例放大等变化的参数，可以描述物体所发生的平移、缩放、二维旋转、错切等运动变化。在实际应用中，图像目标通常会发生尺度、旋转等变化；另一方面，目标与图像采集设备之间的距离通常较远，其三维变化常可以用二维变化来近似，所以，在兼顾跟踪效果和计算效率的考量之下，本图像跟踪系统选择使用了六参数的仿射变换运动模型。

1 仿射变换模型的建立

仿射变换是一种基本的几何变换，可以用来描述图像在二维空间中的旋转、尺度变化和位移[2-3]。仿射变换共有6个自由度。仿射变换是一种线性变换，即具有将平行线变换成平行线、有限点映射到有限点的一般特性。它可以描述3D空间中的目标到2D平面的成像过程，具体表现可以是各个方向尺度变换、系数一致的均匀尺度变换或变换系数不一致的非均匀尺度变换及剪切变换等。仿射变换具有平移、旋转和缩放不变性。

以模板图像中心为坐标原点建立坐标系，那么模板图像（目标图像）表示为 I（X）。 模板图像中的像素点 X=（x，y）经仿射变换后，变为输入图像中的点Y，其中X和Y之间存在仿射关系：Y=X+U。U 为 X 和仿射系数 a=（a0，a1，a2，a3，a4，a5）的函数U（X，a）=（u，v）[4]。

其中x和y是相对于模板图像中心的水平和垂直坐标，u和v表示仿射变换后的图像在水平和垂直方向的变化量。

若用 I（X+U（X，a））来表示模板图像 I（X）经过仿射变换后在输入图像中的对应区域，则在灰度不变性前提下有公式成立：

上面的公式利用仿射变换关系将模板（目标）图像和输入图像之间建立起了关系。

2 图像跟踪系统组成及硬件设计

图像跟踪系统追求对目标测量的精确性，对背景和干扰的抑制能力和数据处理的实时性，而这些性能都取决于处理算法的有效性和系统硬件设计。基于仿射变换模型的目标跟踪算法性能上优于传统的归一化互相关和平均绝对差图像跟踪方法，但是这种性能的改进是以增加数据处理的计算量为代价换的，而且许多计算是浮点运算，并且算法运算是迭代进行，每次处理的时间是不尽相同的。因此在进行系统硬件电路设计时，要根据系统要求的技术指标在数据处理的实时性、硬件系统的规模、系统调试难度上进行权衡，确定最佳方案。

图像跟踪系统硬件电路采用双DSP+FPGA的结构。硬件电路包含视频采集转换、数据处理、视频输出以及串口通信单元。其中DSP子系统是整个系统的核心，它承担了整个图像跟踪系统的数据处理的任务，是跟踪算法的实现环节。系统的硬件电路设计框图如图1所示。

图1 系统硬件电路设计框图Fig.1 Design diagram of system hardware circuit

基于仿射变换模型的跟踪算法是一个复杂的浮点数据计算过程，将占用和耗费大量的硬件资源和运算时间，DSP采用TI公司最新的高速浮点数字信号处理器TMS320C6713。考虑到DSP子系统在进行数据运算时，只依靠DSP内部的数据存储空间有可能不够，DSP外挂两片静态存储器（CY7C1041V33）作为扩展存储器，并挂接一片FLASH（AT29LV010A）作为DSP自举时的程序存储器。

系统从摄像机输入PAL制式的视频数据，利用EL4501进行视频的直流嵌位和同步分离，嵌位后的视频通过TJ1031进行A/D转换。同步分离产生的同步信号作为系统的基准时序信号，在FPGA时序电路中生成同步的系统时钟，行列计数等信号。图像数据是在电视信号的正程中采集，为了避免信号的冲突，本场的图像数据只能从本场的场逆程起始点处开始处理或者从下一场的正程起始点处开始处理。然而电视信号的逆程十分短，根本不能完成数据运算，因此即使是从本场的场逆程起始点处开始处理，处理的时间仍然会跨越到下一场的正程中。为了满足数据处理的需要，在图像帧存方面，本设计采用了双倍于图像大小（256×256，64 kB）的双口RAM——IDT70V19（128 kB×9 bit）作为图像存储器。 这样可以将相邻两场的图像数据分别存储在图像存储器的上下半区中，避免一旦处理速度跟不上导致的数据冲突问题。同时为了使系统能够适应不同的处理速度的要求，系统还可以设置图像存储器的工作模式为按场采集或者按帧采集。图像存储器按场和按帧工作模式的示意图如图2所示。

2个DSP协同工作，可以并行工作，共同完成一个任务，也可以独立工作，分别完成不同的任务。主DSP利用外部UART芯片作为接口，和操控系统通过RS422异步串口进行通信。在本设计中计算机操控系统通过RS422串口来控制图像跟踪系统的工作，图像跟踪系统也通过串口输出偏差信息。数据处理完成后，将原始电视视频信号同代表数据处理结果的字符，图形信号进行叠加后输出到监视器显示。系统的硬件电路结构框图如图3所示。

3 系统软件设计

图2 存储器工作模式示意图Fig.2 Diagram of memory working model

图3 硬件电路结构框图Fig.3 Structure of hardware circuit

本图像跟踪系统初始目标捕获由人工完成。操控人员在视场中选定目标区域，并根据其图像数据建立起初始模板。然后，依次读入下一帧输入图像。对于当前读入的输入图像，在灰度不变性前提下，依仿射变换模型存在模板数据和输入图像之间的灰度分布等式关系，以该等式中的仿射变换参数为待定变量。在给定仿射参数初始估计值的基础上，通过求解仿射参数增量的方式来求解最终仿射参数。以仿射参数增量为待定变量，按特定的相似性度量[5]和误差映射准则建立起模板和准目标之间的误差评价函数，算法的目标就在于使该误差评价函数得到极小值。以该函数对仿射参数增量之各分量的偏导数为零建立起方程组，采用牛顿迭代最优化方法求解该方程组，迭代收敛后得到仿射参数增量，也就得到了针对当前帧输入图像的最终仿射参数。按该仿射参数到输入图像中截取相应区域，得到当前帧中的目标位置和姿态。

最后，将上一帧的仿射变换参数值作为下一帧的仿射参数迭代初始值，并按照对旧模板数据和目标数据作加权相加的方式对模板数据进行更新，然后使用该仿射参数初始值和新模板数据进行下一帧跟踪。

在按照某组仿射参数到输入图像中截取相应区域的过程中，原象素点坐标值在经仿射变换后得到的通常不是整数值，此时需要进行插值处理。这里采用计算量合理同时插值效果也较为理想的双线形插值方法来截取准目标数据。

算法中，在对模板图像数据和准目标图像数据作相似性度量时，出于加强抗光照变化鲁棒性能的考虑，对模板数据和准目标数据进行了去均值归一化[6]的处理。在牛顿法迭代计算过程中，预先指定最大迭代次数。若迭代次数超过了该预设上限但是仍未能达到判敛精度要求，则认为目标在当前帧中不存在或跟踪失败。

系统软件流程图如图4所示。

4 实验结果

为了比较仿射变换跟踪和互相关跟踪两种方法的优劣，在序列图像上进行了两种跟踪算法的对比。这些序列图像上包含了各种运动姿态的目标。序列图像中苏30飞机经过尺度放大、姿态调整等飞行状态，之间经过了315场。

下面给出平移模型的互相关跟踪算法和仿射变换模型的跟踪算法进行跟踪的一些实验结果，以进行对照比较。两种算法的跟踪结果如图5所示。

从图5（a）可以看出，由于飞机目标发生了平面旋转，基于平移模型的互相关跟踪算法无法自适应调整跟踪框以适应目标的姿态变化。随着目标旋转角度的增大，跟踪框所覆盖的目标区域变得越来越少，最终容易丢失目标。

图4 系统软件流程图Fig.4 Flow chart of system software

图5 仿射变换跟踪和互相关跟踪比较的结果图Fig.5 Comparison result of affine transform tracking and correlation tracking

图5 （b）显示，在同样的初始条件下，当飞机发生尺度、角度方面的变化时，基于仿射模型的跟踪能动态地调整跟踪框的形状和旋转角度，从而有效地适应着目标的姿态变化，获得了较好的跟踪结果。同时从图中可以看出，对应于目标的小幅度三维旋转，跟踪框从矩形变化成了平行四边形，在一定程度上适应了目标的三维旋转，从而较为理想地实现目标发生复杂变化情况下的鲁棒跟踪。

5 结束语

文中从建立仿射变换模型出发，提出了跟踪系统的设计方案，设计了一种基于仿射变换模型的实时图像跟踪系统。该系统易于硬件实现，实时性高，跟踪效果良好，满足工程应用要求。并且在设计中考虑到了硬件电路的通用性，因此该硬件电路还可以作为一个通用的电视跟踪算法的实验平台。

[1]李尊民.电视图像自动跟踪的基本原理[M].北京：国防工业出版社，1998.

[2]曾文峰，李树山，王江安.基于仿射变换模型的图像配准中的平移，旋转和缩放[J].红外与激光工程，2001，30（1）：18-20.ZENG Wen-feng，LI Shu-shan，WANG Jiang-an.Translation，rotation and scaling changes in image registration based affine transformation model[J].Infrared and Laser Engineering，2001，30（1）:18-20.

[3]徐宏文，郭绍忠.投影理论基础[M].天津：天津大学出版社，1991.

[4]王晓静，王铁军，许高升.一种基于仿射变换模型的图像自动对准方法[J].战术导弹技术，2008（5）：73-77.WANG Xiao-jing，WANG Tie-jun，XU Gao-sheng.A new image registration approach based on affine transformation model[J].Tactical Missile Technology，2008（5）:73-77.

[5]王振华，董明利，祝连庆，等.一种基于极几何和仿射变换的图像匹配方法研究[J].工具技术，2007（12）：74-77.WANG Zhen-hua，DONG Ming-li，ZHU Lian-qingetal.Image matching method based on epipolar geometry and affine transformation[J].Tool Engineering，2007（12）:74-77.

[6]于晨，刘宇.基于模板匹配技术的运动物体跟踪方法研究[J].自动化技术与应用，2007，26（8）： 68-70.YU Chen，LIU Yu.Visual tracking of a moving target based on template matching[J].Techniques of Automation and Applications，2007，26（8）:68-70.