基于TMS320DM6437的运动目标实时检测与跟踪

蒋建国， 李 明， 齐美彬

（合肥工业大学计算机与信息学院，安徽合肥 230009）

近年来，运动目标的检测与跟踪已成为视频监控领域中一个重要的研究方向。它主要研究从包含运动目标的序列图像中检测、识别和跟踪运动目标，能够成功有效地跟踪到目标的前提就是对运动目标的检测，运动目标检测算法主要有背景差法、帧间差分法、光流法［1－3］等。而实际中许多监控应用由于搭载在云台上的摄像机姿态和位置的变化，会形成视频序列中的背景和目标同时产生运动的动态场景，传统的背景减除法、帧差法很难对其进行准确的检测。

本文设计并提出了一种基于TMS320DM6437嵌入式网络摄像机平台运动目标检测与跟踪的算法［4］。由于摄像机视野范围有限，要对运动目标实现有效跟踪，需控制云台实现摄像机转动，这就造成背景在不断变化，给运动目标的检测带来一定难度，因此本文提出了背景更新与帧差法相结合的算法，并引入Canny边缘检测的连通算法将检测出的运动目标轮廓连通性加强［5］，从而获得一种具有鲁棒性的运动检测方法。采用分片NMI特征建立匹配模板，利用卡尔曼预测［6－7］解决在多目标情况下，发生静态遮挡与彼此遮挡情况下的目标跟踪问题，并在实验中实时有效地对运动背景中运动目标进行了检测与跟踪。

1 算法实现的硬件平台

本文算法是基于TI公司生产DM6437为核心处理器的图像处理平台，通过串口控制云台转动，带动网络摄像机旋转跟踪运动目标，硬件平台主要由DSP、FLASH、SDRAM、以太网接口、串口电路、视频A／D、CCD传感器和云台组成，视频A／D把CCD图像传感器采集的复合电视信号转换成数字视频信号，DSP对数字视频信号进行处理和运算，处理后的结果通过串口输出控制命令，可以上下左右调整云台实现跟踪目的，其中，DSP通过H.264进行图像压缩，并且通过以太网传送给PC机；SDRAM存储程序代码、图像数据和运算临时变量；FLASH在系统掉电时保存程序代码；云台使用RS485协议和DSP通信。

2 算法设计及实现过程

2.1 基于块匹配的背景更新原理

在摄像机运动与目标运动的情况下，背景是不断变化的，在适当的运动速度之内，序列图像的帧与帧之间图像的背景变化不大，可以近似认为是背景的平移。为此，本文提出了一种背景重建结合帧间差分算法以解决在摄像机运动、目标运动情况下的运动目标检测。基于实时性的考虑，本文采用特征块匹配的方法。

假设采集的视频图像序列为：I1（x，y），I2（x，y），…，Ik－1（x，y），Ik（x，y），Ik＋1（x，y），…。相邻帧中对应于无运动目标区域（即公共背景区域）的灰度值近似相同，因此选取相邻3帧Ik－1（x，y）、Ik（x，y）、Ik＋1（x，y）为一个处理组合。其中，Ik（x，y）为当前帧并作为基准，将它分成M×N大小的子块其中i、j为当前子块中心点在当前帧Ik（x，y）图像中的坐标。

匹配块的选择采用以下评价函数，即

当f＞η（η为阈值）时，将此块标记为特征块，否则为非特征块。块匹配的估计算法中常用的匹配准则有3种［8］，即最小绝对差（MAD）、最小均方误差（MSE）和归一化互相关函数（NCCF），本文匹配准则采用最小绝对差准则（SAD）：SAD＝对每一匹配块帧以（x，y）为中心，大小为K×L范围内进行块匹配，寻找与块尺寸相同的最佳匹配块的中心位移运动矢量r。在匹配过程中，需要计算特征块与各可能匹配块的SAD（r）值，即

其中，Δx为特征块相对于各匹配块的中心位移矢量。将各可能匹配块和特征块的SAD（r）值进行比较，求出SAD（r）取值最小时所对应的匹配块，则为当前特征块的最佳匹配块。匹配完毕后，对每一匹配块的位移进行处理，找到其峰值点，该峰值点对应的位移即为背景的位移量rk－1。按同样方式对Ik＋1帧进行处理，求出rk。

在匹配过程中，本文基于减少时间开销采用4邻域交叉搜索法取代以往的8邻域搜索法，如图1所示。

图1 4领域搜索示意图

如果在每次搜索过程中均计算周围8点像素能量的话，实际将会产生大量的重复计算，因此定义一个全局变量sign，当sign＝1时，按图1a所示搜索，当sign＝－1时，按图1b所示搜索，因此每次搜索计算的工作量减1／2（其中Q为控制点）。每次搜索开始时，令sign＝－sign，通过轮流使用2种搜索方式，即可达到搜索整个空间的效果。实验证明，采用4邻域交替搜索方法不仅达到相同的效果，而且减少30%的时间开销。

2.2 运动目标检测算法

本文所研究的运动目标检测算法实现步骤如下：

（1）根据前面和背景匹配结果，进行帧间差分，从而将背景的运动补偿掉，其差分结果为：

分别取Dk－1（x，y）、Dk＋1（x，y）差分图像的平均值为阈值，对其进行二值化处理：

其结果为：

（2）Canny连通思想的引用。虽然帧差法比较适合于动态背景的场合，但其缺点是不能对运动物体实现完整的检测，中间有空洞且边缘不连续，发生断裂现象如图2a所示，这对后期的运动目标提取带来很大困难。本文引入Canny算法的连通思想使检测边缘连续性大大增强，为目标的提取提供了有效保障。Canny算法提出后一直被认为是一种较好的边缘检测方法，它具有定位精度高、单一边缘和检测效果好的优点。

Canny算法具有以下过程：在定位和检测前先滤除噪声；利用梯度搜寻边；计算方向角；方向角规范化；非最大化抑制；双阈值分割。

本文将双阈值分割过程引入到运动检测二值化中，2个阈值的比值为3∶2，高阈值为大津阈值算法确定的阈值HT，获得最大类间方差的分割结果［9－10］。考虑到背景存在噪声干扰、光照不均等情况，本文采用对光照不均有较好适应性的局部阈值法，该算法计算简单、定位阈值准确。首先将图像像素点数为零的灰度级从候选阈值中排除，然后采用大津法搜索阈值以最大组间方差和最小组内方差为最佳阈值标准来确定阈值点。通过计算得到低阈值LT，利用低阈值放宽要求在确定为目标的点8连通区域寻找可能为目标的点，采用邻域端点搜索法，首先搜索图2中的断裂边界点，搜索以断裂边界点为中心的8连通区域，利用低阈值找到对应新的边界端点，并填充必要的边界像素，即将新的边界点加入创建的链表中，并再以新的边界点为中心搜索其8连通区域，从而将边界连接起来，得到闭合边界，连续定位精度高的运动目标轮廓如图2b所示。

图2 Canny连通前、后效果对比

由图2可以看出，Canny连通算法的加入使目标轮廓的连通性得到了明显改善，尤其是连通后4个目标均被检测成功，而连通前只成功检测出3个目标。

2.3 运动目标的跟踪

本文运用卡尔曼滤波方法预测运动目标下一帧可能出现的位置，对灰度图像运用分片NMI特征匹配，结合摄像机标定原理对运动目标进行实时跟踪。

（1）基于当前运动信息的Kalman预测。在多目标运动的情况下，有可能发生遮挡的问题，存在对目标跟踪丢失的现象。本文根据目标当前的运动信息（如位置、速度、加速度）结合Kalman滤波对其预测跟踪［11］。Kalman预测估计就是在前一帧系统状态的基础上预估下一帧系统状态。其系统的状态方程和观测方程为：

其中，Xk、Xk－1为k时刻和k－1时刻的状态变量；Zk为k时刻的观测变量；W和V分别为状态和观测所对应的噪声。

在目标跟踪过程中，为每个进入摄像机视野范围内的目标建立一个Kalman滤波器。在未发生遮挡时，对运动目标进行模板匹配，并不断更新模板。当出现遮挡时，取遮挡前一帧的模板为临时参照模板并结合目标的运动信息利用临时参照模板进行匹配。如果能匹配上则认为是当前运动目标，使用Kalman对其位置进行预测。

（2）分片NMI特征模板的建立。以目标不变特征为识别基础的NMI匹配，是以计算图像归一化转动惯量为不变特征进行目标识别的方法，NMI有很好的缩放、旋转、平移不变性，是一种较为实用的、运算速度快的目标匹配方法。

由图像的质心和转动惯量的定义，给出灰度图像质心（cx，cy）的归一化转动惯量，即

目标与背景之间也可能互相遮挡。人眼在跟踪被部分遮挡的目标时，仍能根据未被遮挡部分的特征来跟踪该目标。为了较好地解决遮挡情况下的匹配问题，必须建立良好的匹配模板，受meanshift算法中“核函数”方法与分片局部区域直方图等方法以及文献［12］启发，本文提出一种基于动态遮挡因子的区域NMI特征搜索匹配方法。基本思想是将目标模板按行、列等间隔分成M个等面积的小区域采用类似“核函数”的方法得到各小区域的NMI特征值作为局部模板，一般取16片较为理想，每一片分别进行直方图特征匹配，模板如图3所示。

图3 分片模板示意图

对于每一片的匹配结果计算匹配度Tm，考虑到可靠性与容错性的要求，Tm取值一般大于0.7，则保留匹配结果，定义目标遮挡因子Ts＝未匹配的片数／总片数，实验结果表明遮挡因子Ts一般低于0.4，则判定目标仍然存在，继续跟踪，否则判定目标消失，停止跟踪，并在以后各帧中利用预先保留的未遮挡的目标模板进行全搜索，直至目标重新出现。

（3）摄像机云台控制。单摄像机视野有限，要对运动目标实现有效跟踪，需控制云台实现摄像机转动，云台可以根据DSP串口指令按一定角速度转动。摄像机成像模型如下：OO1为摄像机焦距，M为运动目标，P为目标在图像上的成像点，如图4所示。一旦运动目标偏离图像中心一定像素（本文实验取10个像素），即可控制云台转动，对目标进行跟踪。

图4 摄像机结构图

3 实验结果与分析

本文算法首先在上位机进行模拟实验，取得良好效果后加载到SDRM大小为64 MB、主频为600 MHz的DSP上测试通过。通过摄像机采取视频信号，经过A／D转换，在DSP上对于大小为352×288的视频帧进行实时处理，其判别正确率的判别算法中充分考虑了DSP的性能，利用运动目标的NMI特征来进行判别。实验表明，该算法能够很好地适应各种光亮的变化，对各种噪声具有较强的处理能力，对特定的运动目标具有较好的判别能力，实验结果如图5所示。

图5 实验结果

4 结束语

为了能从运动的背景中检测其中的运动目标，本文提出了一种基于TMS320DM6437图像处理平台上的运动目标检测与跟踪的方法，成功地引入大津阈值，实现了自适应阈值的选取，使二值化过程取得良好效果。与此同时，引入Canny算法连通思想，成功地解决了目标轮廓不连续的的问题。运用卡尔曼滤波方法预测运动目标下一帧可能出现的位置，再对灰度图像运用分片NMI特征匹配，结合摄像机标定原理对运动目标进行实时跟踪。理论分析和实验结果表明，此算法的可行性高，具有广泛的实用价值。

［1］ Stauffer C，Grimson W.Adaptive background mixture models for real－time tracking［C］／／Proceeding of IEEE Conference on Computer Vision and Pattern Recognition，1999：246－252.

［2］ Lipton A，Fujiyosei H，Patil R.Moving target classification and tracking from real－time video［C］／／Proceedings of IEEE Workshop on Applications of Computer Vision，1998：8－14.

［3］ Horn B K P，Schunck B G.Determining optical flow［J］.Artificial Intelligence，1981，17（1／2／3）：185－203.

［4］ TMS320DM6437 video／imaging fixed－point digital signal processor（Rev）［R］.Texas Instruments Incorporated，2004.

［5］ Canny J.A computational approach to edge detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8（6）：679－698.

［6］ 成 光，刘卫东，魏尚俊，等.基于卡尔曼滤波的目标估计和预测方法研究［J］.计算机仿真，2006，23（1）：8－10.

［7］ Wang Chao，Ohsumi A，Djurovic I.Model predictive control of noisy plants using Kalman predictor and filter［C］／／Proceedings of the IEEE Region 10 Conference on Computers，Communications，Control ＆Power Engineering，Vol 3.Beijing：IEEE，2002：1404－1407.

［8］ Kong Gang.Research on the tracking technology of extended object under complex background［D］.Chinese Academy of Sciences，2005.

［9］ 齐美彬，鲜 柯，蒋建国.基于对比度失真参数的车流量统计算法［J］.合肥工业大学学报：自然科学版，2010，33（12）：1815－1818，1823.

［10］ 许向阳，宋恩民，金良海.Otsu准则的阈值性质分析［J］.电子学报，2009，37（12）：2716－2719.

［11］ 金 芳，李君波，杨 勇.基于模板匹配与运动预测的跟踪算法研究［J］.微计算机信息，2007，23（7）：313－315.

［12］ Adam A，Rivlin E，Shimshoni I.Robust fragments－based tracking using the integral histogram［C］／／Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR）.Washington，USA：IEEE Computer Society，2006：798－805.