动态目标跟踪与自动特写快照系统的设计及实现

盛 平 倪冬玮 张 净

(1江苏大学计算机科学与通信工程学院，镇江 212013)

(2镇江江大科茂信息系统有限责任公司，镇江 212001)

(3江苏大学电气信息工程学院，镇江 212013)

动态目标跟踪与自动特写快照系统是利用智能视频分析技术和计算机系统实现运动目标检测与实时PTZ跟踪，并对目标快照自动抓拍的智能视频监控系统.该系统需构建高速图像采集处理系统，主要包括图像采集模块、图像处理模块、通信接口以及云台控制模块［1-3］.动态目标跟踪与自动特写快照系统可以对监视场景进行实时监控，自动检测出运动目标，并对目标进行实时跟踪、目标全貌变焦放大拍摄，实现了智能化程度较高的计算机自主多方位视频目标跟踪检测，降低了人工监视的劳动强度，减少了实时跟踪中的人为误差.虽然多方位视频目标跟踪检测算法的相关理论日趋成熟，但现有动态跟踪和快照系统对于恶劣环境、低照度和光线不足等容忍度差，误检率高，图像处理计算量大，难以同时达到实时、清晰、可靠、准确的跟踪抓拍要求.

本文针对运动目标的快照抓拍特点，在PTZ跟踪［4］的基础上，提出一种动态目标跟踪与自动特写快照算法，能更好地获取目标全貌特征，有利于事后取证.该算法运用Tsai两步标定法实现了摄像机初始位置的标定;采用一种快速的混合高斯背景差分法分割出运动目标;使用Kalman滤波与模板匹配的方法，结合摄像机标定控制云台进行动态跟踪;在PTZ跟踪过程中，提出一种基于梯度极值结合目标实际运动矢量的方法实现目标快照的抓拍.

1 自适应PTZ检测跟踪技术

1.1 运动目标检测与精确定位

对预处理采集到的图像使用基于混合高斯模型的背景差分法完成目标分割，其基本思想是每个像素利用3～5个高斯模型［5］表示属于背景的像素值，通过判断当前像素值与这些高斯模型的偏离距离来区分前景和背景.然后，采用投影法实现目标的精确定位(见图1).

图1 原图及直方图均衡化处理后图(第1帧)

运动检测与定位的主要流程如下:

1)首先利用3×3的矩形模板进行中值滤波，去除图像采集时产生的椒盐噪声，并进行直方图均衡以改善图像质量.

2)混合高斯背景模型的建立与更新.用K个高斯分布的混合模型描述随机过程，则概率分布可表示为

式中，It为当前图像的像素值;Nk(It，μk，t，Ck，t)表示第 k 个均值为 μk，t、方差为 Ck.t的高斯分布;wk，t为这个高斯分布的权值.高斯分布的概率密度函数可表示为

式中，当视频序列为灰度图像时，μ为像素灰度均值，C为方差;对于彩色图像，μ为像素彩色通道各分量值组成的矢量，C为各分量之间的协方差矩阵.K越大，可描述越复杂的场景，而计算量也就越大(取K=3).混合高斯背景模型的更新即为不断利用新的当前时刻图像的像素值更新混合高斯模型的各个参数，这些参数包括高斯分布的均值μ、方差 C 和权值 wk，t.

3)运动目标的分割.对于当前图像中像素值It，如果服从背景模型中某个高斯分布，则该像素为背景点;如果不服从背景模型中的所有高斯分布，则该像素为前景点.判别式为

取λ=2.5，则St(x，y)=1表示该像素为前景像素点.

4)对得到的前景S(x，y)进行图像形态学操作，利用膨胀和腐蚀去除孤立点和空洞，得到二值化图像P.

5)采用投影法获取目标区域的水平、垂直方向起始与终止坐标，得到目标区域的外接矩形，实现运动目标的精确定位(见图2).

图2 检测定位图

1.2 摄像机标定

摄像机标定问题［6］可描述为:给定一些三维特征对象以及对应的二维图像平面上的特征对象，求旋转阵R、平移阵T以及有效焦距f三个投影参数.本文采用Tsai两步标定法实现摄像机标定:

步骤1 求解旋转阵R、平移阵T的tx，ty分量以及图像尺度因子β.其中，

①拍摄几幅具有不同已知高度、若干共面特征点的标定体图像，利用图像处理方法确定若干个特征点的图像坐标，设共N个点，计算机图像坐标为(xfi，yfi)，i=1，2，…，N，实际图像坐标为(xdi，ydi)，设这些点相应的世界坐标为(xwi，ywi，zwi).

式中，(cx，cy)为计算机图像的中心坐标;(sx，sy)为图像平面单位距离上的像素数.

②依据摄像机模型与径向排列约束，对每个点P可列出一个方程，联立这N个方程，得到Ai·B=xdiβ，其中

利用最小二乘法求解该超定方程组，可得

③依据步骤②的解，利用R的正交性，可得到整个旋转矩阵R和T中的tx，ty分量以及图像尺度因子β.

步骤2 求解有效焦距f，T的tz分量和透镜畸变系数k.

考虑径向透镜畸变，则影像坐标(xu，yu)可表示为

设

依据摄像机模型可得

对N个特征点，利用最小二乘法对上述2个方程进行联合最优参数估计，得到焦距f，T的tz分量和透镜畸变系数k.

1.3 自适应PTZ跟踪与云台控制

根据摄像机标定与目标检测结果，可以获得目标的运动状态参数(某一时刻目标所在的位置和速度)，利用Kalman滤波并结合模板匹配的方法进行运动目标的自适应跟踪与控制云台移动［7-9］，跟踪算法的流程如图3所示.

图3 跟踪算法流程图

Kalman滤波器是一个对动态系统的状态序列进行线性最小方差误差估计的算法，可以以任意一点作为起始点开始观测，按照递推公式，即可算出新的预测量估计值.Kalman滤波器简单易行，且计算量小，可实时计算.由于相邻k帧图像时间间隔较短，可以假设目标在单位时间间隔内是匀速运动的.

定义Kalman滤波器系统状态为X，X={xs，ys，vx，vy}，其中 xs，ys，vx，vy分别为目标的质心和速度.而在图像上只能观测到目标的位置，定义观测状态向量为Y={xs，ys}.

在目标跟踪中，使用Kalman滤波器估计目标运动状态可分为3个阶段:

①初始化滤波器，即对X0赋初值，其值为目标检测过程中得到的目标的位置和速度.

②状态估计，设t为相邻2帧图像的时间间隔，根据上一帧的滤波器状态与△t，利用Kalman状态预测方程即可预测当前运动状态X0，设定以X0中(xs，ys)为中心的区域为搜索区域，在该区域中寻找模式的最佳匹配，得到.

③ 利用Y0={，}更新Kalman滤波器状态.

模板匹配法可归结为二者的某一特征值的相关性度量，通过将模板图像与待匹配图像进行相关运算，得到一个相关值，再根据这一相关值的大小就可以判断二者的匹配度.选用图像的灰度特征，利用最小平均绝对差值函数(MAD)进行匹配，即

具体的跟踪流程总结如下:通过Kalman滤波器预测目标的可能位置，在预测区域利用模板匹配法完成匹配，判断目标在实时图像中的位置，并依据运动目标面积设置阈值，进行模板自动更新，从而实现目标跟踪(见图4).

图4 Kalman滤波与模板匹配跟踪效果图

结合摄像机标定控制云台进行水平摆动和上下仰俯，使得运动物体处于摄像机视野之内，即将运动目标实时反映在屏幕中央［10］.

假设在t时刻得到某目标在第m帧图像中的坐标为(xm，ym)，将(xm，ym)作为 Kalman 滤波器的输入，可得到目标在当前时刻的状态估计(xs，ys，vx，vy).假定以间隔 k帧(本文取 k=5)后的 t+△t时刻的图像作为输入，就可预测出目标在间隔k帧后的图像中的坐标(xk，yk):

假设在△t时间内只有云台转动，目标不动，可将视点作为原点，把三维坐标转换成球面坐标.将云台沿水平方向顺时针绕视点旋转θ角度可消除x方向上的偏移.在如图5所示的坐标中，要将x轴转到OM位置，将z轴沿垂直方向旋转α角度即可.此时的θ角与焦距深度无关，α=90°－φ.

图5 球心投影图

如图6所示，在双角度坐标系中，M点在屏幕上投影为A点，θ为镜头在水平方向上的视野角度，屏幕宽度为L，要将A点移至屏幕中央，光轴需转动α角度.同理可消除y方向上的位移，这样就可实现将运动目标移动到屏幕中央的目的.

图6 摄像机双角度模型

2 运动目标抓拍与特写

目标抓拍是指对实际的运动目标(例如人)进行实时的跟踪观察，并对其进行变焦拍摄，给出运动目标物的近焦距全貌特征描述.抓拍的基本要求是:① 图像清晰，便于识别;② 图像完整，包含鲜明的目标特征.

2.1 抓拍图像的清晰度

清晰度描述的是一张照片的细节清楚程度，与图像的感知清晰度相关的2个基本因素是:分辨率和锐度.锐度描述的是图像信息在边界上变换的快慢程度;分辨率又称解析度，描述的是摄像机对图像细节的分辨能力.

2.2 基于梯度极值的改进抓拍方法

抓拍的目标是要得到既清晰又完整的物体图像，当运动物体距离摄像头太远，图像中的物体会不清晰;当运动物体距离摄像头太近，所得到的图像会不完整.抓拍时机对于抓拍系统有重要意义.

由于本文中抓拍对象一般为人，并且目标是用矩形框框出，运动物体模型可以视为一系列由小变大的矩形模型.依据人“瘦而高”的特征，在视场内设定一个符合抓拍标准的矩形区域，面积在整个视场的1/4～1/3左右，并且在整个视场的中央位置，该区域被称为抓拍窗Q.当处理所得的运动物体模型充满并刚刚溢出抓拍窗时，即为抓拍时机.抓拍窗如同物理中的磁感应线圈，起到图像抓拍的触发作用.为了判定运动物体是否充满抓拍窗，定义了变量B描述抓拍窗内的图像梯度总和，即

随着运动物体模型面积的增大，K逐渐增大，并在充满且刚刚溢出抓拍窗时取到最大值，保证了抓拍目标图像的完整性;同时为了保证图像的清晰度，由于抓拍窗口在中央位置，此时可以假定镜头固定不动，利用Kalman滤波与摄像机标定系统，计算目标与摄像机之间的实际相对速度V，在本文中，当V＜3 m/s时，即立刻进行抓拍，获取目标清晰完整的图像.图7中，本系统图像分辨率为720×570像素.

图7 人体抓拍效果图

3 实验平台与结果分析

所设计的检测跟踪系统要求达到的效果是对于进入摄像头视场中的运动目标能够实时检测出来，并控制云台转动，使目标始终以合适大小在摄像头的视场范围内，从而达到PTZ跟踪的目的，并实现目标清晰图像的自动抓拍.选择人体作为跟踪目标进行系统测试，实际处理速度为24 frame/s.快球安装在公司大楼入口处，高度约为3 m.

3.1 实验硬件平台设计和开发环境

监控系统的硬件部分包括个人计算机、串口连接器和Infinova一体化网络球形摄像机.摄像机采用Infinova v1700N系列网络快球，影像最高分辨率可达1 280×1 024像素，串口通信波特率为9 600 bit/s，后台PC服务器采用酷睿2双核2.0处理器.由一体化网络球形摄像机进行监控图像的采集，并直接传送到计算机，计算机通过软件对图像进行分析处理，产生控制信号，通过串口发送指令控制快球，以实现运动目标的PTZ自动检测跟踪.开发环境采用VC++.硬件结构如图8所示.

图8 系统硬件平台

3.2 实验结果和分析

3.2.1 运动检测的结果和分析

利用检测率和错误报警率对运动区域进行统计，其统计结果如表1所示.结果表明:系统在不同天气条件(晴天、阴天、雨天)，以及不同的时间段(早晨、中午、傍晚)均可检测得出准确的运动对象区域，证明本文的运动检测算法具有广泛的适应性，能适应不同的光照条件和不同的环境条件.

表1 运动区域检测率统计表

3.2.2 自适应PTZ跟踪与抓拍的结果和分析

从图2、图4和图7可看出，系统能准确、迅速地自动检测运动目标，控制云台确保运动目标以合适大小始终出现在摄像头的视场范围内，并实现目标图像的清晰抓拍.表2和表3对运行时间与抓拍成功率作了统计.表2说明该系统完全满足实时系统24 frame/s的需求.表3说明了人和摄像机之间的相对位置和速度对抓拍成功率的影响，目标运动速度越快，越难抓拍，本系统对3 m/s以下的运动目标具有非常高的成功率，但有时不能很好地获取快速运动目标的全貌特写.

表2 运行时间统计表

表3 抓拍成功率统计表

4 结语

选用高像素网络摄像机，在单目标PTZ跟踪的基础上，提出一种基于梯度极值结合目标实际运动矢量的方法实现目标快照的抓拍，能够更好地获取目标全貌特征.实验结果表明:该系统对不同的光照条件和不同的环境条件具有一定的适应性，并兼顾了整个系统的运行速度和CPU利用率，具有很好的鲁棒性、实时性和清晰度.未来可考虑加入目标理解等方法更精确地获取目标显著特征.

References)

［1］樊尚春，周游，刘长庭.基于DSP和FPGA技术的细胞图像采集系统的设计［J］.北京航空航天大学学报，2008，34(6):707-710.Fan Shangchun，Zhou You，Liu Changting.Design of video capture system based on FPGA［J］.Journal of Beijing University of Aeronauticsand Astronautics，2008，34(6):707-710.(in Chinese)

［2］Saegusa T，Maruyama T，Yamaguchi Y.How fast is an FPGA in image processing［J］.IEICE Technical Report，2008，108(48):83-88.

［3］Chen S H Y，Huang Y W，Hsieh B Y.Fast video segmentation algorithm with shadow cancellation，global motion compensation and adaptive threshold techniques［J］.IEEE Transactions on Multimedia，2004，6(5):732-748.

［4］盛平，张净，倪冬玮，等.基于单运动目标的PTZ检测跟踪系统设计［J］.江苏大学学报:自然科学版，2010，31(6):710-715.Sheng Ping，Zhang Jing，Ni Dongwei，et al.Design of PTZ detection and tracking system based on single moving object［J］.Journal of Jiangsu University:Natural Science Edition，2010，31(6):710-715.(in Chinese)

［5］王永忠，梁颜，潘泉，等.基于自适应混合高斯模型的时空背景建模［J］.自动化学报，2009，35(4):371-378.Wang Yongzhong，Liang Yan，Pan Quan，et al.Spatiotemporal background modeling based on adaptive mixture of Gaussians［J］.Acta Automatica Sinica，2009，35(4):371-378.(in Chinese)

［6］ Jonathan L，Joseph A，Terveen G，et al.Evaluating collaborative filtering recommender systems［J］.ACM Transactions on Information Systems，2004，22(1):5-53.

［7］ Kato J，Watanabe T，Joga S，et al.An HMM/MRF based stochastic framework for robust vehicle tracking［J］.IEEE Transactions on Intelligent Transportation Systems，2004，5(3):142-154.

［8］王阿琴，杨万扣，孙长根.基于子图像的尺寸自适应mean shift目标跟踪［J］.东南大学学报:自然科学版，2010，40(sup1):131-135.Wang Aqin，Yang Wankou，Sun Changgen.Scale adaptable mean shift object tracking based on image fragments［J］.Journal of Southeast University:Natural Science Edition，2010，40(sup1):131-135.(in Chinese)

［9］Rad R，Jamzad M.Real time classification and tracking of multiple vehicles in highways［J］.Pattern Recognition Letters，2005，26(10):1597-1607.

［10］张辉，王强，徐光祐，等.运动目标的快速检测、跟踪和判别［J］.清华大学学报:自然科学版，2002，42(10):1401-1404.Zhang Hui，Wang Qiang，Xu Guangyou，et al.Fast detection，tracking and classification of moving objects［J］.Journal of Tsinghua University:Science and Technology，2002，42(10):1401-1404.(in Chinese)