面向航拍图像多运动目标的实时检测与识别

栾桂芬

(泰州机电高等职业技术学校 信息工程系,江苏 泰州 225300)

0 引言

无人机(UAV)航拍图像具有分辨率高、视野大以及目标小的特点，携带摄像机的UAV可在任务区域开展实时空中监视[1]。空中监视可用于行人检测与跟踪、车辆检测与跟踪、人机交互和智能交通系统等领域[2]。UAV携带固定摄像机检测运动目标时，通过检索每帧像素中的目标变化对运动目标进行提取和识别[3]。然而，UAV在实际工况中不可避免的受到环境因素干扰难以检测运动目标。因此，UAV携带非固定摄像机检测运动目标已成为研究重点。

利用非固定摄像机检测运动目标时，通常运用目标分割技术[4]进行检测。文献[5]利用不变矩和动态场景运动分割模型提取1s内的帧差实现检测，但检测速度较慢且无法实时检测。文献[6]使用两个或多个连续帧的像素间偏差来识别静止目标和运动目标，但检测结果依赖于光流计算的准确性和径向畸变量。为了实现非固定摄像机实时检测运动目标，文献[7]通过自适应阈值法消除图像序列背景运动得到前景分割，结合均值漂移分割方法对检测到的前景进行细化完成运动目标检测。文献[8]通过融合时空差异和局部运动轨迹，利用前景估计分割识别运动目标。然而，上述方法并没有充分证明非固定摄像机实时检测多运动目标的可靠性。

为了有效地对航拍图像中的多运动目标实时检测与识别，本文将静止目标和运动目标分别定义为背景和前景，利用图像稳化技术将航拍图像序列中的每帧与相邻帧对齐，克服UAV飞行动作对摄像机转动拍摄图像的影响。通过加速鲁棒特征(SURF)算法检测先前帧和当前帧之间相似的局部特征，结合仿射变换在齐次坐标中估计的特征位置实现位移估计。使用卡尔曼(Kalman)滤波器克服UAV飞行动作引起的帧位置变化，从而对图像中的每帧进行位移补偿。选取图像中的行人和车辆作为运动目标候选(前景)，分别使用哈尔(Haar-like)特征和级联分类器对图像中的目标进行检测和识别，确定运动目标所在区域并标记前景和背景。利用密集光流计算两幅连续图像的运动矢量，从而区分静止目标(背景)和运动目标(前景)，最终图像结果仅保留运动目标所在区域。

1 研究准备

1.1 研究视频

本文使用Visual Studio C++在双核3.40 GHz CPU和8 GB RAM的计算机上处理UAV航拍图像。利用天津大学发布的DroneVehicl航拍数据集作为研究视频，数据集记录了大型UAV在100～150 m的不同飞行高度所采集的图像序列。选取分辨率为960×540的三类航拍图像序列(视频1、视频2和视频3)验证本文方法的性能。其中，视频1和视频2是由UAV在相似高度(约110 m)拍摄以行人和车辆为主要目标的图像序列，视频3是在150 m高度拍摄的图像序列，并且图像中的各目标呈现效果更小。

1.2 研究框架

利用非固定摄像机对多运动目标同时检测需将静止目标(背景)和运动目标(前景)进行区分，通过图像稳化技术克服UAV飞行动作对摄像机转动拍摄图像影响。UAV飞行动作对摄像机转动拍摄图像影响的建模，如图1所示。

图1 UAV飞行动作对摄像机转动拍摄图像影响的建模

非固定摄像机转动相对应的背景运动受UAV在偏航、俯仰和翻转三个轴向运动变化的影响。因此，还需要有效的仿射变换匹配特征点。本文设计的实时运动目标检测和识别系统框架，如图2所示。

图2 UAV实时运动目标检测和识别系统

系统结构又可分为三个主要步骤：(1)航拍图像稳化；(2)目标检测与识别；(3)运动矢量分类。

2 航拍图像稳化

2.1 位移估计

(1)

分别在x方向和y方向上计算dx和dy对应的Haar小波[10]，围绕每个特征点形成描述符矢量为：

v=(∑dx,∑dy,∑|dx|,∑|dy|)

(2)

以特征点为中心构建4×4的数组，每个向量具有四个方向。因此，每个特征点总共有64个长度矢量。

(3)

其中:H为齐次仿射矩阵：

(4)

其中:aij为关于旋转角θ的参数，Tx和Tx分别为x轴和y轴上平移T的参数。仿射矩阵可以表示为最小二乘问题：

(5)

(6)

(7)

公式(5)中的最优估计h通过高斯消元法来最小化均方根误差(RMSE)：

(8)

由于仿射变换不能表示图像中发生的三维运动，因此在位移估计中会产生异常值。为了解决这个问题，在估计过程中采用随机样本一致性(RANSAC)[13]过滤异常值。

2.2 位移补偿

(9)

其中，初始状态由z(0)=[0,0,0]定义，误差的协方差可以估计为：

(10)

其中:初始误差的协方差由e(0)=[1,1,1]定义，Ωp为过程噪声的协方差。最佳Kalman增益计算为：

(11)

其中:Ωm为测量噪声的协方差。误差的协方差可通过以下方式进行补偿：

(12)

z(t)=z(t)+K(t)(Γ(t)-z(t))

(13)

(14)

因此，得到的新轨迹为：

[σx(t),σy(t),σθ(t)]

(15)

(16)

其中:Φ(t)为比例因子：

(17)

3 目标检测与识别

航拍图像的每帧通过图像稳化技术确定背景和前景，其中，前景由图像中的候选运动目标(行人和车辆)组成。本文分别使用Haar-like特征[15]和增强级联分类器[16]对前景进行检测和识别。

3.1 Haar-like特征

Haar-like特征主要检测图像中不同尺寸的目标。Haar-like特征的模板，如图3所示。

图3 Haar-like特征的模板

每个特征模板内有白色和黑色两种矩形组组成，白色组和黑色组中的像素强度值分别累积，相邻组之间的区别给出了亮区和暗区。因此，Haar-like特征适合于定义图像中的信息，从而寻找不同尺寸的目标。

Haar-like特征值计算为像素灰度值在黑色矩形和整个特征区域上的加权和，使用积分图[17]最小化图像矩形区域像素总和中的数组。本文所采用的航拍图像示例，如图4所示。其中，图4(a)和图4(b)为本文要研究的主要运动目标示例，图4(c)为非运动目标示例，即路标、栅栏、道路图案、草地、电线、路障等。

图4 图像示例

3.2 级联分类器

使用AdaBoost算法[18]对所选分类器的特征进行组合，选择分类器作为阈值来确定每个特征的最佳分类函数。训练样本设置为(αs,βs)，s=1,2,…,N，其中，αs表示样本的类标签，βs=0或1分别表示负标签或正标签。将每个样本转换为灰度，然后按比例缩小到检测器的基准分辨率。AdaBoost算法为迭代中的所有训练样本创建权重向量。所有样本(α1,β1),…,(αN,βN)的初始权重向量设置为ω1(s)=1/N，则与所选分类器相关的误差为：

(18)

λi(αs)=0或1分别是负标签或正标签的选定分类器，i=1,…,I为迭代数量。所选分类器将权重向量更新为：

(19)

其中:当类标签αs分类正确时，则rs=0；否则，rs=1。δi为权重参数：

(20)

最终的分类器W(α)是每个区域的标记结果：

W(α)=

(21)

用于目标检测与识别的级联分类器结构，如图5所示。

图5 目标检测与识别的级联分类器

图5中的子窗口在图像上滑动来识别包含目标的区域，区域在每个分类器被标记为正或负。如果区域标记为正，则分类器将进入下一阶段，即该区域识别目标。否则，该区域将标记为负并消除。最后显示处运动目标候选区域，而非运动目标区域不显示在图像中。如果运动目标候选区域与非运动目标相同，则该区域作为前景被消除。令第n个前景区域表示为：

Obj[n]=[(xmin(n),ymin(n)),(xmax(n),ymax(n))]

(22)

其中:(xmin(n),ymin(n))和(xmax(n),ymax(n))分别是矩形前景像素位置的最小位置和最大位置。通过与非运动目标区域的比较，可以消除运动目标候选区域的误检，从而减少计算时间。

4 运动矢量分类

利用密集光流计算两幅连续图像的运动矢量，使得静止目标(背景)和运动目标(前景)之间的运动方向更加清晰便于区别。运动方向定义为背景和前景之间高度重复运动矢量的值。其中，背景的运动方向受摄像机转动的影响。如果前景与背景具有相同的运动方向，则目标从前景中忽略。因此，最终图像结果仅保留运动目标所在区域。

采用Farneback光流法[19]得到两幅连续图像的运动矢量。假设在10×10像素的窗口G(j)内选择像素j，通过使用多项式展开，G(j)中的每个像素可以由f(t-1)处的多项式来近似：

(23)

其中:p为向量，A(t-1)为对称矩阵，b(t-1)为向量，c(t-1)为标量。f(t)处的局部坐标系可以定义为：

(24)

bT(t-1)(p-Δt)+c(t-1)=pTA(t-1)p+

(b(t-1)-2A(t-1)Δt)Tp+

ΔTtA(t-1)Δt-bT(t-1)Δt-c(t-1)

(25)

公式(24)和公式(25)的系数可以等效为：

(26)

因此，运动目标所在区域中提取的总位移为：

(27)

公式(27)中的位移是由x轴(Δxt)和y轴(Δyt)组成的每个对应运动目标所在区域的平移，因此，运动矢量的角度值为：

(28)

由于每个10×10像素的邻域计算运动矢量，总位移为(图像宽度/10)×(图像高度/10)的矩阵。因此，新的第n个前景区域为：

(29)

利用Farneback光流估计的示例，如图6所示。其中，图6(a)的运动目标所在区域分别标记行人和车辆的运动目标候选(前景)，图6(b)为估计的运动矢量分布示例。

图6 Farneback光流估计

在固定摄像机航拍图像中，背景中的运动矢量为零，即运动方向值为零，则两个连续帧之间没有移动(由箭头方向表示)。在本文的示例中，图像由非固定摄像机拍摄，背景中的运动矢量有不同的方向，如图6(b)所示。上面的运动目标所在区域是分类为非运动目标的停放车辆，其运动矢量与背景中的大多数运动矢量相似。下面的运动目标所在区域是分类为运动目标的行人，其运动向量与背景中的大多数运动矢量不同。因此，每个运动目标候选上的运动方向作为每个的运动目标所在区域中出现次数最多的运动矢量。在背景中，运动方向可以作为除前景外图像中出现次数最多的运动矢量。运动矢量分类和运动目标选择的流程图，如图7所示。

图7 运动矢量分类和运动目标选择的流程图

5 实验分析

5.1 运动矢量的检测结果

UAV携带非固定摄像机的航拍图像具有不稳定性，从而导致图像关于静态(非运动)目标和动态(运动)目标的运动矢量不适合区分与辨别。无图像稳化和有图像稳化的运动矢量结果，分别如图8和图9所示。其中，图8(a)和图9(a)给出了背景中的运动矢量。图8(b)和图9(b)给出了作为静态目标(停放车辆)的运动矢量。图8(c)和图9(c)给出了作为动态目标(行人)的运动矢量。

图8 无图像稳化的运动矢量结果

图9 有图像稳化的运动矢量结果

从图8可以看出，动态目标和静态目标的运动矢量基本相同，但与背景中的运动矢量略有不同。因此，无图像稳化的运动矢量结果不准确。图9(b)中，停放车辆(静态目标)的运动矢量与背景中的运动矢量基本相同。图9(c)中，行人(动态目标)的运动矢量与背景中的运动矢量有很大不同。因此，经过图像稳化后的运动矢量结果适用于区分静态目标和动态目标。

5.2 运动目标的检测结果

视频1、视频2和视频3的运动目标的检测和识别结果，分别如图10、图11和图12所示。

图10 视频1中的运动目标检测结果

图11 视频2中的运动目标检测结果

图12 视频 3中的运动目标检测结果

由图10至图12可见，本文方法利用运动矢量的分类结果将区域未被识别为前景的目标进行了消除，从而对多运动目标进行检测与识别。在图12中包含5个行人，而图12(a)和图12(c)仅检测到4个行人。因此，如果目标只有微小的位移，则很难区分运动矢量，而最终导致误检为非运动目标。

5.3 检测性能分析

本文方法对DroneVehicl航拍数据集中视频1至视频3的计算时间性能结果，如表1所示。

表1 计算时间性能

本文利用真阳性(TP)、假阳性(FP)、假阴性(FN)、精度(PR)、召回率(R)和F统计量(F值)作为检测性能的指标。其中，TP是与运动目标对应的检测区域。FP是检测到的与运动目标无关的区域。FN是与未检测到的运动目标相关联的区域。因此，精度(PR)、召回率(R)和F统计量(F值)可以分别计算为：

(30)

(31)

(32)

本文方法对DroneVehicl航拍数据集中视频1至视频3的检测性能结果，如表2所示。

表2 检测性能结果

由表2可见，视频1具有最高的精度和召回率，视频2精度最低，视频3召回率最低。这是由于视频1中只有少量目标且目标尺寸相对较大，视频2中存在与被检测目标(行人和车辆)相似的目标，例如树木、栅栏、路标、房屋和灌木丛，而视频3中的目标移位较小。

将本文方法与现有文献方法对DroneVehicl航拍数据集中视频1至视频3的检测进行了比较，其他方法包括：动态运动分割[7]、轨迹分类[8]、计算机视觉[21]、多图匹配[22]和区域生长算法[23]。本文方法与其他方法的性能结果对比，如表3所示。

表3 本文方法与其他方法的性能结果对比

由表3可见，本文方法在多运动实时检测与识别中的性能最佳，每秒平均帧数达到47.08 fps，比其他方法快，并且平均精度和召回率分别为0.94和0.91。实验结果表明，本文方法通过Farneback光流计算两个连续帧之间的运动矢量场，并且具有快速的计算时间。进一步证明了利用运动矢量分类的重要性，这是由于运动矢量分类可对静止目标和运动目标进行区分，确定背景和前景中的运动方向，从而有效的检测并识别UAV航拍图像中的多个运动目标。

6 结束语

本文提出了一种面向携带非固定摄像机UAV的航拍图像多运动目标实时检测与识别方法。通过图像稳化技术将航拍图像序列中的每帧与相邻帧对齐，克服UAV飞行动作对摄像机转动拍摄图像的影响。选取图像中的行人和车辆作为前景，分别使用哈尔(Haar-like)特征和级联分类器对图像中的目标进行检测和识别。利用密集光流计算两幅连续图像的运动矢量，结合运动矢量分类方法消除运动方向与背景相似的运动目标候选，从而区分静止目标(背景)和运动目标(前景)，最终图像结果仅保留运动目标所在区域。通过对不同航拍图像序列的结果进行比较，验证了本文方法在复杂背景下具有计算速度快和精度高的特点。

由于多运动目标实时检测与识别是从航拍图像稳化开始，如果目标位移较小，则SURF算法检测局部特征变化较小。因此，本文方法的局限性在于检测精度取决于目标在图像中的位移变化。在未来的研究中，利用更有效的图像稳化技术逐步提升目标位移估计。