基于RPCA和SVM的快速运动目标检测算法

李 阳，华 驰，唐庭龙

(1.江苏信息职业技术学院物联网工程学院，江苏 无锡 214153；2.三峡大学计算机与信息学院，湖北 宜昌 443002 )

1 引言

运动目标检测就是将场景的前景与背景进行分离，它是后续视频处理的基础，比如场景理解、识别、目标检测等[1-3]。针对运动目标检测问题，大量有效的方法被提出，如高斯混合模型、PBAS等[4]，它们已经得到了广泛的使用。

近些年，基于Robust Principal Component Analysis (RPCA)子空间学习的方法传统被成功地应用到运动目标检测中，RPCA[4]模型可以有效地实现简单场景下的运动目标检测，比如运动目标速度较快，背景中没有晃动的树，没有波动的湖面等[5]。

但是在复杂背景下，RPCA模型则会错误地把动态背景归为前景运动目标。如图1所示，检测结果图中出现了很多的波动的湖面，造成了误检。

为了更加鲁棒地实现运动目标检测，许多RPCA扩展模型被提出并广泛地应用在运动目标检测中，如Decolor[5]、ThreeWayDec[6]、SSC-RPCA[7]模型。这些模型可以有效地处理缓慢运动和动态背景下的运动目标检测，但是它们的时间复杂度较高。

为此，本文提出了一种基于RPCA和和支持向量机[8](Support Vector Machine， SVM)的快速运动目标检测算法。本文方法先使用RPCA对视频进行分解，得到稀疏候选前景，同时使用超像素分割对图像序列进行分割，然后提取每个超像素对应的稀疏前景和背景特征，并使用支持向量机进行训练模型。当进行运动目标检测任务时，只要对相应的超像素块进行特征提取再使用模型进行判断即可实现运动目标检测。实验表明，本文的方法在保证精度精度的情况下，速度是现有模型的50倍左右。

2 本文方法

现有的RPCA扩展模型，如ThreeWayDec，它们通过增加对模型的约束来实现更加鲁棒的运动目标检测，虽然提高了检测准确率，但是使得模型变得较为复杂，且还有一些预处理，因此模型的时间复杂度较高。为此本文提出了一种基于RPCA和SVM的快速运动目标检测算法。接下来从四个部分来介绍本文的方法，这四个部分分别为RPCA模型提取稀疏前景、超像素特征提取、模型训练和测试应用。

2.1 RPCA模型提取稀疏前景

RPCA模型在提取视频中前景信息时，将视频中的每一帧Ii拉成一列vec(Ii)，再将连续的帧vec(Ii)组成一个新的二维矩阵D=[vec(I1)，…，vec(In)]，接下来采用RPCA模型对矩阵D∈Rm×n进行分解，RPCA模型假设数据矩阵D是由一个背景矩阵A和一个前景矩阵E相加得到，它的模型如下

D=A+E

(1)

为了求解A和E需要将模型转换为如下形式

(2)

通过RPCA模型分解，可以得到稀疏的前景信息。因为前景信息会受到动态背景的影响，所以前景矩阵中包含了很多背景。

2.2 超像素特征提取

为了处理动态背景被误认为前景运动目标的问题，本文对前景矩阵进行超像素分割并提取超像素块的特征，进行超像素约束。

本文采用Simple Linear Iterative Clustering (SLIC)算法来获取超像素块。SLIC的步骤如下：

1)先将图像分为大小一致的小块；

2)在每一块中随机选择一个点作为聚类的中心Zi；

3)计算像素点到聚类中心的距离；

4)根据更新的图像块，重新计算聚类中心，重复步骤2)到4)，直到聚类中心距离小于设定的阈值。通过以上步骤就可以得到超像素分割结果。

图1 RPCA运动检测结果

图1(a)为超像素分割结果，处于同一个超像素块的像素具有相同的属性，要么都为前景，要么都为背景，属于同一个类别。得到超像素块后，便可以对超像素块进行特征提取。图1(b)为经过RPCA分解提取到的前景矩阵，可以看出图1(b)中包含了背景信息。

接下来根据图1(a)中超像素区域信息对图1(b)中A超像素块和B超像素块进行直方图统计。其中图1(b)中的超像素信息与图1(a)中超像素信息相同。

图2给出了前景矩阵超像素块的直方图，从中可以看出属于背景的超像素块的像素的值相对较小，相对集中，属于前景的超像素块的像素的绝对值相对较大，相对分散。

图2 超像素块直方图

本文提取前景矩阵超像素的均值、方差、0范数和直方图作为特征，提取完成后将它们组成一个特征向量。均值表示的一个超像素块所有异常值的绝对值的均值

(3)

其中Xi为超像素块中的一个像素。

方差为一个超像素块所有异常值的方差

(4)

0范数的均值表示一个超像素块非0元素个数占所有元素个数的比例

(5)

最后本文将所有特征组成一个特征向量F，F为一个1×37的向量，公式如下：

F=[X，S2，L0，p(Ck)]

(6)

2.3 训练过程

图3 训练过程

从前景矩阵的超像素块中提取特征后，本文选择线性支持向量机(Support Vector Machine， SVM)[8]作为分类器，每个视频选择了3000个前景超像素块和3000个背景超像素块进行特征提取。令训练图像的超像素特征为z，其中z=1表示超像素为前景，否则超像素为背景。训练步骤如图3所示。

2.4 检测过程

测试应用分为如下几个步骤：进行运动目标检测任务时，只要对相应的超像素块进行体征提取再使用之前已经训练得到的模型进行判断即可实现运动目标检测，具体如图4所示。

图4 检测过程

3 实验结果与分析

3.1 实验数据与环境

本文选择CDNET2014[5]公共数据集中的7个视频序列进行实验。其中使用的视频序列名称如下：“canoe”、“Boats”、“Fall”、“Overpass”、“Snowfall”、“Skating”和“Blizzard”。

采用时间和综合评价指标F-measure[4]来对实验结果进行客观评价，F-measure值越高，说明检测效果越好。其中时间采用的是每秒处理视频的帧数(Frames Per Second， fps)来进行评价，fps值越高说明检测速度越快。F-measure的定义如下

(9)

其中P为精确率，R为召回率，TP为把正类的样本归为正类的个数，FP为把负类的样本归为正类的个数，FN为把正类的样本归为负类的个数。

实验环境为Windows 10 64位操作系统，Matlab 2018a，20GB内存，I5-9500处理器。

本文采用以下对比方法与本文方法进行对比：RPCA[4]、DECOLOR[5]、ThreeWayDec[6]、SWCD[9]、MST[7]、GMM[10]。

3.2 结果与分析

表1为时间损耗表，表2为实验结果客观评价F-measure结果，图5为可视化结果。

表1 时间损耗(单位：fps)

表2 F-measure结果

图5 部分可视化结果

从表1可以看出，本文的方法的运算速度只比SWCD、MST和GMM方法的速度低，相对于其它基于RPCA扩展模型的方法有了很大的提升，这主要是因为采用的是最基本的RPCA模型，而其它模型DECOLOR、ThreeWayDec的模型相对复杂，计算量大。从表2可以看出，本文的方法在7个视频中虽然只有一个F-measure值是最高的，但是另外5个视频中取得的结果都和最好的结果相接近，只相差了0.01到0.02的指标。只在Skating视频中，与最好的结果相差较大，但是本文的方法在这个视频中取得了与第二名、第三名相当的结果。除此之外，本文方法在F-measure均值中是最高的。从图5中可以看出文中的方法可以抑制背景中晃动的树叶、波动的湖面等噪声，同时提取出的前景也相对更加完整。

4 结论

针对传统RPCA扩展模型在进行运动目标检测时速度较慢的问题，本文提出了一种基于RPCA和支持向量机的快速运动目标检测算法。该方法先使用RPCA对视频进行分解得到前景信息，同时对视频中的图像序列进行超像素分割；然后分别提取前景和背景超像素块的特征，并使用支持向量机进行训练得到模型。在进行运动目标检测时，只要将RPCA分解和超像素分割的结果进行特征提取，再使用已经得到的模型进行判断既可实现运动目标检测。实验表明，在保持精度的同时，大大提高了检测效率。