光流法和显著性相结合的动态背景下运动目标检测方法

黄锋 易嘉闻 吴健辉 何伟 李武劲 欧先锋

摘要：针对运动背景下目标检测困难的问题，在现有运动目标检测算法的基础上，结合显著性检测算法在图像处理和目标检测上的特点，提出了一种结合光流法与显著性特征的运动目标检测算法。首先利用基于重构与分割的显著性检测方法，快速对图像中的有用对象和信息进行提取，同时将不感兴趣的信息进行排除，然后结合光流法对运动信息的敏感性，采用加权融合的方式来减少图像中大量的背景噪声信息，提取完整的运动目标。实验结果表明，提出的算法很好地将运动目标信息从复杂的运动背景中提取出来，在保留目标区域的完整性基础上，降低了背景运动所带来的影响，具有较好的稳定性和鲁棒性。

关键词：光流法，显著性特征，动态背景，目标检测

中图分类号：TP391.9 文献标志码：A

文章编号：2095-5383（2020）01-0013-06

Abstract：The method of moving object detection under the motion background was proposed in this paper. This method combined with optical flow and salient features which based on the existing moving object detection aalgorithm. The significance detection method based on reconstruction and segmentation is used to quickly extract the useful objects and information in the image and exclude the information that is not interested. Then combined with the sensitivity of the optical flow method to the motion information，the weighted fusion method is adopted to reduce a lot of background noise information in the image and extract the complete moving object. The experimental results show that the proposed algorithm in this paper can extract the moving object information from the complex background，and on the basis of keeping the integrity of the object area，it can reduce the influence of the background movement and has better stability and robustness.

Keywords：optical flow method，saliency detection，motion background，object detection

目标检测作为计算机视觉技术领域的一个重要研究内容，主要有静态背景[1]与运动背景[2]下两种方法。静态背景指目标所在的背景没有或者只有微小变化，只有待检测目标的运动，因此静态背景下的运动目标与背景存在明显区别，较容易进行检测。而运动背景具有多样化，运动目标与背景同时存在运动，与静态背景下的目标检测相比，大大增加了检测和跟踪难度。

目前目标检测的方法主要有帧间差分法[3]、背景差分法[4]以及光流法[5-6]。帧间差分法是将视频序列中连续相邻的2帧图像通过差分运算得到目标边缘轮廓的方法，当视频序列中出现其他运动物体时，相邻2帧图像之间就会出现较大的不同，通过相減可以得到相邻2帧图像之间差值，最后根据设定好的阈值进行判断，分析视频序列是否存在运动物体。优点在于此类算法的实现相对容易，并且程序的设计复杂度相对较低，缺点在于对光照和背景的变化不够敏感，不能完整地提取出目标区域，对环境噪声较为敏感，因此阈值的选取十分关键。背景差分法是通过对背景进行参数建模[7]，利用已建立的参数模型来表示背景图像的像素值，然后将当前图像与背景图像进行差分比较，得到目标区域，将差异较大的区域判断为运动目标，差异较小的区域判断为背景[8]。对静态背景或者背景变化缓慢的视频图像中运动目标有较好的检查效果。光流法能表达图像的变化，它包含了目标运动的信息，可以确定目标的运动情况，能够降低复杂背景的变动以及其他不规则运动所带来的影响，因此在运动的背景下有很好的检测效果，但在多噪声、光照变换较强、运动物体存在遮挡以及运动背景大幅度运动等情况下，光流法的检测结果会产生较大的误差[9]。

人类的视觉系统能够在自然场景中快速搜索和定位出感兴趣的物体，包括静止和运动的物体，这就是视觉选择机制，人们产生兴趣的区域称为视觉显著性区域，这种视觉注意力机制是人们日常生活中处理视觉信息的重要机制[10]。随着科研人员的深入研究，显著性目标检测引起了广泛关注，它可以帮助计算机快速找到图像中的有用对象和信息，在图像和视频压缩[11]、图像检索[12]和目标检测[13]等领域发挥着重要的作用。通过这种方式，计算机能很好地提取图像中感兴趣的目标，同时排除不感兴趣的信息，降低图像分析和处理的复杂性，提高检测的精确性。

现有的显著性检测算法主要分为自顶向下[14]与自底向上[15]。自顶向下方法主要包括特征学习和显著性计算。通过提取训练目标获得相关先验知识，然后通过图像中的显著性计算得到高亮目标的显著性图。随着近年来深度学习的迅速发展，相关方法如独立分量分析、条件随机场和贝叶斯模型等被提出，在目标显著性检测方面取得了良好的效果[16]。而自底向上的方法通常利用图像目标区域的颜色、亮度、边缘等特征与周围像素之间的差异来计算图像区域的显著性，侧重于探索低层次的视觉特征。例如：早期自底向上的显著性检测模型包括ITTI模型[17]，该模型使用高斯金字塔计算图像的亮度特征图、颜色特征图和方向特征图，并通过加权得到最终的视觉显著性图。Yan[18]提出了一种从尺度角度分析意义线索的多层次方法，Fu等[19]通过图像的颜色分布和颜色对比获得高质量的视觉义图像。

本文提出了光流法与显著性检测相结合的动态背景下运动目标检测算法。利用光流法在检测出视频图像总的所有运动矢量的基础上，结合显著性检测算法，融合目标动态特征和静态特征信息来减少检测出的光流矢量中存在的大量与目标区域无关的干扰信息，大幅度减少运动背景中产生的背景噪声干扰以及背景抖动等问题，从而达到准确检测出复杂背景下运动目标的目的。

1 光流法基本原理

光流法是作为运动背景下目标检测的一种常用方法，主要是根据背景与目标的速度矢量不同将两者区分开来。目前，光流法的计算主要分为：梯度法、块匹配法，能量法和相位法。由于梯度的方向在图像灰度的最大变化率上，基于梯度的光流法（Horn-Schunck）得到了广泛的运用。通常情况下，光流的产生主要是因为场景中运动目标的移动、拍摄器材的移动以及两者的一起移动。假设在非常短的时间段内，连续2帧图像的灰度值保持不变，也就是在连续相邻的2帧图像中的同一像素点所对应的像素值一样，则有：

光流场是运动场在二维图像的投影，因此光流就是图像在灰度模式下像素点的运动矢量u→=（u，v），如图1所示。由于方程式不能求单独解出2个未知变量（u，v），所以无法求解点（x，y）的运动矢量（u，v）。LK稀疏光流法提出了在单个像素点的一定领域内联立多个像素点进行求解来解决这个问题，如式（6）所示：

其中：n为该特征点领域内的所有像素点总数。可知，联立n个方程求解无法得到最优解，因此只能利用最小二乘法使得n个方程的偏移量的平方和达到最小，求出最优解。

2 显著性与光流场融合的检测方法

运动背景由于与运动目标和摄像机存在相对运动，所以会产生大量非运动目标的光流子，容易产生大量的背景光流，致使检测结果精度大大降低。针对上述问题，为了减少背景运动所带来的影响，快速精准地检测出运动目标，通过模拟人类视觉注意力机制，提取出目标显著性区域，结合运动光流矢量，在运动背景下实现运动目标的精确检测。具体算法流程如图2所示，主要分两步进行，首先计算出图像中的光流矢量和显著性区域，然后将二者进行融合处理，最后得出准确的运动目标。

2.1 显著性区域提取

在现有显著性图计算的基础上，采用基于重构与分割的显著性检测方法，通过比较局部区域与全局信息之间的差异来获取目标区域的显著性特征，其检测流程如图3所示，首先对输入的视频序列图像进行高斯滤波，然后再进行重建和插值分割，最后通过平方根通道计算出显著图。

1）高斯滤波与图像重建。人类的视觉特征决定了人眼对图像的不同频率分量具有不同的敏感度，图像的低频部分集中了主要的能量，而高频部分主要是细节部分。因此，先对颜色空间中的图像进行高斯滤波平滑预处理。然后通过形态学处理对图像进行重构，增强图像的显著性区域，降低背景噪声：

其中：hk为标记图像，G为掩码图像，B为结构元素，h为重构后的图像。该算法能够在不产生全局几何畸变的情况下去除小于结构元素的特定图像细节，使同一区域像素的颜色分量更加均匀，背景区域的噪声和纹理结构也能得到很好抑制。

2）计算显著值。对去噪和重构后的图像采用平方根通道法来进行显著性区域计算，如式（13）所示。l，a，b分别为分割后图像的3个颜色空间通道，lm，am，bm为对应通道的均值。在计算中取l、a、b的平均值进行数据融合，得到显著图像：

2.2 光流矢量与显著性区域加权融合

式（11）可以计算出视频序列当前帧在x和y方向上的光流矢量，通过均方根计算出该点的光流场V，如式（14）所示。

将式（13）的区域显著性计算结果和式（14）的目标光流场进行融合，如式（15）所示，其中β为权重值，可以根据实验结果进行调整，通常取值为（0.8～1.5）。

式（15）中通过矩阵点乘，利用顯著图来弱化光流矢量中的背景区域，最后对两者给定相同的权值进行加权融合，进一步增强运动目标区域，降低背景区域噪声，达到检测出运动目标的目的。

3 实验结果及分析

为了验证本文提出的光流法与显著性相结合的算法在复杂背景中运动目标检测的有效性，本文在Windows操作系统环境下，使用MatlabR2017a在I2R数据集[20]上进行了算法有效性测试，其中图4采用的视频为背景抖动情况，图5采用的视频为背景与目标同时运动情况，检测结果如图4、图5所示。

从图4可以看到，视频序列图像中由于相机拍摄运动目标过程中存在的抖动现象，使得视频相邻2帧之间产生一定的全局偏移以及运动目标与背景之间的相对位移，因此采用单一的光流法在检测出一定运动目标区域的情况下，也检测到了部分背景运动，导致最终结果表现为目标区域轮廓不明显，且背景噪声偏多，无法将运动目标与背景准确地分离开来。而图5中背景与目标同时运动的情况下，光流法表现得更差。由于同时运动，相机与目标始终保持相同的速度，使得背景运动速度也与之相同，产生的影响表现为运动目标光流矢量与背景光流融为一体，目标与背景无法辨认，只有少部分边界区域得以区分。

本文算法通过提取全局图像显著性特征，采取加权融合对光流矢量图的背景进行弱化，减少背景噪声，很好地将目标轮廓进行了保留，同时也保证了目标的平滑，没有出现目标空洞等现象，与标准二值图（Ground truth）进行比较，本文算法将运动目标信息很好地保留了下来，无论是背景抖动还是背景运动，都能很好地把运动目标区域从运动背景下分离出来，从而实现对真实目标的准确检测。为了更好地体现本文算法检测的有效性，将其与目前常用的运动背景下目标检测算法进行了对比，实验用的视频数据为I2R数据集中的部分视频，检测结果如图6所示。

图6中（a）列为原始输入视频帧，（b）列为数据集中给出的真实目标结果，（c）列为本文算法检测的结果，（d）列为LBP算法[21]检测结果，（e）列为VKS算法[22]检测结果，（f）列为SCS-LBP算法[23]检测结果，（g）列为IGMM算法[24]检测结果，（h）列为ViBe算法[25]检测结果。从检测的结果来看，本文结合光流和显著性方法检测的结果更加接近于真实目标，具有更好的检测稳定性和可靠性。

对数据集中选取的6段视频进行完整检测后，所有目标检测的准确性如表1所示，其计算方式为每一帧图像检测到的结果像素及区域和数据集中提供的真实目标区域像素及区域的相似性，定义如式（16）所示：

由于每段视频背景的复杂程度不一，所以部分目标的检测结果与真实目标有一些差异性，但6段视频的平均检测精度达到了83.59%，超过同类算法的检测精度，特别是视频2中背景轻微抖动这种相对稳定的情况下，检测效果非常理想。

4 结束语

在目前运动背景下的目标检测方法基础上，本文提出了一种结合光流法和目标显著性特征的运动目标检测算法，利用光流法对运动目标进行光流矢量特征提取，并结合人类视觉检测中的显著性检测机制，快速找到图像中的有用对象和信息，保留重要信息轮廓，抑制背景噪声的特点，降低了背景运动所带来的影响，实现了运动背景下的目标检测。实验结果表明，本文算法能在背景与目标存在相对运动的时候有效检测出运动目标，相比现有的部分算法具有较好的检测稳定性和鲁棒性，在后续研究中将通过更多实验来进行参数调整，达到更多复杂场景下的目标检测准确性和可靠性。

参考文献：

[1]BOUWMANS，THIERRY.Traditional and recent approaches in background modeling for foreground detection：an overview[J].Computer Science Review，2014（11-12）：31-66.

[2]YAZDI M，BOUWMANS T.New trends on moving object detection in video images captured by a moving camera：a survey[J].Computer Science Review，2018（28）：157-177.

[3]王国营，寇红召，李涛.一种多模态融合新闻视频条目分割算法[J].计算机工程与科学，2011，33（6）：46-50.

[4]SOBRAL A，VACAVANT A.A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos[J].Computer Vision and Image Understanding，2014（122）：4-21.

[5] TSAI Y H，YANG M H，BLACK M J.Video segmentation via object flow[J].IEEE Computer Vision and Pattern Recognition，2016：3899-3908.

[6]张艳艳，娄莉，梁硕.基于改进光流算法的运动目标检测技术研究[J].智能计算机与应用，2018（1）：55-58.

[7] MEDOUAKH S，BOUMEHRAZ M，TERKI N.Improved object tracking via joint color-LPQ texture histogram based mean shift algorithm[J].Signal，Image and Video Processing，2018，12（3）：583-590.

[8]LIN L，LIN W，HUANG S.Group object detection and tracking by combining RPCA and fractal analysis[J].Soft Computing，2018，22（1）：231-242.

[9]李成美，白宏阳，郭宏伟，等.一种改进光流法的运动目标检测及跟踪算法[J].仪器仪表学报，2018，39（5）：249-256.

[10]郭鹏飞，金秋，刘万军.融合似物性前景对象与背景先验的图像显著性检测[J].计算机工程与科学，2018，40（9）：1679-1688.

[11] HAN S，VASCONCELOS N.Image compression using object-based regions of interest[C]//ICIP.2006：3097-3100.

[12] CHEN T，CHENG M M，TAN P，et al.Sketch2photo：internet image montage[J].Transactions on Graphics，2009，28（5）：124.

[13]LI J，XIA C，CHEN X.A benchmark dataset and saliency-guided stacked autoencoders for video-based salient object detection [J].IEEE Transactions on Image Processing，2018，27（1）：349-364.

[14]崔麗群，吴晓冬，赵越.基于CRF-MR的自顶向下显著性目标检测方法[J].计算机应用研究，2018，22（7）：301-305.

[15]贺超，陈振学，刘成云.自底向上的图像显著目标检测研究[J].光电子·激光，2016（8）：886-892.

[16]XU W，ZHONG S，YAN L，et al.Moving object detection in aerial infrared images with registration accuracy prediction and feature points selection[J].Infrared Physics & Technology，2018（92）：318-326.

[17]LAURENT I，CHRISTOF K，ERNST N.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，1998，20（11）：1254-1259.

[18] YAN Q，XU L，SHI J，et al.Hierarchical saliency detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2013：1155-1162.

[19] FU K，GONG C，YANG J，et al.Salient object detection via color contrast and color distribution[C]//Asian Conference on Computer Vision.Springer，Berlin，Heidelberg，2012：111-122.

[20] LI L，HUANG W，GU I，et al.Foreground object detection from videos containing complex background[C].In Proc.ACM Conf.on Multi，2003：2-10.

[21] HEIKKILA M，PIETIKAINEN M.A texture-based method for modeling the background and detecting moving objects[J].IEEE Trans Pattern Anal Mach Intell，2006，28（4）：657-662.

[22] NARAYANA M，HANSON A，LEARNED-MILLER E.Background modeling using adaptive pixelwise kernel variances in a hybrid feature space[C]// In IEEE Conf on Comput Vis Pattern Recogn，2012：2104-2111.

[23] XUE G，SUN J，SONG L.Dynamic background subtraction based on spatial extended center-symmetric local binary pattern[C]// In IEEE Inter Conf on Multimed Expo.，2010：1050-1054.

[24] ZIVKOVIC Z.Improved adaptive Gaussian mixture model for background subtraction[C]// In Inter Conf on Pattern Recogn Ⅱ，2004：28-31.

[25] BARNICH O，DROOGENBROECK M.ViBe：a universal background subtraction algorithm for video sequences[J].IEEE Trans Image Process，2011，20（6）：1709-1724.