基于边缘特征和多帧差分法的运动目标检测算法

火元莲，秦 梅，宋亚丽



基于边缘特征和多帧差分法的运动目标检测算法

火元莲，秦 梅，宋亚丽

（西北师范大学 物理与电子工程学院，甘肃 兰州 730070）

针对传统的边缘检测算法检测结果不连续、细节信息易丢失等缺点，提出了一种用于运动目标检测的边缘检测方法。首先在背景差分的基础上用平移法检测目标边缘，该方法能够提取到更为精确、细节特征更加丰富、闭合性更好的目标边缘；然后将边缘检测与多帧差分法相结合进行运动目标检测。该方法的优势在于，在目标检测的过程中不需要进行背景建模与更新。实验结果表明，该方法思路简单，易于实现，检测结果精准，实时性较好。

边缘检测；平移法；目标掩码；目标检测；多帧差分法

0 引言

在智能交通监控系统中，运动目标检测的精确性直接影响到后期的行为理解和对监控事件所要采取的处理措施[1-2]。帧差法[3-5]、光流法[6-8]和背景差分法[9-10]是3种经典的运动目标检测方法。其中，帧差法的实时性和对环境的适应能力较好，但容易受图像采样率和目标运行速度的影响，检测到的目标内部会存在不同程度的空洞现象；光流法在无需预知场景任何信息的情况下便可完整地检测到运动目标，但对噪声和光线变化敏感，算法计算量大，实时性较差，难以得到广泛的应用；背景差分法是目前最为常用的一种方法，具有原理简单、计算速度快等优点，但需要构建背景模型，并通过不断地更新来适应背景的变化。混合高斯模型和码本模型是背景模型构建中较为经典的方法，前者能够克服光照、物体停留、背景混乱等干扰因素的影响，但当场景中存在缓慢运动的物体时，会出现漏检情况；后者具有鲁棒性强、计算速率高的优点，但容易出现虚检和漏检[11-13]。背景差分法检测结果的准确性和实时性很大程度上依赖于背景更新的可靠性和及时性[14-15]。

为了克服上述方法的不足，本文将帧差法和运动目标的边缘特征相结合，提出了一种基于边缘特征的运动目标检测方法。物体的边缘可以极为精简地描述物体的轮廓、形状等特征信息，而且不易受到噪声和亮度突变的影响，被广泛地用于目标的检测[16]。但是，普通的边缘检测算法检测到的是整幅图像中所有物体的边缘，包括背景中物体的边缘，而运动目标检测只关注前景中动态物体的边缘特征，为了从整幅图像的边缘信息中去除背景中物体的边缘，通常是在前景图像和背景图像分别提取边缘后做差分便可以得到前景物体的边缘。传统的Sobel、Prewitt等边缘检测算子的检测结果往往存在目标边缘不完整、轮廓不清晰、斜向边缘信息易丢失等缺点，使得提取的目标边缘不够精准，这会给后续的方案选择带来很大的困难[17-19]。针对这些问题，本文在前景图像与背景图像差分的基础上，用平移法提取运动目标边缘的方法，提取到的边缘与原目标的大小和形状十分接近，且其边缘闭合性比传统边缘检测算子更好。

1 基于平移法的运动目标边缘检测

图像边缘检测可以大幅度地减少数据量，剔除与后续检测不相关的信息，并且可以保留有用信息的重要特征。精准的边缘信息有助于运动目标快速准确地提取。

1.1 背景差分法提取运动目标二值图像

首先从视频序列中提取一帧图像作为前景图像f(,)，另外提取一帧图像作为背景图像b(,)（这里的背景图像可以是背景建模算法建立的初始化背景，也可以是从与前景图像相差30帧以上的视频图像中随机提取的图像，具体区别见1.3节实验结果部分所述），两帧图像做差分并进行二值化，得到运动目标的二值图像BW(,)。

式中：为二值化阈值，可根据前景与背景的亮暗程度来设置，本文取固定阈值35。

1.2 平移法提取运动目标边缘

将二值化图像BW(,)分别向上下左右及4个边角方向做平移，得到八方向平移后的图像，将这8幅图像叠加在一起，便可以得到运动目标的边缘图像。这里提到的向某个方向平移，是指将运动目标的二值图像整体做平移，如图1所示。

背景差分法检测到的目标图像具有准确性好、完整度高的优点，但因为对光线及其他干扰因素较为敏感，会导致检测到的目标信息存在一定程度的丢失。图1(a)是基于背景差分法提取到的运动目标二值图像的模拟图，代表目标原图像。图中标1的点代表二值图像中运动目标的轮廓，为了方便表示，这里只标出了目标的边缘。为了更加逼真地模拟差分法得到的目标二值图像，图中特意将目标的3个边角地方留出了缺口，表示丢失的目标信息。图1(b)是将图1(a)中目标二值图像做八方向平移后的图像，从图中可以看出，原目标边角的缺口经过平移之后已经较好地连接起来，目标边缘成为了一个闭合图像，角点信息更加完整，细节特征也更加丰富。

图1 平移法示意图

1.3 实验结果与分析

为了更好地说明该算法的实用性，本小节作了两个实验，均采用某小区的安全监控视频作为视频序列，视频为AVI格式，对其分辨率无特殊要求。两个实验的区别在于背景图像的选择上，实验一中的背景图像是采用文献[20]中的区间分布密度法建立的，实验二的背景图像则是从视频中随机提取的，条件是与前景图像相差30帧以上，避免前景目标在差分过程中与自身重合。实验中分别用Sobel算子、Canny算子、PS算子和平移法提取运动目标的边缘，将各个算法的检测结果予以对比，如图2和图3所示。

图2和图3均是目标边缘的提取过程示意图，其中，图(a)和图(b)分别是前景和背景图像，图(c)为背景差分法提取的运动目标的二值图像，这里得到的目标图像比较完整，是因为背景图像中不存在更新过程产生的误差，但在实际的目标提取过程中，往往因为背景图像质量的影响，前景图像的完整度很难达到此程度；图(d)、(e)、(f)、(g)分别是Sobel算子、Canny算子、PS算子、平移法提取到的目标边缘。从4种算法的检测结果中可以看出，Sobel算子检测到的边缘会有部分信息缺失，而Canny算子检测到的边缘太细、信息不够完整，由于PS算子是Prewitt算子和Sobel算子的结合，与前两种算子相比，它包含更为丰富的细节信息，边缘也更为完整一些，但仍然存在部分信息缺失、目标边角不闭合的缺点；而平移法更加有效地利用了背景差分法准确度高的优点，通过八方向的平移之后，提取到的边缘图像纹理更加清晰，结构更加完整，与背景中物体具有清晰地分界线，而且边缘的闭合性更好，这为后续的处理步骤带来了极大的方便。

图2 实验一结果对比

图3 实验二结果对比

由于实验一中的背景图像是由背景初始化算法建立的，因此，提取到的目标边缘中只有前景中的动态目标。这种情况适用于只需要检测运动目标的轮廓信息，而不关心后续的检测、识别等其他环节。而实验二中的背景图像是从视频中随机提取的，因此图3的结果中不仅包括前景中的动态目标，还包括背景中的动态目标，但是如果每次边缘检测过程都进行背景建模，会极大程度地拖慢算法的运算速度，降低算法效率，针对这种情况，下文给出了一种解决办法，即将边缘检测与帧差法相结合进行运动目标检测。

2 边缘特征与帧差法相结合的运动目标检测

目标检测算法在保证检测准确性的同时，实时性也是一个很重要的方面。对于运动目标检测算法来说，背景建模及更新是一个很重要的部分，目标检测的准确性在很大程度上依赖于背景更新的准确程度，而复杂多变的环境给背景更新带来了很大的困难，是目标检测过程中的一个难点问题。因此，为了实时而准确地检测到运动目标，本文针对上述提到的运动目标边缘检测结果中存在非前景目标的缺点，提出了将边缘特征与帧差法相结合的运动目标检测方法，该算法不仅可以克服此缺点，还具有无需进行背景建模的优点，节省了检测过程所需时间，提高了检测效率。

2.1 运动目标检测

步骤一 提取随机掩码

按照1.3节中实验二的步骤提取到如图3(g)所示的运动目标边缘，并用形态学填充算法对边缘图像做区域填充，得到目标的随机掩码s，如图4(a)所示。

这里称为随机掩码，是因为在提取目标边缘的过程中，背景图像是从视频中随机提取的，检测到的边缘图像中不仅包含前景动态目标，还包含背景中的动态目标。

步骤二 三帧差分法提取真实掩码

1）从视频序列中提取3帧连续图像1、2、3，利用3帧差分法求取运动目标的二值图像(,)。

(,)＝BW(2－1)＋BW(3－2) (2)

式中：BW代表二值化函数。

2）将二值图像(,)用形态学闭合及填充算法做处理得到目标的真实掩码t，如图4(b)所示，它只包含前景中的动态目标。

步骤三 提取前景运动目标

将随机掩码s与真实掩码t做与运算，便可以去除随机掩码中的非前景目标，得到前景目标m，从而完成运动目标检测，结果如图4(c)所示。

m＝s×t(3)

图4(a)是由平移法提取到的随机掩码，它具有与原目标形状及大小更为接近的优点，但是它包含背景中的运动目标；图4(b)是三帧差分法得到的运动目标图像，该方法具有不受光线及复杂环境干扰的优点，检测结果中只包含前景动态目标，但是提取到的目标内部会存在空洞现象，为了将空洞填充起来，在后期处理过程中用到了形态学膨胀和填充算法，在此过程中，目标的尺寸和形状会发生变化，通过与原目标对比可以看出，目标尺寸在原来的基础上扩大了很多；图4(c)为前景目标，从图中可以看出，两者结合之后，不仅去除了随机掩码中的非前景目标，而且克服了三帧差分法将目标尺寸扩大的缺点，在不需要建立背景模型的情况下，便可以提取到准确逼真的前景目标。

2.2 实验结果与分析

为了证明该方法的可行性，下述实验除了采用上文用到的小区安全监控视频以外，还选取了某会议室的监控视频作为实验样本，视频均为AVI格式，对其分辨率无特殊要求。从各个视频中提取一帧图像作为前景图像，并按照1.3节实验二中背景的选取条件从视频序列中提取一帧图像作为背景图像，按照2.1节的步骤检测动态目标。实验结果如图5所示。

将图5中的运动目标图像和帧差法提取到的真实掩码及前景图像作对比可以看出，将边缘特征与帧差法相结合的方法可以准确地提取到更加逼真的运动目标图像，目标与背景的分界线更加清晰。同时为了验证本文算法的准确性，以直接背景差分法的检测结果为参考（此处的直接是指，背景差分法中的每一帧背景图像均由背景初始化算法计算得到，经验证无误的情况下再进行前景目标检测），在同条件、同图像的前提下，计算三帧差分法、基于混合高斯背景建模的目标检测方法和本文算法相对于直接背景差分法的检测准确率[21]，以及3种算法的时间复杂度和空间复杂度。统计结果如表1所示。从表中可以看出，3帧差分法的相对检测准确率为67.43%，这就意味着帧差法经过形态学处理后的结果中有32.57%的像素点

图4 边缘检测与帧差法相结合的过程

Fig.4 The combination process of edge detection and frame difference

图5 运动目标检测（(a)～(e)是小区安全监控视频运动目标检测，(f)～(j)是某会议室的监控视频运动目标检测）

不属于目标本身。而混合高斯模型法的检测准确率相对于直接背景差分法而言，因为受到背景更新准确度及更新过程中累计误差的影响，准确率只能达到95.19%，而本文算法的相对检测准确率可达97.01%。另外，经统计发现，在程序运行过程中所占内存空间相差不多的情况下，混合高斯模型法所用时间却是本文算法的5.14倍。

表1 三种算法的性能比较

综上可知，本文算法不仅检测准确率较高，实时性较好，而且具有在目标检测过程中无需进行背景建模及更新的优点，摆脱了因背景建模不准确或更新不及时带来的误检测问题，在保证了检测准确性的前提下，节省了算法的运行时间，提高了算法的计算效率。另外，经过大量实验证明，本文的算法因为结合了帧差法对环境变化适应性强的特点，对场景的变化如背景中物体的离开、树叶的扰动、玻璃的反光等具有较强的适应性。但是算法的缺点是不能处理阴影问题，在检测过程中还需借助其它算法进行处理。

3 结束语

本文提出了一种基于平移法的动态目标边缘检测算法，采取先差分后检测的方法，可以去除背景中的动态目标，提取到只包含前景动态目标的边缘图像。由于平移法是通过将背景差分结果做平移来检测目标边缘的，因此与传统的边缘检测算法相比，具有准确度高、细节信息丰富、闭合性好等优点，然后将该边缘检测算法与多帧差分法相结合进行运动目标检测。实验结果表明，在不出现车辆拥堵的情况下，该方法能够准确地提取到动态目标而无需进行背景建模与更新，因此，算法原理简单，计算速度快，实时性好。但是该算法不能处理阴影问题，且不适于动态目标过于密集的场景。希望在以后的工作中，能够较好地解决这两方面问题，使算法通用性得到进一步提高。

[1] 郝毫刚, 陈家琪. 基于五帧差分和背景差分的运动目标检测算法[J]. 计算机工程, 2012, 38(4): 146-148.

HAO Haogang, CHEN Jiaqi. Moving object detection algorithm based on five frame difference and background difference[J]., 2012, 38(4): 146-148.

[2] 侯宏录, 李宁鸟, 刘迪迪, 等. 智能视频监控中运动目标检测的研究[J]. 计算机技术与发展, 2012, 22(2): 49-52.

HOU Honglu, LI Ningniao, LIU Didi, et al. Research on moving target detection of intelligent video surveillance[J]., 2012, 22(2): 49-52.

[3] Neto B, Goutsias J. Object-based image analysis using multiscale connectivity[J]., 2005, 27(6): 892-907.

[4] Barron J L, Fleet D J, Beauchemin S S. Performance of optical flow techniques[J]., 1994, 12(1): 43-77.

[5] 王圣男, 郁梅, 蒋刚毅. 智能交通系统中基于视频图像处理的车辆检测与跟踪方法综述[J]. 计算机应用研究, 2005, 22(9): 9-14.

WANG Shengnan, YU Mei, JIANG Gangyi. Review on vehicle detection and tracking techniques based on video processing in intelligent transportation systems[J]., 2005, 22(9): 9-14.

[6] Rene V, Ravichandran A. Optical flow estimation and segmentation of multiple moving dynamic textures[C]//2005(S. 1.), 2005: 516-521.

[7] 佘青山, 杨伟健, 田卓, 等. 基于运动轮廓标记提取的分水岭运动目标检测[J]. 大连理工大学学报, 2014, 54(6): 656-661.

SHE Qingshan, YANG Weijian, TIAN Zhuo, et al. A watershed moving target detection based on motion contour marks and extraction[J]., 2014, 54(6):656-661.

[8] 董久敏, 王枚, 潘国华, 等. 一种基于边缘特征的背景差分运动目标检测方法[J]. 海军航空工程学院学报, 2011, 26(2): 173-176.

DONG Jiumin, WANG Mei, PAN Guohua, et al. A background difference moving target detection method based on edge character[J]., 2011, 26(2): 173-176.

[9] Herrero E, Orrite C, Senar J. Detected motion classification with a double background and a neighborhood-based difference[J]., 2003, 24(12): 2079-2092.

[10] ZANG Huaiquan, CHEN Shuanyong. Electric power steering simulation analyze based on fuzzy PID current tracking control[J]., 2011, 7(1): 119-126.

[11] 余烨, 曹明伟, 岳峰. 一种改进的Vibe运动目标检测算法[J]. 仪器仪表学报, 2014, 35(4): 924-931.

YU Ye, CAO Mingwei, YUE Feng. An improved Vibe algorithm for detecting moving objects[J]., 2014, 35(4): 924-931.

[12] 雷飞, 黄文路, 张泽. 基于边缘检测与码本模型的运动目标检测算法[J]. 科学技术与工程, 2013, 13(24): 7234-7239.

LEI Fei, HUANG Wenlu, ZHANG Ze. Motion targets detection algorithm based on edge detection and codebook model[J]., 2013, 13(24): 7234-7239

[13] 刘军, 梁久祯, 柴志雷. 基于DM642的运动目标检测[J]. 计算机工程与科学, 2013, 35(1): 107-112.

LIU Jun, LIANG Jiuzhen, CHAI Zhilei. Motion target detection based on DM642[J]., 2013, 35(1): 107-112.

[14] Titsias M K, Williams C K. Unsupervised learning of multiple aspects of moving objects from video[R].(including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) 2005, 3476: 746-756.

[15] 郭春生, 王盼. 一种基于码本模型的运动目标检测算法[J]. 中国图象图形学报, 2010, 15(7): 1079-1083.

GUO Chunsheng, WANG Pan. An algorithm based on codebook model to moving objects detection[J]., 2010, 15(7): 1079-1083.

[16] 魏国剑, 侯志强, 李武. 基于边缘差分的运动目标检测方法[J]. 计算机工程与设计, 2013, 34(10): 3530-3534.

WEI Guojian, HOU Zhiqiang, LI Wu. Moving object detection algorithm based on edge subtraction[J]., 2013, 34(10):3530-3534.

[17] 王小俊, 刘旭敏, 关永. 基于改进Canny算子的图像边缘检测算法[J]. 计算机工程, 2012, 38(14): 196-202.

WANG Xiaojun, LIU Xumin, GUAN Yong. Image edge detection algorithm based on improved Canny operator[J]., 2012, 38(14):196-202.

[18] 王东霞, 许伟昶. 基于改进的数字形态学边缘检测算法研究[J]. 实验室研究与探索, 2014, 33(2): 89-92.

WANG Dongxia, XU Weichang. Edge detection algorithm based on improved mathematical morphology[J]., 2014, 33(2): 89-92.

[19] 何春, 叶永强, 姜斌, 等. 一种基于分数阶次微积分模板的新型边缘检测方法[J]. 自动化学报, 2012, 38(5): 776-786.

HE Chun, YE Yongqiang, JIANG Bin, et al. A novel edge detection method based on fractional-order calculus mask[J]., 2012, 38(5): 776-786.

[20] 火元莲, 秦梅, 邱振. 基于区间分布密度的背景初始化方法[J]. 计算机工程与科学, 2015, 37(9): 67-72.

HUO Yuanlian, QIN Mei, QIU Zhen. Background initialization method based on interval distribution density[J]., 2015, 37(9): 67-72.

[21] 李鹏飞, 陈朝武, 李晓峰. 智能视频算法评估综述[J]. 计算机辅助设计与图形学学报, 2010, 22(2): 352-360.

LI Pengfei, CHEN Chaowu, LI Xiaofeng. An overview for performance evaluation of intelligent video algorithms[J]., 2010, 22(2): 352-360.

Moving Target Detection Method Based on Edge Character and Multiple Frame Difference

HUO Yuanlian，QIN Mei，SONG Yali

（College of Physics and Electronic Engineering, Northwest Normal University, Lanzhou 730070, China）

Aiming at the shortcomings of traditional edge detection algorithms, whose results are discontinuous and easy to lose detailed information, the paper proposes an edge detection method which can be used for moving target detection. First, the target edge is detected on the basis of background difference by translation, whose result is more accurate containing more detailed information and closing better; then the moving targets are detected by combining the edge detection with multiple frame difference. The advantage of this method is that it doesn’t need background modeling and update in the whole process of target detection. Results show that this method is simple, accurate and easy to implement, and it could get a better time-consuming.

edge detection，translation，target mask，target detection，multiple frame difference

TP751.1

A

1001-8891(2017)02-0157-06

2016-06-22；

2016-09-06.

火元莲（1973-），女，博士，副教授，研究方向为信号与信息处理。

国家自然科学基金（61561044）；西北师范大学青年教师科研能力提升计划骨干项目（NWNU-LKQN-13-2）；2013年甘肃省高校基本科研业务费项目。