改进三帧差分算法在移动物体检测中的应用

刘伟洋，陈侃松,，张 丹，兰智高，冯 杰

(1.湖北大学 计算机与信息工程学院物联网工程研究所，武汉 430062;2.黄冈师范学院 电子信息学院，湖北 黄冈 438000)

改进三帧差分算法在移动物体检测中的应用

刘伟洋1，陈侃松1,2，张 丹1，兰智高2，冯 杰2

(1.湖北大学 计算机与信息工程学院物联网工程研究所，武汉 430062;2.黄冈师范学院 电子信息学院，湖北 黄冈 438000)

移动物体监控系统利用检测算法识别监控区域的移动物体，并进行实时异常信息存储，检测算法中的传统三帧差分法中的阈值是固定的，因此重叠部分无法准确检测出来，存在空洞现象，可能发生误判；针对这些问题，对已有的三帧差分法进行改进，结合图像边缘提取和自适应的迭代阈值计算方法来提高移动物体检测的准确性，并对异常信息进行选择性存储，由实验结果可知，应用平台采用改进后的移动物体检测算法，较好的提高了移动物体检测的灵敏度，增强了检测系统的实时性和准确性，若仅存储异常信息，可节省视频存储空间，并在定位异常动态信息时节省查找时间。

异常信息；三帧差分法；边缘提取；迭代阈值

0 引言

智能视频监控系统是信息安全中的重要一环，它集成了智能行为识别算法，能够对画面场景中物体的行为进行识别、判断，当视频监控范围内出现异常信息时，通过对视频中的物体进行检测、分析和识别，实现异常报警等功能。在智能视频监控系统中，移动物体检测算法的优劣直接影响系统对移动物体的有效检测和系统的应用性能，它的目的是为了从背景中提取出移动物体的信息，既从采集的序列图像中检测出变化的区域，并将移动物体从背景中提取出来进行分析和分割，检测出移动物体。然而，现实生活中复杂的背景，摄像机固有的缺陷和环境光照的影响等因素给移动物体的检测带来了很大的影响。移动物体检测是视频图像分析中的重点和难点，目前常用的算法有：帧间差分法[1-2]、光流法[3]和背景减除法[4]。

帧间差分法主要应用在摄像头静止情况下，比较容易出现虚假目标，并且两帧物体图像会出现重叠导致检测失败，当物体移动缓慢时出现误判和空洞现象[5]。光流法计算复杂，容易受到背景扰动和光照变化的影响，而且监控系统无法做到实时检测，很难对物体的轮廓进行完整的提取，有一定的局限性[6]。而背景差分法限制了使用范围，因为消除背景需要消耗很大的内存来缓冲若干帧。此外，对于比如光线变化、水纹干扰和摄像头抖动等大范围的背景扰动，这些干扰因素造成比较难以建立适应复杂背景的背景模型。

针对上述问题，利用三帧差分法，结合边缘提取信息和自适应的迭代阈值计算方法对移动物体进行检测，其计算简单，可以提高物体检测的准确性。如将此方法应用到智能监控系统中，可以有选择性的存储异常或差异性的信息片段，节省大量的存储空间。而应用于视频检索中，则可快速定位异常动态图像，在工作人员回看查找异常信息时节省工作时间。

1 差分法基本原理

帧间差分法在移动物体检测中最常用，检测物体是根据差分值和阈值相比较来判断的，首先选取视频中相邻的两帧图像进行灰度化处理，然后对处理后的图像进行差分运算，最后进行比较得出结果。阈值直接区别移动物体和背景图像部分，因此阈值的选择对移动物体的提取有很大的影响。目前使用频繁的主要是两帧差分法和在此基础上改进的三帧差分法。

基于传统的帧间差分是两帧差分法，具体过程：在和前一帧图像相减之前首先把视频图像灰度化处理[7]。帧间差分法的差分公式表示为:

(1)

式中，k表示帧标号，Ik表示当前帧灰度值，Ik-1表示当前帧的前一帧灰度值，Ik(x,y)和Ik-1(x,y)表示相邻的两帧图像，Dk(x,y)则表示两帧差分值。

将以上的图像差分值Dk(x,y)与预设的阈值T进行比较判断背景区域和移动物体区域，如果小于等于T则判断为背景区域，如果大于T则判断为移动物体区域。将移动物体和背景用二值化图像Rk(x,y)表示，公式如：

(2)

根据使用环境可以设定阈值T，如果选取的阈值过小，会很容易发生误判，以为让图像出现较大的高斯白噪声；如果选取阈值过大，则会使检测的图像出现漏检和空洞[8]。

图像的二值化是将采集的移动图像呈现只有黑白两种视觉效果，具体是将灰度图像的像素点的灰度值设置为0或255。最后形态学处理可得到移动物体的位置和轮廓，同时将区域像素连通区域标记出来。

在帧差法的基础上，研究学者提出了三帧差分法，它的基本思想是选取3帧连续的图像，然后分别计算第k-1帧和第k帧、第k帧和第k+1帧图像的图像差分，得到两个差分图像，然后通过二值化处理后，再对这两个图像再进行逻辑与运算，取出相同的信息。具体公式如下：T代表设定的阈值。

(3)

(4)

(5)

三帧差分法超过两帧图像之间的差分算法，可以有效的增加检测的准确性，但是在检测移动物体边缘时的效果不是很好，边缘总是间断模糊的，并且对外部环境不敏感，而且检测的阈值不能很好地设定，重叠部分无法准确检测出来，存在空洞现象，可能发生误判。

2 基于改进三帧差分和边缘信息提取的移动物体检测方法

2.1 改进算法的流程

在本算法中首先采集3帧图像Ik-1(x,y)、Ik(x,y)、Ik+1(x,y)，其次对图像进行边缘提取得到连续的3帧边缘图像，然后对两组相邻的边缘图像差分运算，也就是进行3帧差分，把两次差分后的图像再进行“与”运算，然后根据图像信息使用自适应迭代阈值的计算方法进行二值化处理，最后通过图像形态学处理完成确定移动物体的区域。基于三帧差分法和边缘提取信息的物体检测算法的流程如图1所示。

图1 改进帧间差分法流程图

2.2 图像边缘提取

设视频图像序列中连续三帧图像为Ik-1(x,y)、Ik(x,y)、Ik+1(x,y)，首先选取边缘提取的算子。边缘提取中最常用的算子是Sobel算子，通过Sobel算子进行边缘提取的图像对噪声有一定的鲁棒性，并且算子结合了微分和高斯平滑，相比于其它算子边缘提取效果更好，并且在硬件上比较容易实现，实时性好[9-10]。

对于连续三帧边缘图像Ik-1(x,y)、Ik(x,y)、Ik+1(x,y)，它们的边缘图像分别如公式(6)所示：

(6)

其中:

然后对提取的边缘化的图像进行图像差分，得到结果分别为:

(7)

2.3 与运算

对DE,E-1(x,y)，DE,E+1(x,y)进行逻辑“与”运算，提取出相同的内容得到DE(x,y)；

(8)

(9)

Rk(x,y)代表检测后得到的二值化图像，T代表预定的阈值。

2.4 二值化处理—自适应的迭代阈值计算方法

使用一种自适应的迭代阈值计算方法：首先统计出差分图像中的灰度直方图，表示了图像中某种灰度级像素个数，进而算出某种灰度出现的频率。k代表灰度值的像素个数，图像灰度级别k的范围通常是0～255。

H[k]=Nk(k=0……255)

从灰度直方图中可以得到差分图的像素灰度值，最小值为Min，最大值为Max，可令初始阈值T0=(Max+Min)/2；之后利用T0对差分图像进行分割，得出移动物体区域和背景区域的平均灰度值Mb和Mf，如下公式所示：

(10)

计算出新的迭代阈值，公式如下：

(11)

重复上述工作，直到前后两次的阈值不变：T=T0，如果在之后过程中出现新的情况，就继续迭代直到得到最终的阈值T。根据视频图像信息使用自适应的迭代阈值进行二值化处理能更好的提高图像检测的准确性。

2.5 形态学处理

通过二值化处理之后的图像中白色部分的为移动物体轮廓，而其他背景为黑色背景。但是由于噪声、外界环境的微小变化，这些干扰使得二值化后的图像出现小的、孤立的区域，还有移动物体的轮廓不太完整。因为之前使用边缘图像提取算法，相比其它的设计方法，二值化后的图像边缘符合设计要求，不会出现太多的分割不完整问题。最后使用腐蚀和膨胀运算，这是形态学中的两种运算，腐蚀运算可以将小的单独出现的背景进行去除，同时图像进行缩小，膨胀运算能够填补物体的空洞，这样可以消除噪声和平滑图像。

对应形态学结构元素：白色表示0，黑色代表1；对于二值化后的图像：白色表示灰度为255，黑色表示灰度为0，所有黑色像素的集合是图像完整性的形态学描述

二值化图像的膨胀运算，膨胀操作的功能是对图像中小的断裂的部分进行修复连接起来。A被B膨胀，其中表示空集，B为结构元素，可定义为：

(12)

二值化图像的腐蚀运算，腐蚀操作可以消除掉图像中较小的细节，同时使图像体积缩小，可定义为：

(13)

式中,表示A被B腐蚀。其中先腐蚀后膨胀操作过程叫做开运算，反过来的操作叫做闭运算。

本论文采用的是开运算过程，图2是腐蚀膨胀的效果图。

图2 腐蚀膨胀效果图

经过腐蚀和膨胀图像形态学处理后，从图2的效果图中可以看对图像中的噪声进行了很明显抑制，通过腐蚀后噪声消失了，再对图像进行膨胀运算，填补了空洞，平滑了图像，是图像轮廓更加明显，腐蚀和膨胀图像形态学处理对本论文中视频监控系统的检测有很好的表现效果。

3 实验结果以及分析

3.1 算法实验仿真实验对比

为了验证改进性算法的有效性，在摄像头采集的图像中选取连续的3帧图像，图像存在亮度突变和“叠影”情况，如图3所示。

图3

下面对帧图像分别进行传统的三帧差分和改进三帧差分仿真。

图4 算法实验结果对比图

从图4的实验对比可以发现，本实验中针对传统三帧差分法进行改进，结合图像边缘提取和自适应的迭代阈值计算的检测算法方法可以很好地解决目前常用的移动物体检测方法的缺陷。

从图4(a)中可以看出，经过传统三帧差分算法实验的图像容易受到噪声和亮度突变的影响、容易出现虚假目标的问题。

在图4(b)中利用改进算法可以更好地解决此类问题，并且解决了传统三帧差分法存在的无法提取出完整的移动物体轮廓的问题。改进后的三帧差法可以清晰地检测出移动的物体，使得移动物体的轮廓清晰可见，增强了检测系统的实时性和准确性。

3.2 实物图效果对比

本组实验主要验证了改进型三帧差分算法的准确性。系统使用的是改进型三帧差分算法，结合了图像边缘提取和自适应的迭代阈值计算方法。为了显示改进型三帧差分算法的有效性，分别使用帧差法、传统三帧差分法和改进性的三帧差分法进行监控系统有效性测试。

前两个算法的阈值threshold为3000，改进性三帧差分法为自适应的迭代阈值。图5为监控系统分别采集的对应测试图片。

图5 三种算法对应测试目标图像

由图5可以得出结论：

1)图(a)中图像运用两帧差分算法，当物体移动缓慢时出现误判和空洞现象，会容易出现误报警情况发生；

2)相比于两帧差分法，传统的三帧差分法超过两帧图像之间的差分，如图(b)并且有效的减少误检的问题，但是在检测出的物体移动的边缘总是间断模糊的，对外部环境不敏感，会当遇到特殊天气情况会出现误报警情况，不能达到很好的效果，而且检测的阈值不能很好地设定，阈值的选择对移动物体检测有很大的影响。

3)从图(c)可看出红色线框很明显的标示出人物移动的框架，可以清晰地识别并发出报警声音。改进性的三帧差分法结合图像边缘提取方法，可以更加准确地识别移动物体的轮廓，并且采用自适应的迭代阈值计算方法，较好地提高检测算法的灵敏度，提升嵌入式移动物体检测与监控系统整体的性能稳定性和可靠性。

4 结语

本文针对三帧差分检测算法进行改进，结合图像边缘提取和自适应的迭代阈值计算，提出一种改进性的移动物体检测算法。首先采集3帧图像，其次对图像进行边缘提取得到连续的3帧边缘图像，然后对边缘图像进行3帧差分，把两次差分后的图像再进行“与”运算，然后根据图像信息使用自适应迭代阈值的计算方法进行二值化处理，最后通过图像形态学处理完成确定移动物体的区域。实验结果对比表明，改进性算法的优点是图像的边缘信息不易受噪声和亮度突变的影响，可以利用信息融合进而提取更加完整的移动物体，增强了检测系统的实时性和准确性。

在功能应用方面，如应用于移动物体监控系统，可自动检测、分析和识别监控范围内的移动物体，并对产生的异常动态信息图片/视频段进行选择性存储，节省大量的存储空间，同时进行异常报警，减少人为干预，提高监控的效率。而应用于

视频检索中，则可快速定位异常动态图像，为工作人员回看视频查找异常信息节省工作时间。

[1] 胡祝华,赵瑶池,程杰仁,等. 基于改进DRLSE的运动目标分割方法[J]. 浙江大学学报(工学版),2014,08:1488-1495.

[2] Sobral A, Vacavant A. A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos[J]. Computer Vision and Image Understanding, 2014, 122: 4-21.

[3] 宁瑞芳, 欧阳宁, 莫建文. 基于光流法的聚众事件检测[J]. 计算机工程与应用, 2012, 48(3): 198-201.

[4] 张小骏，刘志镜，陈 昆. 一种基于曝光补偿与颜色信息融合的背景减除法[J]. 电子技术与软件工程，2014,3(21)：115-118.

[5] 甘明刚,陈 杰,刘 劲,等. 一种基于三帧差分和边缘信息的运动目标检测方法[J]. 电子与信息学报,2010,04:894-897.

[6] 袁国武. 智能视频监控中的运动目标检测和跟踪算法研究[D].昆明：云南大学,2012.

[7] 韩云杰. 基于ARM11的多运动图像追踪算法的研究与实现[D].贵阳：贵州大学,2015.

[8] 卢章平,孔德飞,李小蕾,等. 背景差分与三帧差分结合的运动目标检测算法[J]. 计算机测量与控制,2013,12:3315-3318.

[9] Xie Xiao-zhu,Hong Jing-x in,and Xie Si-xing．Effective method for moving objects detection on sea sueface[C].International Conference on Computer Science and Softw are Engineering, Wuhan,2008,3:1-4.

[10] 栾庆磊,赵为松. 动背景下帧差分法与边缘信息融合的目标检测算法[J]. 光电工程,2011,10:77-83.

Moving Object Detection Method Based on Three Frame Difference and Edge Information Extraction

Liu Weiyang1, Chen Kansong1,2, Zhang Dan1, Lan Zhigao2, Feng Jie2

(1.Institute of Internet of Things, School of Computer Science and Information Engineering, Hubei University,Wuhan 430062, China; 2.School of Electronic Information, Huanggang Normal University,Huanggang 438000, China)

Mobile object monitoring system using the algorithm can detect moving target recognition of regional monitoring, and Real-time Anomaly Detection Algorithm in information storage, the traditional three frame difference method in the threshold is fixed, so the overlap cannot be accurately detected, there is a void phenomenon, can be a miscarriage of justice. To solve these problems, the existing three frames the difference in the improved method, calculation method to improve the accuracy of the moving object detection with iterative threshold image edge extraction and adaptive, and selective storage of the abnormal information, experiment results show that the improved moving target detection algorithm in the application platform, improve the sensitivity of moving target detection algorithm is better, enhances the real-time and the accuracy of the detection system, and save the storage space and time to find information.

Abnormal information; Three frame difference method; Edge extraction; Iterative threshold

2016-12-13；

2016-12-20。

国家科技支撑计划课题(2015BAK03B02)。

刘伟洋(1990-)，男，陕西西安人，硕士研究生，主要从事无线传感网络及应用方向的研究。

陈侃松(1972-)，男，湖北荆州人，教授，博士生导师，主要从事无线传感网络及应用方向的研究。

张 丹(1976-)，男，湖北武汉人，讲师，主要从事无线传感网络及应用方向的研究。

1671-4598(2017)02-0177-04DOI：10.16526/j.cnki.11-4762/tp

TP

A

兰智高(1968-)，男，湖北黄冈人，教授，主要从事信息科学与技术方向的研究。

冯 杰(1967-)，男，湖北黄冈人，副教授，主要从事物联网应用方向的研究。