基于帧间差分和粗糙熵的运动目标检测算法

靳海伟, 彭力, 卢晓龙

(江南大学物联网工程学院,江苏无锡214122)

基于帧间差分和粗糙熵的运动目标检测算法

靳海伟, 彭力*, 卢晓龙

(江南大学物联网工程学院,江苏无锡214122)

帧间差分法只把相邻帧间存在较大差异的部分提取出来,检测出的运动目标内部往往存在“空隙”。利用粗糙熵可以精确地分割图像区域。引入粗糙熵作为帧间差分法的补充,通过颜色灰度信息完成图像形态学重构,并进行形态学滤波和连通性检测,由此克服了检测出运动目标内部的空洞现象,满足实时性,检测效果显著提高。

帧间差分;空隙;目标检测;粗糙熵;形态学重构

运动目标检测技术是图像视频处理领域的研究热点之一。目前运动目标检测的基本方法有帧间差分法、背景差分法和光流法。帧间差分法具有程序简单、运行速度快的特点[1-2]。因为相邻帧之间背景的变化较小,所以帧间差分法能够较好地适应各种场景。但是这种方法也有很明显的缺点。该算法的基本思想是将相邻两帧存在较大差异的部分提取出来,所以检测出的运动目标内部往往存在大量“空隙”[3-4]。

文献[5]提出基于五帧差分和背景差分的运动目标检测算法,虽然可以完整地提取目标轮廓,但没有解决目标内部的空隙问题。文献[6]提出的基于背景减法和时空熵的运动目标检测新方法,可以完整地提取目标,但算法复杂度大。文献[7]提出基于粒子粗糙熵的图像分割算法,使用粗糙集理论、粗糙熵来对图像中目标和背景进行正确分类[8],但其处理对象是单帧图像,无法检测出图像序列(视频)中的运动目标。

针对上述算法的缺点,文中进行了相应改进: (1)通过三帧差分法将视频中的运动目标进行提取;(2)使用粗糙集理论上近似和下近似概念来描述图像的目标、背景和边界区域。集的近似能力可以用粗糙熵来衡量,当粗糙熵最大时,这时选择的阈值可以对图像中目标和背景进行正确分类;(3)引入形态学图像重构,通过形态学运算对两幅图像(掩模图像和标记图像)进行处理完成重构,可以提取出掩膜图像中的感兴趣区域(运动目标)。

文中提出基于帧间差分和粗糙熵的运动目标检测算法,将图像时间和空间分割有机地结合起来,通过形态学运算完成图像重构。经过实验,文中算法可以完整地提取运动目标,克服空洞现象,满足实时性并取得了显著的检测效果。

1 帧间差分法

对于图像序列中相邻的帧,在忽略了部分噪声的前提下,产生变化的部分即为移动的物体,没有变化的部分即为背景。通过对图像序列相邻帧之间进行差分运算可以获取目标的位置与形态信息。

帧间差分法的基本原理:在视频图像序列f1, f2,…,fn中,选取相邻两帧图像fk(x,y)和fk-1(x, y),则它们的差分图像Dk(x,y)为

其中(x,y)为图像中像素点的坐标。

选取一个合适的阈值T(取经验值或者采用相关算法获得动态阈值),把差分图像Dk(x,y)和阈值T进行比较,从而提取运动目标:

帧间差分法对连续两帧图像进行差分运算得到运动目标,算法比较简单且易于实现,适应能力较强。但是在物体快速运动而造成背景大面积显露的时候,容易在显露区域产生误检,从而导致检测到的前景出现“重影”现象。为了克服这个缺点,对帧间差分法进行改进,形成了三帧差分算法。

三帧差分法算法原理如图1所示。

图1 三帧差分法原理Fig.1 Schem atic of the three fram e differencem ethods

2 基于粗糙熵的图像分割

近年来粗糙集理论在图像处理中被广泛应用,运用粗糙集理论中的相似关系来解决图像中的分类问题,可以有效地消除噪声。对图像信息的相关性和不精确性,用粗糙熵概念对图像直方图颜色信息进行分类,提高了分割的效率[7]。

2.1 粗糙集理论

给定一个有限的非空集合U称为论域,R为一等价关系,则称知识库K=(U,R)为一个近似空间。若论域中存在子集X⊆U,根据关系R定义的基本集合Yi(i=1,2,…,n)来描述集合X,为了准确地说明某些Yi在X中对象的隶属度情况,这里考虑两个子集:

分别称它们为X的R下近似和R上近似。

2.2 基于粗糙集理论的区域划分

对于一幅灰度级为L的N×N个像素组成的二维图像U,设像素X为U中的一个对象,称知识库(知识系统)K=(U,R)为一个图像近似空间。把原图像分成Fi个互不重叠的小块,Pi是分块中Fi每个像素的灰度值。由粗糙集理论的上近似、下近似以及边界域的概念来定义图像中每一块所包含目标和背景像素的程度[8-9]。

目标灰度的下近似:

目标灰度的上近似:

背景灰度的下近似:

背景灰度的上近似:

目标的边界区域:

用R粗糙度来定义目标和背景的不确定程度:

背景的边界区域:

因为边界即在目标区域又在背景区域中,粗糙度越小,说明目标和背景的边界区域越小,两者越接近重合。选择合适的阈值T满足粗糙度ROT,RBT同时达到最小,此时目标和背景的边界域QOT=QBT,两者完全重合,即为图像目标和背景相交的边界。

2.3 粗糙熵

对目标和背景边界域的确定,阈值T的选择至关重要[10-13]。引入信息论中熵的概念来精确地计算阈值T。把目标区域和背景区域看成两个信源,由目标和背景区域的粗糙度定义目标区域粗糙熵为

背景区域粗糙熵为

根据熵的概念和性质,两个独立信源联合熵等于它们各个熵之和,所以目标和背景区域粗糙熵为

选择阈值T的准则是使它们的熵之和取最大,这就是所谓最大熵准则下的最佳门限[7-9]。

2)扩孔钻头的横向不平衡系数对钻头扩孔钻进的影响较大，通过自平衡原理设置切削齿将钻头的不平衡系数控制在0.05以内，能提高钻头的稳定性，减少钻头异常失效现象。

粗糙熵的最大值可以定义为

求解出最终的T*,此时所对应的T值就是最佳分割阈值,对原图像进行二值化分割,得到明显区分的目标和背景的二值图,如图2所示。

图2 粗糙熵图像分割Fig.2 Rough entropy im age segmentation

3 形态学重构

重构是一种将两幅图像和一个结构元素进行形态学变换的过程。标记图像(marker)是变换的开始目标点,掩模图像(mask)用来约束变换过程。结构元素用来定义连续性,通常为一个三维单位矩阵。

如果g是掩模,f是标记,定义从重构g为Rg(f),下面是其迭代过程定义:

1)将m1初始化为标记图像f;

2)创建结构元素:P=ones(3);

3)重复mk+1=(mk⊕P)∩g直到mk+1=mk。其中标记f必须是g的一个子集,即f⊆g。图3说明上述过程。

图3 形态学重构Fig.3 M orphology reconstruction

4 基于帧间差分和粗糙熵的运动目标检测算法

三帧差分法能快速精确地检测出运动目标的轮廓,但是其内部存在很大的空洞,不能完整地提取出目标信息。利用粗糙熵可以对图像的目标和背景区域进行精确分类。三帧差分法基于时间域将运动目标从图像序列中提取出来,利用粗糙熵将单帧图像在空间上实现目标和背景分割,通过时间域和空间域的有机结合来进行形态学重构,可以完整地提取运动目标。为此,提出基于三帧差分法和粗糙熵的运动目标检测算法。

算法具体步骤:

1)从视频中提取连续三帧原始图像,分别记为fk-1(x,y),fk(x,y),fk+1(x,y),对其进行中值滤波(medfilt2)去噪、灰度化(rgb2gray)。

2)将提取出的三帧图像中相邻两帧图像利用公式(1)进行差分运算:

对差分结果Dk(x,y),Dk+1(x,y)进行逻辑与操作,由三帧差分法得到初始运动目标:

3)利用粗糙熵对中间帧fk(x,y)进行图像分割,得到分割后图像Ek(x,y):

(2)统计图像的灰度值,根据灰度值分布情况确定阈值范围T∈[m,n]。

(3)将图像分成Fi个互不重叠的小块,确定每个小块灰度的最大值Pi_min、最小值Pi_min。

(5)根据式(5),(6),(9)算出T所对应的粗糙熵,重复(4),直到T=n。

(6)通过比较每一个T所对应的粗糙熵大小,当粗糙熵最大时,T为最佳阈值T*。

(7)对图像fk(x,y)进行分割,得到:

4)将步骤(2)得到的图像Rk(x,y)经过处理设为标记图像(marker),步骤(3)得到的图像Ek(x,y)记为掩模(mask):

多次进行代数逻辑运算完成图像重构,最终得到目标图像Qk(x,y)。

5)对(4)的结果进行形态学滤波和连通性检测,最终得到运动目标。

5 实验结果及分析

为了测试文中所提出算法的有效性和鲁棒性,对三段标准视频highway,campus,vipman(http:// cvrr.ucsd.edu/aton/)分别进行测试。实验环境为CPU E5500/2.80 GHz、内存为2 GB的PC机,使用Matlab R2009a编程实现。将文中算法与三帧差分算法以及文献[6]所提出的算法运行结果进行对比,结果如图4～6所示,并采用文献[14]提出的查全率和查准率进行度量:

其中:tp为检测目标正确像素个数;fp为将背景错误检测为目标的像素个数;fn为将运动目标错误检测为背景的像素个数。表1给出了实验结果。

图4 H ighway场景的不同算法检测结果Fig.4 Detected results of Highway on different algorithm s

图5 Cam pus场景的不同算法检测结果Fig.5 Detected results of Cam pus on different algorithm s

图6 Vipm an场景的不同算法检测结果Fig.6 Detected results of Vipman on different algorithm s

表1 不同算法运行结果参数比较Fig.1 Com parison of the results and parameters of different algorithm s

为了检验算法的实时性,文中取测试视频各80帧对三帧差分法、文献[6]算法和文中算法的平均单帧处理时间(t/ms)进行比较,如表2所示。

表2 单帧处理时间测试结果Tab.2 Test results of single frame processing time

从表1,2结果可以看出,Highway中汽车运动较快,三帧差分法可以提取运动汽车的大部分信息,而Campus中人走动较慢,Vipman中人物移动更加缓慢,提取的人物内部信息较少。总体来说,三帧差分法可以提取运动目标轮廓,但其提取目标信息有限,提取的目标内部存在空洞。

3种场景中文献[6]算法可以较为全面地提取汽车和人物的信息,但效果不是最佳。利用粗糙熵可以对图像进行有效地分割,但其将图像中亮度不同的部分分割为多个区域,除了运动目标本身外,部分背景也被分割显示。

通过形态学重构,可以较完整地提取运动目标,检测效果显著提高。在每帧图像的处理时间上,三帧差分法速度很快。由于初始背景模型的建立和更新耗时较长,文献[6]算法的实时性较差。文中算法处理时间介于三帧差分法和文献[6]算法之间,以满足实时性。

6 结 语

提出一种基于帧间差分和粗糙熵的运动目标检测算法,将时间分割和空间分割有机地结合起来。该方法能有效地提取运动目标,克服了提取目标内部的空洞现象和其他算法的复杂性。该算法相对于已有算法检测效果更好,在实际工程中有一定的应用价值。

[1]SHEN Hao,LI Shuxiao,ZHU Chengfei,et al.Moving object detection in aerial video based on spatiotemporal saliency[J]. Chinese Journal of Aeronautics,2003,26:1211-1217.

[2]丁莹,李文辉,范静涛,等.基于Choquet模糊积分的运动目标检测算法[J].电子学报,2010,38(2):263-268.

DING Ying,LIWenhui,FAN Jingtao,et al.A moving object detection algorithm base on choquet integrate[J].Acta Electronica Sinica,2010,38(2):263-268.(in Chinese)

[3]WANG Kongqiao,XU Lei,FANG Yikai,et al.One-against-all frame differences based hand detection for human and mobile interaction[J].Neurocomputing,2013,120(11):185-191.

[4]Lipton A J,Fujiyoshi H,Patil R S.Moving target classification and tracking from real-time video[BE/OL].[2012-09-19](2014-07-15)./http://www.doc88.com/p-696925666738.html

[5]郝毫刚,陈家琪.基于五帧差分和背景差分的运动目标检测算法[J].计算机工程,2012,38(4):146-148.

HAO Haogang,CHEN Jiaqi.Moving object detection algorithm based on five frame difference and background difference[J]. Computer Engineering,2012,38(4):146-148.(in Chinese)

[6]常晓峰,冯晓毅.基于背景减法和时空熵的运动目标检测新方法[J].计算机仿真,2008,25(3):235-238.

CHANG Xiaofeng,FENG Xiaoyi.A newmethod ofmotion detection based on background subtraction and spatial temporal entropy [J].Computer Simulation,2008,25(3):235-238.(in Chinese)

[7]Debarati Chakraborty,Uma Shankar Sankar,Pal K.Granulation,rough entropy and spatiotemporalmoving object detection[J]. Applied Soft Computing,2003,13:4001-4009.

[8]Sankar K,Pal B,Uma Shankar.Pabitra MitraGranular computing,rough entropy and object extraction[J].Pattern Recognition Letters,2005,26:2509-2517.

[9]Rafael C Gonzalez,Richard E Woods,Steven L Eddins.Digital Image Processing Using MATLAB[M].2nd ed.Beijing: Publishing House of Electronics Industry,2005:252-284.

[10]Duncan E,Donohue,Giorgio A.Automated reconstruction of neuronal morphology:an overview[J].Brain Research Reviews, 2011,67(6):94-102.

[11]霍东海,杨丹,张小洪,等.一种基于主成分分析的Codebook背景建模算法[J].自动化学报,2012,38(4):591-600.

HUO Donghai,YANG Dan,ZHANG Xiaohong,et al.Principal component analysis based codebook background modeling algorithm[J].Acta Automatica Sinica,2012,38(4):591-600.(in Chinese)

[12]吴涛.图像阈值化的自适应粗糙熵方法[J].中国图像图形学报,2014,19(1):1-10.

WU Tao.Adaptive rough entropy method for image thresholding[J].Journal of Image and Graphics,2014,19(1):1-10.(in Chinese)

[13]YE Mingquan,WU Xindong,HU Xuegagn,et al.Anonymizing classification data using rough set theory[J].Knowledge-Based Systems,2013,43(5):82-94.

[14]Maddalena L,Petrosino A.A self-organizing approach to background subtraction for visual surveillance applications[J].IEEE Transactions on Image Processing,2008,17(7):1168-1177.

(责任编辑:杨 勇)

M oving Target Detection A lgorithm Based on Frame Difference and Rough Entropy

JIN Haiwei, PENG Li*, LU Xiaolong
(School of Internet of Things Engineering,Jiangnan University,Wuxi214122,China)

The frame differencemethod extracts the large different part of the adjacent images,but the extracted target exists“gap“.Rough entropy segments image region accurately.Introducing rough entropy as a supplement to the frame differencemethod,completing the imagemorphology reconstruction with color grayscale information,then processing the image through morphological filtering and connectivity detection,experiments show that the proposed algorithm overcomes internal cavity phenomenon and meets the real-time.Detection effect is significantly improved.

frame difference,gap,target detection,rough entropy,image reconstruction

TP 391.41

A

1671-7147(2015)01-0028-06

2014-09-02;

2014-10-20。

江苏省产学研联合创新项目(BY2014023-25)。

靳海伟(1988—),男,山西汾阳人,控制科学与工程专业硕士研究生。

*通信作者:彭 力(1967—),男,河北唐山人,教授,博士生导师。主要从事视觉物联网等研究。

Email:pengli@jiangnan.edu.cn