基于改进Sigma-Delta滤波的复杂场景背景估计

曹倩霞,罗大庸,王正武

(1.中南大学信息科学与工程学院,长沙410075;2.长沙理工大学公路工程省部共建教育部重点实验室,长沙410004)

基于改进Sigma-Delta滤波的复杂场景背景估计

曹倩霞1,2,罗大庸1,王正武2

(1.中南大学信息科学与工程学院,长沙410075;2.长沙理工大学公路工程省部共建教育部重点实验室,长沙410004)

背景估计是运动目标检测一项重要的前期工作,在城市交通等复杂场景中,存在大量慢速或暂停运动目标,背景模型很快受到污染,需要进行较多的后续处理或者采用高复杂度算法来检测前景。针对该问题,提出基于Sigma-Delta滤波改进的背景估计算法,融合可选择性背景更新机制和多频Sigma-Delta滤波背景估计方法,处理复杂场景中不同运动目标的运动特征,以获取稳定的背景。通过对典型城市路段和交叉口复杂交通场景序列进行对比实验,结果表明,该算法在保持Sigma-Delta滤波低内存消耗和高计算效率的基础上可获得更好的检测效果。

图像处理;背景差分;背景估计;多频Sigma-Delta滤波;选择性背景更新;复杂场景

1 概述

基于序列图像的前景检测是计算机视觉应用中非常重要的前期工作,背景差分是检测前景目标一项很普遍的技术[1],其思想是建立背景,比较当前帧与背景帧之间的差别来获取运动前景,背景模型须精确获取非运动场景,并考虑光照变化和背景更新[2]。

本文提出一种基于Sigma-Delta(又称Σ-Δ)滤波的算法,利用其计算高效、低内存消耗特性,以一种新的思路来解决慢速或短暂停止目标的背景估计和检测,为后续工作提供更为可靠的结果。

2 背景介绍

视频序列背景建模遇到的主要困难在于[3]: (1)系统须在较长一段时间内保持连续工作,无人工交互(如在视频监控系统中),在此过程中,背景应适应渐变或突变,如光照的缓慢或迅速的变化、场景中出现某一静态目标。(2)自然场景中背景往往是动态变化的,如晃动的树叶、变化的光照及波动的水面等,即使背景是静止的,摄像机的抖动及信号噪声等也会给建立鲁棒的背景模型提出挑战性的要求。(3)系统应当实时低耗,算法不过多占用计算内存资源。基于像素的背景建模方法主要根据每个像素在时域上的分布信息构造背景模型,一般有参数化背景建模和非参数化背景建模方法。参数化建模方法最简单的是为背景像素建立单峰概率密度函数,如滑动高斯平均[4];另一种是基于过去K帧每个像素的直方图值统计分析,其均值、中值或者频数最大值被用来估计背景[5];而目前用的较广泛的是混合高斯模型[6],单个高斯密度函数不能处理非静止背景目标,如树叶晃动或其他自然变化,一般为每个像素建立N个高斯成分组成的混合高斯概率模型[7]。非参数背景建模方法则更适合密度函数较复杂或者不能被参数化建模的情况,核密度估计是一种非参数方法,混合高斯模型和之前方法对连续逐变场景是非常有效的,但对快速非平稳变化的动态场景无法用一组高斯函数精确描述,核密度估计则从最近多帧序列中估计每个像素的背景概率来克服此问题[8]。文献[9]提出改进混合高斯模型来处理动态场景,为每个像素建立分层3D多元高斯模型,并用贝叶斯方法估计每层的均值和方差以及均值和协方差的概率分布。另一种非参数方法是码本模型,码本是基于像素颜色的背景建模法,它的建模思想是根据图像序列中每个像素的颜色距离和亮度,用量化技术建立一个码本。文献[10]提出了一种改进的码本算法,并与原始码本算法和混合高斯模型比较,获得较好的结果,但均不能较好地处理有短暂停留的目标。此外,还有一些其他背景建模方法,如考虑预测策略,通过建模和预测每个像素的动态来估计背景[11](如卡曼滤波[12])。

在上述背景建模的3个困难中,前2个说明统计方法必须局部获取并不断更新背景,这就排除一些基本方法,如单一模型或基于统计均值或中值,或全局阈值。许多复杂的算法,如线性预测、核密度估计等,均基于过去K帧,需要很大内存,为了达到鲁棒效果,K需要很大(至少50帧),不适合第3个难点解决。递归循环方法不需要保存每个像素的直方图,而是固定数量的估计递归计算,而使用线性递归很难获得鲁棒背景估计,除非使用多模式分布(如多维高斯模型),但复杂度和内存消耗则相应增大。除了考虑计算效率外,着重复杂场景,如在城市交通环境,交通流密集、可能的交通拥堵或者车辆排队造成大量车辆慢速或短暂停车,背景估计算法必须能处理运动目标由于慢速或短暂的停车融入到背景,在重新运动后又出现在前景的现象。目前许多背景差分算法通过目标定位和跟踪依靠后续后处理或者前景确认步骤来提取运动前景。

文献[3]将Σ-Δ引进到视频前景检测中,给出了理论推导[13],并提出多频Sigma-Delta滤波算法来处理较复杂场景,通过计算K套背景来适应各运动特征[14],对运动特征分布较广的复杂场景,需建立多套背景,复杂度随之大大提升。

本文采取Σ-Δ滤波器的思想,着重适应复杂场景,在算法设计中使用多频Sigma-Delta滤波(K≤3)和选择性部分更新机制相结合获取稳定的背景模型,注重何时及怎样更新背景,避免背景被前景慢行或暂停运动目标污染,同时适应背景正常更新和自然动态变化。对典型城市路段和交叉口复杂交通场景序列进行测试,比较了改进的Sigma-Delta算法与之前Sigma-Delta算法及常用的混合高斯模型结果,同时评估了各算法计算复杂度,验证了方法的优越性。

3 基本Sigma-Delta滤波

基本Sigma-Delta滤波算法是一种非线性递归循环计算,具体思路如下:

(1)背景估计:

(2)计算当前帧与背景帧差:

(3)方差更新:

(4)如果 Δt(x)＜Vt(x),则 Dt(x)=0;否则, Dt(x)=1。

其中,It为输入视频序列;Mt为估计背景值;sgn函数是通过比较输入值与背景值,给出-1(小于)、0 (等于)或1(大于)的结果,通过输出值累加,用于追踪实际背景。可以看出,对每一帧,背景估计的增益为±1,若It为离散随机信号,一段时间内,小于0和大于0的比率应接近于1,所以Mt是一种近似中值收敛估计,在慢速或拥挤城市交通环境下,前景目标会逐渐融入背景。Vt是方差图像,表征像素灰度值的变化,对于无运动目标稳定的背景,方差较小,可作为背景更新阈值。算法中唯一可调整的参数是N,一般取值1～4,另一个隐含参数是统计更新周期,即无需每帧处理,可每P帧执行一次处理循环。Dt是前景像素图像,可通过比较Δt和Vt获得,其中Δt为当前帧与当前估计背景的差值。算法不需使用颜色信息,完全基于灰度图像处理,进一步满足低计算需求目标。

基本Sigma-Delta滤波能有效地处理背景缓变和自然场景中细微的动态变化,检测运动目标。然而,在复杂场景中,如城市交通场景中不断有各种速度特征车辆通过,车辆慢速或暂停情况经常出现(尤其在交叉口),而算法更新周期固定,很难适应如此复杂的场景。根据多维混合高斯模型的思路,文献[11]提出多频 Sigma-Delta背景估计来克服此问题,即计算K套背景,每一套背景都有自己的更新周期,混合背景模型由K套背景按一定权重结合而成。每套背景的权重因子直接与其相应更新周期成正比,而与相应的方差成反比,即对于更新周期长的背景模型赋予更大的权重,同时,根据方差大小调整权重以适应背景的变化。这种算法能处理一定程度上慢速或较短时间暂停车辆及随机运动目标,但在城市交通场景中,尤其在路段拥挤或者交叉口红灯停车时,停车时间较长且长短不一,多频Sigma-Delta滤波分层太多导致复杂度大大增加,且由于更新周期长的背景模型权重大,更新效果不理想。

本文通过引入可选择性背景更新机制结合多频Sigma-Delta滤波背景估计方法来克服此问题,即对慢速或暂停车辆的前景可选择暂时不更新背景,直到情况好转。

4 改进的Sigma-Delta滤波

在基本Sigma-Delta滤波基础上引入可选择性背景更新机制结合多频Sigma-Delta滤波进行背景估计,可获得适应光照和背景改变与阻止背景污染之间的平衡,最终目标是阻止复杂场景中慢速和一段时间停止运动目标融入背景模型,同时不增加原有计算复杂度。具体算法思路如下所示:

背景更新选择机制的实施通过一个更新周期P,在P帧内,若Vt≤Vth,方差较小,用检测率/来判别运动状况,其中,为视频帧计数;为检测帧计数。若检测率大于80%,说明出现暂停车辆或车辆拥挤情况,此时不更新背景;否则,采用多频Sigma-Delta滤波更新背景,计算K套(1≤ K≤3)背景。 每个背景有其更新周期αi,αi＜α2＜…＜αk,以适应特定的复杂场景。可如下递归计算:,其中,,最终背景Mt由K套背景按一定权重结合而成。为了防止不更新背景不断累积陷入死锁,设定了一个最大更新周期Imax,当累积的时间达到最大更新周期,则强制更新,一般Imax可取最大停留时间(如城市交通中最大车辆排队时间或交叉口的红灯时间)。

5 实验分析

本文将所提算法分别应用在典型城市路段和交叉口复杂交通场景中,并与目前常用的处理较复杂场景的多维混合高斯模型以及已有的基本Sigma-Delta和多频Sigma-Delta算法应用效果进行对比。其中,路段的交通场景使用i-LIDS的PV_ EVAL序列,序列中流量较大,出现了交通拥堵和车辆排队,此外,还有一辆停留约85 s的路边停车;交叉口的交通场景使用实际环境拍摄(长沙市竹塘西路口东进口),图像大小为720×576像素,序列中包含3个信号周期,其中信号周期为100 s,本相位红灯时间为75 s。图1为路段交通场景中的对比结果,第1列展示的是视频图像,第2列为各算法获得的当前背景,第3列为检测图像;第1行为多维混合高斯模型应用结果(K=3,α=0.005,T= 0.4),第2行是基本 Sigma-Delta算法结果(N= 4),第3行是多频Sigma-Delta背景估计(N=4, K=3,更新周期为1,8,16),第4行是本文提出的改进方法(N=4,Vt∈[Vmin,Vmax]=[10,200], Imax=2 125,为可能最大排队长度,Vth=38。考虑到实际车长车速,设定P=25,K=3,更新周期为1,5,25,更能较好地描述场景中背景缓变、自然动态变化和慢速车辆运动情况),可以看出,在1 450帧,即车辆排队开始后,基本Sigma-Delta算法(图中SD)的背景模型很快被慢速或排队停驶车辆污染,多维混合高斯模型(图中MOGM)和多频Sigma-Delta滤波(图中SDM)背景估计中随着停留时间变长,慢速或短暂排队车辆部分融入背景,而对在1 735帧出现并停留约85 s的路边停车(图中箭头指向处),前3种方法几乎忽略了此车检测,本文提出的改进算法(图中SDEn)能阻止此车融入背景并获得完整的前景检测。

图1 城市路段交通场景的比较结果

图2为交叉口交通场景中的对比结果,此时,车辆陆续到达并停在红灯前,其中前2辆车已停车23 s后第3辆车才到达,可以看出这些车在基本Sigma-Delta算法中都已融入背景模型,在多维混合高斯模型和多频Sigma-Delta算法中部分融入背景(前两三辆车),且由于绿灯时间不很长,融入背景的车辆很难在下个红灯来临前恢复,本文提出的改进算法中保持背景模型未受到停车车辆污染,能获得完整的前景检测。

图2 城市交叉口交通场景的比较结果

对i-LIDS的PV_EVAL序列4 361帧测试序列记录了各Sigma-Delta算法计算每一帧的用时,并与目前常用的多维混合高斯模型比较。虽然不同的实现方式将在很大程度上影响算法的运行速度,但仍能从一定程度上反映出算法的时间复杂度。4种算法都在Matlab上进行了测试。测试用的硬件环境为酷睿i3双核四线程2.13 GHz,2 GB内存,Win7平台和Matlab 2010a软件,图像大小为720×576像素。统计的平均用时和速度结果如表1所示,可以看到基本Sigma-Delta法速度非常快,本文提出算法较多频Sigma-Delta算法复杂度增加不大,多维混合高斯模型法最慢。

表1 算法运行速度比较

6 结束语

本文提出一种基于Sigma-Delta滤波的背景估计算法,算法不仅保持Sigma-Delta滤波的低内存消耗和高计算效率,同时基于Sigma-Delta算法,通过引入选择性背景更新机制结合多频Sigma-Delta背景估计模型,对复杂场景背景估计提供更强的鲁棒性。对典型的城市路段和交叉口交通场景进行测试,并比较已有的Sigma-Delta算法和常用的多维混合高斯模型,测试结果表明,本文提出的算法在有慢速或暂停运动目标的情况下,能获得一个更稳定的背景模型,简化后续处理步骤,如前景确认、避免复杂的时空处理等,时间复杂度较低。

[1] Sanchez E J F,Rubio L,Diaz J,et al.Background Subtraction Model Based on Color and Depth Cues[J]. Machine Vision and Applications,2013,13(7): 8895-8915.

[2] Wang Junqiu,Yagi Y.Efficient Background Subtraction Under Abrupt Illumination Variations[M].Berlin, Germany:Springer,2013.

[3] Manzanera A,Richefeu J.A Robust and Computationally Efficient Motion Detection Algorithm Based on Σ–Δ Background Estimation[C]//Proc.of the 4th Indian Conference on Computer Vision,Graphics&Image Processing.Kolkata,India:[s.n.],2004:46-51.

[4] Jalal A S,Singh V.A Robust Approach for Background Subtraction with Shadow Removal for Moving Object Detection[J].InternationalJournalofSignaland Imaging Systems Engineering,2013,6(3):188-202.

[5] 曾 艳,于 濂.一种新的道路交通背景提取算法及研究[J].中国图象图形学报,2008,13(3):593-599.

[6] 何亮明,覃荣华,巩思亮,等.动态场景中的改进混合高斯背景模型[J].计算机工程,2012,38(8):10-12,15.

[7] 王永忠,梁 彦,潘 泉,等.基于自适应混合高斯模型的时空背景建模[J].自动化学报,2009,35(4): 371-378.

[8] Zhu Qingsong,Shao Ling,Li Qi,et al.Recursive Kernel Density Estimation for Modeling the Background and Segmenting Moving Objects[C]//Proc.ofIEEE International Conference on Acoustics,Speech and Signal Processing.[S.l.]:IEEE Press,2013:1769-1772.

[9] Kim H,Sarim M,Takai T,et al.Dynamic 3d Scene Reconstruction in Outdoor Environments[C]//Proc.of InternationalSymposium on 3D Data Processing, Visualization and Transmission.[S.l.]:IEEE Press, 2010:1-8.

[10] Ilyas A,Scuturici M,Miguet S.Real Time Foregroundbackground Segmentation Using a Modified Codebook Model[C]//Proc.of the 6th International Conference on Advanced Video and Signal Based Surveillance. [S.l.]:IEEE Press,2009:454-459.

[11] Shimada A,Yoshinaga S,Taniguchi R.Maintenance of Blind Background Model for Robust Object Detection [J].IPSJTransactionson ComputerVision and Applications,2011,3:148-159.

[12] Ahmad K A,Saad Z,Abdullah N,et al.Moving Vehicle Segmentation in a Dynamic Background Using Selfadaptive Kalman Background Method[C]//Proc.of the 7th International Colloquium on Signal Processing and Its Applications.[S.l.]:IEEE Press,2011:439-442.

[13] Manzanera A.Σ-Δ Background Subtraction and the Zipf Law[M]//Proc.of the 12th Iberoamericann Congress on Pattern Recognition.Valparaiso,Chile:[s.n.], 2007:42-51.

[14] Manzanera A,Richefeu J C.A New Motion Detection Algorithm Based on Sigma-Delta Background Estimation [J].Pattern Recognition Letters,2007,28(3):320-328.

编辑 顾逸斐

Complex Scenes Background Estimation Based on Improved Sigma-Delta Filtering

CAO Qian-xia1,2,LUO Da-yong1,WANG Zheng-wu2
(1.School of Information Science and Engineering,Central South University,Changsha 410075,China;
2.Key Laboratory of Highway Engineering,Ministry of Education,Union Between Ministry and Province, Changsha University of Science&Technology,Changsha 410004,China)

Background estimation is an important preparatory work for moving object detection.In complex scenes,such as urban traffic,the background model is easily contaminated by a number of slow-moving or temporarily stopped moving object,and many subsequent processing steps or higher computational cost algorithms are needed to detect the foreground.To solve this problem,this paper proposes a background estimation algorithm based on the improved Sigma-Delta fi ltering,which is intended to achieve a more stable background model by combining a selective background updating mechanism with multiple-frequency Sigma-Delta background estimation method to deal with different object motion characteristics in complex scenes.The results of comparative experiment on complex traf fi c scenes sequences of typical urban road and intersection show that the proposed algorithm achieves better detection effects with keeping Sigma-Delta filtering high efficiency and low consumption performance.

image processing;background subtraction;background estimation;multiple-frequency Sigma-Delta fi ltering;selective background update;complex scene

1000-3428(2014)09-0225-04

A

TP391

10.3969/j.issn.1000-3428.2014.09.045

国家自然科学基金资助项目(51278068);湖南省科技计划基金资助项目(2012GK3060);湖南省教育厅科学研究计划基金资助项目(10C0372);长沙理工大学公路工程省部共建教育部重点实验室开放基金资助项目(GKj100105)。

曹倩霞(1981-),女,讲师、博士研究生,主研方向:交通信息工程及控制;罗大庸,教授、博士研究生;王正武,教授、博士后。

2013-11-15

2014-01-10E-mail:caoqianxia@163.com