基于帧间差分的彩色视频背景提取

苏礼坤, 黄继红

(1.成都信息工程学院光电技术学院,四川成都610225;2.西华大学物理与化学学院,四川成都610039)

1 引言

运动目标检测技术广泛地应用在军事目标探测跟踪、智能视频监控、智能交通、计算机视觉、运动分析等领域[1,2],运动目标检测按背景变化不同主要划分为摄像机运动和摄像机静止两种模式,运动目标检测按技术划分则主要有光流法、帧间差分法和减背景法[3]。

光流法[4]是利用运动估计进行分割和跟踪运动目标的一种方法。采用运动目标随时间变化的光流特性,通过计算位移向量光流场来初始化基于轮廓的跟踪算法,从而有效地提取和跟踪运动目标。虽然光流法在摄像机运动和静止的情况下都检测出独立的运动目标,但是由于光流场的计算相当复杂,对噪声比较敏感且对硬件要求较高。

帧间差分法[5]是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取图像中的运动区域。连续帧差法对动态环境有很好的适应性,但位置不准确,分割出的运动目标不完整,不能完全提取出目标的所有相关点,容易在运动实体内部产生空洞现象,帧间差分法只能应用在摄像机静止情况下的动态目标检测。

减背景法[6]通过当前图像与背景图像之间的差分来检测运动区域,这种方法是目前运动检测中最常用的一种方法。其优点是位置准确,速度快,只需要获取当前的一幅图像,运算量低,可以做到实时检测与分割,不足之处是受环境光线变化的影响,在非受控环境下,需要加入背景图像更新机制,减背景法也只能应用在摄像机静止情况下的动态目标检测。

减背景法动态目标检测主要包括初始背景提取、背景更新、背景差和后处理4个步骤。初始背景的提取,一种方法是建立背景模型,假定初始背景中不含运动目标;另一种方法是选择像素灰度,即通过包含运动目标的序列帧提取初始背景。由于光照、天气等变化直接影响着背景模型的质量,需要及时更新背景。最常用的更新方法是多帧平均法和选择更新法[7]。多帧平均法直接将输入图像序列的强度平均值作为当前背景,其缺点在于对场景改变过于敏感。选择更新法指将没有检测到运动的区域即真正的背景进行更新,在背景更新前先逐像素判断相邻两幅图像的差值,若小于一个阈值,则说明在这个像素位置没有检测到目标,可进行背景更新。这种方法依赖于阈值的选取,如果阈值选择不合理,背景图像将很快变得不可用。

对于智能视频监控及动态目标检测,背景提取和更新问题一直是一个研究的重点和难点[8],文中重点针对摄像机静止时,存在动态目标的彩色视频场景背景的实时提取进行了详细分析和研究。

在摄像机静止时,背景提取和更新的理想情况是在视频场景里,隔一段时间就拍1帧不含运动目标物的场景图像以避免因为光照、阴影等变化对背景的影响,但在实际应用中是不可能的,一方面很难保证在视频监控场景里隔一个固定时间就会出现没有目标物的背景图像,另一方面即使出现了没有目标物的背景图像,要实现摄像机对实时背景的自动识别和抓拍也是一个技术难点。

研究和实验证明,基于选择更新法的彩色视频背景提取的效果好于多帧平均法,通过选取合理的红绿蓝三分量权重和图像序列时间段,可以较好地提取出实时背景。

2 视频背景选择更新法的基本原理

选择更新法提取视频背景的原理是：对于视频流中一个场景的前后两帧图像,如果两帧图像的对应区域灰度变化不大(小于某一个阈值T),则认为此区域是背景区,如果两帧图像的对应区域灰度变化较大(大于某一个阈值T),则认为此区域是目标区,则此区域的数据不能作为背景来提取。

阈值 T的选择有一定的随意性,主要靠经验或者大量试验总结,即使是前后两帧图像的背景区域,在假定外部光照环境不变的情况下,考虑到成像系统的随机误差,阈值T也不能为零。

譬如图1(a)、(b)两帧灰度图像,可以看出有目标或阴影区域灰度变化大,而共同的背景区域灰度变化不大。

图1 两帧灰度图像背景区域提取

将图1(a)、(b)两帧灰度图像对应像素进行比较,如果灰度变化小于阈值 T(此处取 T=10),则认为此区域是背景区并保留数据,如果灰度变化大于阈值 T,则认为此区域是目标区,并将数据置为零得到图1(c),可以看出图1(c)只提取出部分背景区域。

如果要提取出完整的背景图像,取一个时间段视频的n帧(n≥3)图像序列 Mi(i=1,2,…,n),通过前后两帧的比较(取阈值 T),可以得到背景序列Bj(j=1,2,…,n-1)：

式(1)中(x,y)为像素坐标。

最后提取出的背景图像为：

式(2)中 m(x,y)为(x,y)处 Bj(x,y)值不为零的次数,要求 m(x,y)＞1。

3 彩色视频背景选择更新法的算法设计

对于彩色视频和图像,因为具有红绿蓝3个分量,处理方法和灰度图像有一定区别,主要体现在：

(1)如果对红绿蓝3个分量单独运用灰度图像的处理方法然后再组合成彩色背景,则因为三分量的误差有可能不同,获得的三分量背景图不一定重合得很好;

(2)如果先将彩色图像转化为灰度强度图像,再运用灰度图像的处理方法,则有可能红绿蓝分量分别差值很大的像素点,其转化后的灰度强度差别不大,也引起较大误差,并且这样获得的背景图像无法再转回彩色图像。

基于以上两个因素,在背景提取的时候,既要保持彩色背景的完整性,又要考虑到红绿蓝三分量的比重,提出以下提取方法：将前后两帧彩色图像对应像素的红绿蓝分量分别相减,得到3个差值,如果这3个差值的平均值小于阈值 T,则认为是背景区域,如果这3个差值的平均值大于阈值 T,则认为是目标区域。

则对于彩色视频,定义红绿蓝三分量差值权重为取平均：

则应用式(3)将视频差分计算的式(1)修改为：

式(4)中,c为色彩坐标,即c=R,G,B。

在获得彩色背景序列图像后,再运用式(5),就可以得到完整的彩色背景图像：

式(5)中 m(x,y,c)为(x,y)处 Bj(x,y,c)值不为零的次数,要求 m(x,y,c)＞1。

4 计算结果和比较

4.1 彩色视频背景选择更新法的计算

首先选取图2中的1秒时间段的6帧彩色图像序列运用选择更新法提取背景。

图2 彩色视频用来提取背景的1秒时间段的6帧序列图像

对于图2中的6帧序列图像运用式(4)、(5)计算得到背景图像显示在图3中,门限阈值 T太大,则目标区域不能剔除,阈值 T太小,则背景的随机误差也被误认为是目标区域,阈值T=10是一个比较合理的选择。

由图3的背景结果可以看出,图像区域出现空洞,其产生的原因是：相对选取的1秒时间段的6帧序列图像,运动目标的移动位移不足,使在计算过程中有些区域的数据得不到恢复。

从上述的计算可以看出,在选取图像序列时间段的时候,还必须考虑合理的视频场景区域的动态目标密集程度因素,也就是说时间段要足够长,使得视频场景的所有区域都有曾经显示背景的机会,另一方面时间段又不能太长,如果时间段太长,有可能背景本身因为光照、环境变化等因素使得提取的背景缺乏准确性和实时性。时间段的合理选择主要取决于场景中目标的线度大小和运动速度,在本文的问题中,3秒是一个合理的时间段选择。

图3 由图2的6帧序列图像选择更新提取的背景

再选取图4中的3秒时间段的6帧彩色图像序列运用选择更新法提取背景。

对于图4中的6帧序列图像运用式(4)、(5)计算得到背景图像显示在图5中,可以看出背景得到了较好的恢复和提取,效果好于1秒时间段的背景图即图3。

4.2 选择更新法与多帧平均法的比较

和选择更新法相比,存在运动目标区域的实时背景提取还有中值滤波法和多帧平均法,多帧平均法的计算为：

式(6)中,c为色彩坐标,即c=R,G,B。

图6中给出了由图4的6帧序列图像运用式(6)多帧平均提取的背景,可以看出效果远远差于选择更新法获得的图5。

图5 由图3的6帧序列图像选择更新提取的背景

图6 由图3的6帧序列图像多帧平均提取的背景

针对选取的视频序列的各种提取方法效果分析,通过实际计算证明中值滤波法最好,但中值滤波法要求图像序列中一个像素点背景出现的概率大于被目标覆盖的概率,要求的条件更苛刻,而多帧平均法是原理和算法最简单的一种,在目标出现非常稀疏的情况下效果比较好,相对而言,这各种方法在不同条件下有各自的优势,一般来讲,选择更新法是可以兼顾中值滤波法和多帧平均法的条件,并不要求像素点背景出现的概率大于被目标覆盖的概率。

5 结论

介绍了视频背景提取选择更新法的算法原理,并在彩色视频背景提取时选择更新法的算法进行了拓展和改进,对彩色视频红绿蓝三分量进行权重综合判断,具体计算表明,选择更新法背景提取的效果还与选取图像序列的时间段的长短有关,也就是与场景中目标的线度大小和平均运动速度相关,根据场景中目标的线度大小和平均运动速度适当选择时间段,就可以较好地兼顾提取背景的实时性和背景中目标阴影的消除。

研究内容属于动态目标检测中具有重要意义的实时背景恢复和提取问题,研究目的是为了证明算法的有效性和适用范围,以期指导实际应用,在实时背景恢复和提取方面,截至目前还没有哪一种方法可以完全代替所有其他的方法,只是在不同的条件下某一种方法好一些。

感谢成都信息工程学院引进人才科研启动项目(KYTZ20060603)

[1]任臣,张覃平.基于Kalman滤波理论的运动目标检测新方法[J].光电工程,2007,34(4)：7-11.

[2]何卫华,李平,文玉海,叶波.复杂背景下基于图像融合的运动目标轮廓提取[J].计算机应用,2006,26(1)：123-126.

[3]王亮,胡卫明,谭铁牛.人运动的视觉分析综述[J].计算机学报,2002,25(3)：225-237.

[4]Barron J,Fleet D,Beauchemin S.Performance of Optical Flow Techniques[J].International Journal of Computer Vision,1994,12(1)：42-77.

[5]Lipton A,Fujiyoshi H and Patil R.Moving Target Classification and Tracking from Real-time Video[C].In：Proc IEEE Workshop on Applications of Computer Vision,Princeton,NJ,1998,8-14.

[6]方帅,薛方正,徐心和.基于背景建模的动态目标检测算法的研究与仿真[J].系统仿真学报,2005,17(1)：159-165.

[7]Cucchiara R,Grana C,Piccardi M,et al.Detecting Moving Objects,Ghosts and Shadows in Video Streams[J].IEEE Trans.on Pattern Analysis&Machine Intelligence,2003,25(10)：1337-1342.

[8]高辉,杜庆灵.视频监控系统中动目标检测算法研究[J].计算机与数字工程,2008,36(9)：34-37.